Resumen Técnico: SIRA – Reconstrucción Interna de Atribución de Prefijo Compartido

Declaración del Problema

Los Modelos de Lenguaje y Visión Grandes (LVLM) sufren frecuentemente de alucinaciones, donde el modelo genera descripciones de objetos, atributos o relaciones que son lingüísticamente plausibles pero no respaldadas por la entrada visual. Este problema es particularmente agudo cuando la evidencia visual es débil o ambigua, permitiendo que los priores lingüísticos de alta probabilidad dominen la predicción de tokens.

Las estrategias de mitigación existentes, específicamente la decodificación contrastiva, intentan abordar esto comparando la predicción del modelo sobre la imagen original contra una predicción de referencia derivada de una entrada degradada o perturbada (por ejemplo, imágenes borrosas o enmascaradas). Sin embargo, los autores identifican dos limitaciones críticas en estos enfoques externos:

1. Sobrecarga Computacional: Suelen requerir un segundo pase completo hacia adelante a través del modelo.
2. Artefactos Fuera de la Variedad: Perturbar la imagen de entrada puede introducir artefactos que no son representativos de la verdadera distribución visual. En consecuencia, las discrepancias de logits resultantes pueden reflejar desajustes causados por la propia perturbación en lugar de una atribución limpia de la evidencia visual frente a los priores lingüísticos.

El artículo postula que una referencia contrafactual efectiva no necesita construirse externamente en el espacio de entrada. En su lugar, argumenta que el requisito clave es una referencia alineada que revele cómo evolucionaría el mismo estado multimodal si el acceso a la evidencia visual de grano fino se restringiera en etapas posteriores de procesamiento.

Metodología: SIRA

Los autores proponen SIRA (Reconstrucción Interna de Atribución de Prefijo Compartido), un marco de decodificación contrastiva interno y libre de entrenamiento. SIRA construye una referencia contrafactual dentro de la misma trayectoria de inferencia del LVLM manipulando el flujo de información dentro de las capas del transformador, en lugar de alterar la imagen de entrada.

Mecanismo Central

SIRA opera manteniendo dos ramas de decodificación sincronizadas que comparten un "prefijo" común y divergen solo después de un límite de división específico ($b$):

1. Prefijo Compartido ($0$a$b-1$): Tanto la Rama Completa (inferencia estándar) como la Rama Contrafactual comparten el mismo prompt, parámetros del modelo, historial de decodificación, estructura posicional y cálculos de las primeras capas. Esto asegura que ambas ramas hereden una interpretación multimodal idéntica y estable, y un anclaje visual temprano antes de la división.
2. Bifurcación Tardía ($b$ a $L-1$): Después de la capa límite $b$, las ramas divergen:
   • La Rama Completa continúa la inferencia multimodal estándar, permitiendo la atención a los tokens de imagen.
   • La Rama Contrafactual aplica una máscara de atención específica ($M_{cf}$) que bloquea el acceso a las posiciones de los tokens de imagen. En esta rama, los tokens de imagen no pueden ser leídos por las consultas, ni pueden producir consultas que alimenten el flujo de texto.
3. Contraste Interno: En cada paso de decodificación, SIRA calcula los logits para ambas ramas ($z_{full}$ y $z_{cf}$). El logit de decodificación final ($z_{cd}$) se calcula como:
   $$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$$
   Donde $\alpha$ controla la fuerza del contraste.
   • Los tokens que permanecen fuertes en la Rama Contrafactual (sin acceso visual) son penalizados, ya que probablemente son impulsados por priores lingüísticos.
   • Los tokens que ganan una ventaja específicamente en la Rama Completa son favorecidos, ya que su probabilidad depende de la evidencia visual continua.

Eficiencia

A diferencia de los métodos que requieren dos pases completos hacia adelante (por ejemplo, VCD), SIRA comparte el cálculo para las primeras $b$ capas. Solo incurre en el costo de las últimas $K$ capas para la rama contrafactual. Esto resulta en una relación de costo idealizada por token de $1 + K/L$ (aproximadamente $1.5\times$ para una división en capa media), significativamente menor que el costo de $2\times$ de los métodos contrastivos externos.

Contribuciones Clave

1. Perspectiva de Flujo de Información: El artículo reevalúa la mitigación de alucinaciones argumentando que las referencias efectivas deben preservar el anclaje multimodal temprano mientras restringen el acceso posterior a los tokens de imagen, en lugar de depender de perturbaciones de entrada externas.
2. Marco SIRA: La propuesta de un método de decodificación contrastiva interno y libre de entrenamiento que construye una referencia contrafactual mediante bifurcación tardía de prefijo compartido y enmascaramiento de tokens de imagen post-límite.
3. Validación Empírica: Experimentos exhaustivos que demuestran que SIRA reduce las alucinaciones mientras preserva la cobertura descriptiva y genera una sobrecarga menor que los métodos de dos pases.

Resultados Experimentales

Los autores evaluaron SIRA en Qwen2.5-VL y LLaVA-v1.5 a través de tres puntos de referencia: POPE (alucinación a nivel de objeto), CHAIR (alucinación en descripción) y AMBER (descripción multidimensional).

• POPE: SIRA logró los mejores resultados en todas las 36 métricas (combinaciones de arquitectura base, conjunto de datos y estrategia de muestreo negativo). Mejoró la precisión en un promedio de +5.4 puntos en Qwen2.5-VL y +4.9 puntos en LLaVA-v1.5 sobre los decodificadores base, superando a líneas base sólidas como DoLa, OPERA y VCD. Cabe destacar que las mejoras fueron consistentes incluso en divisiones "Adversarias" donde los priores lingüísticos son fuertes.
• CHAIR: SIRA redujo tanto las tasas de alucinación a nivel de frase (CHAIRs) como a nivel de instancia (CHAIRi). Por ejemplo, en LLaVA-v1.5, CHAIRs bajó de 31.5 a 23.1 a longitud 64, lo que indica una reducción en menciones espurias de objetos en lugar de una simple omisión.
• AMBER: SIRA redujo las métricas de alucinación (Hal, Cog) mientras preservaba o aumentaba la cobertura descriptiva (Cover). Esto contrasta con líneas base como OPERA y VCD, que a menudo reducían las alucinaciones acortando o matizando las descripciones (sobre-matización). SIRA redujo específicamente las alucinaciones "Cognitivas" (Cog), que están estrechamente acopladas a los priores lingüísticos.
• Eficiencia: SIRA incurrió en una sobrecarga de latencia de aproximadamente 1.4–1.5$\times$ en comparación con la decodificación estándar, significativamente menor que VCD ($\sim2.1\times$) y OPERA ($\sim5.9\times$).

Significancia y Limitaciones

Significancia:
El artículo afirma que SIRA ofrece un proxy de atribución a nivel de token más directo y limpio que las referencias construidas externamente. Al mantener la rama contrafactual en la misma variedad del modelo y compartir el estado semántico temprano, SIRA aísla la contribución de la evidencia visual sin introducir artefactos de perturbación. Logra una reducción de alucinaciones de vanguardia sin requerir reentrenamiento del modelo, verificadores externos o entradas perturbadas, lo que la hace aplicable a LVLMs de peso abierto con acceso de caja blanca.

Limitaciones:
Los autores reconocen dos limitaciones principales:

1. Sobrecarga: Aunque es menor que los métodos de dos pases, SIRA aún conlleva un costo de decodificación por paso no nulo debido a la reevaluación de la rama contrafactual.
2. Requisitos de Acceso: Construir el contraste interno requiere acceso de caja blanca a estados ocultos, máscaras de atención y estados de caché, lo que restringe su aplicación a LVLMs de peso abierto o controlables en lugar de APIs de caja negra.