Resumen Técnico: CAST – Mitigación de la Alucinación de Objetos en Modelos Grandes de Visión y Lenguaje mediante la Dirección de la Atención Visual Guiada por Descripciones

1. Declaración del Problema

Los Modelos Grandes de Visión y Lenguaje (LVLM) han logrado un rendimiento notable en tareas posteriores, pero frecuentemente sufren de alucinación de objetos, donde el modelo genera contenido que se desvía o contradice la entrada visual. Las estrategias existentes de mitigación generalmente caen en dos categorías, ambas con limitaciones significativas:

• Métodos basados en entrenamiento: Estos dependen de conjuntos de datos cuidadosamente curados y anotaciones manuales costosas o aprendizaje por refuerzo (por ejemplo, RLHF), incurriendo en altos costos computacionales y de datos.
• Estrategias de decodificación sin entrenamiento: Métodos como la decodificación contrastiva (por ejemplo, VCD, OPERA) a menudo aumentan significativamente la latencia de inferencia, lo que los hace menos prácticos para aplicaciones en tiempo real.

Además, los estudios de interpretabilidad sugieren que una atención insuficiente a la información visual es una causa raíz de la alucinación. Sin embargo, pocos métodos abordan esto explícitamente mejorando la percepción visual sin modificar los parámetros del modelo o introducir una sobrecarga pesada de inferencia.

2. Metodología: Dirección de la Atención Visual Guiada por Descripciones (CAST)

Los autores proponen CAST, un método sin entrenamiento y plug-and-play que mitiga la alucinación de objetos dirigiendo los mecanismos de atención del modelo durante la inferencia. La idea central que impulsa a CAST es la observación de que las consultas de descripción (por ejemplo, "Por favor, describa esta imagen en detalle") desencadenan una atención visual significativamente mejorada en cabezas de atención específicas en comparación con consultas que no son de descripción (por ejemplo, "¿Hay un casco en la imagen?").

CAST opera en tres etapas distintas:

A. Sondeo de las Cabezas de Atención Guiadas por Descripciones

El método identifica primero las "cabezas de atención guiadas por descripciones": cabezas específicas dentro de las capas del Transformer que exhiben una fuerte sensibilidad a las consultas de descripción.

• Mecanismo: Utilizando un conjunto de datos de pares imagen-consulta, los autores enmascaran la atención hacia los tokens textuales para aislar los patrones de atención visual.
• Clasificación: Se entrena un clasificador binario (por ejemplo, SVM) sobre las salidas de atención del último token de entrada para distinguir entre consultas de descripción y consultas que no son de descripción.
• Selección: Se seleccionan las top-$K$ cabezas de atención con la mayor precisión de clasificación como objetivos para la dirección. Se encuentra que estas cabezas están concentradas principalmente en las capas medias del modelo.

B. Estimación de Vectores de Percepción Refinada

Una vez identificadas las cabezas objetivo, el método calcula vectores de desplazamiento que representan la diferencia en la salida de atención entre consultas de descripción y consultas que no son de descripción.

• Cálculo: Para cada cabeza seleccionada, el vector de desplazamiento $S^{(l,h)}$ se calcula como la diferencia promedio entre la salida de atención cuando se alimenta una consulta de descripción ($O^{(l,h)}$) y una consulta que no es de descripción ($O'^{(l,h)}$):
  $$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$$
• Propósito: Estos vectores cuantifican la "dirección de percepción de grano fino", capturando efectivamente el estado de atención visual suficiente inducido por las consultas de descripción.

C. Dirección en el Momento de la Inferencia

Durante la inferencia de una consulta que no es de descripción (el escenario típico donde ocurren las alucinaciones), se aplican los vectores de desplazamiento precalculados a las cabezas de atención seleccionadas.

• Regla de Actualización: El estado oculto se actualiza añadiendo una versión escalada del vector de desplazamiento a la salida de atención de las cabezas guiadas por descripciones:
  $$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$$
  Donde $I^{(l,h)}$ es una función de puerta (1 para cabezas seleccionadas, 0 en caso contrario) y $\alpha$ controla la intensidad de la dirección.
• Efecto: Esto dirige la atención del modelo desde un estado "insuficiente" (propenso a alucinaciones) hacia un estado "suficiente" (percepción visual mejorada), mitigando efectivamente la alucinación de objetos sin reentrenar el modelo.

3. Contribuciones Clave

1. Nueva Perspectiva: Este trabajo es el primero en revelar y cuantificar explícitamente el impacto de las consultas de descripción frente a las consultas que no son de descripción en los patrones de activación de atención de los LVLM, identificando cabezas de atención específicas responsables de la percepción visual de grano fino.
2. Método CAST: Un enfoque sin entrenamiento y plug-and-play que refina las salidas de las cabezas de atención guiadas por descripciones durante la inferencia. No requiere actualizaciones de parámetros del modelo y añade un costo de inferencia mínimo.
3. Evaluación Exhaustiva: Experimentos extensos demuestran que CAST mitiga efectivamente la alucinación mientras preserva las capacidades fundamentales del modelo (por ejemplo, razonamiento, OCR) y se generaliza a través de diferentes arquitecturas de modelos (LLaVA, Qwen-VL, LLaVA-NeXT).

4. Resultados Experimentales

Los autores evaluaron CAST en cinco conjuntos de referencia ampliamente utilizados (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) y cinco LVLM diferentes.

• Mitigación de Alucinaciones:
  • POPE: CAST mejoró la precisión en un promedio de 5.64% y la puntuación F1 en 5.50% a través de los modelos.
  • CHAIR: Redujo las métricas promedio de alucinación (CS y CI) en 6.43 puntos.
  • MMHal-Bench: Redujo la tasa de alucinación (VH.%) en 2.95% y mejoró la puntuación de informatividad.
  • Rendimiento General: En promedio, CAST redujo la alucinación de objetos en un 6.03% a través de cinco LVLM y cinco conjuntos de referencia.
• Eficiencia: A diferencia de los métodos de decodificación contrastiva que aumentan significativamente el tiempo de inferencia (por ejemplo, VCD aumenta TPOT en 2.7 veces), CAST añade una latencia negligible (comparable a la línea base, ~1.0x).
• Preservación de Capacidades: CAST mejoró el rendimiento en el conjunto de referencia MME en todas las tareas de percepción y cognición, demostrando que no degrada otras capacidades fundamentales del modelo.
• Generalización: El método demostró ser efectivo en modelos avanzados (Qwen2-VL, InternVL2) y tareas específicas de dominio (Medical VQA-RAD, OCR), confirmando su robustez.

5. Significado y Afirmaciones

El artículo afirma que CAST ofrece una solución de vanguardia (SOTA) para mitigar la alucinación de objetos en LVLM aprovechando los patrones de atención inherentes inducidos por las consultas de descripción. Su significado radica en:

• Rentabilidad: Elimina la necesidad de anotación manual costosa o reentrenamiento.
• Eficiencia: Evita la alta latencia de inferencia asociada con las estrategias de decodificación contrastiva.
• Perspectiva Mecanística: Proporciona un mecanismo claro e interpretable para la mitigación de alucinaciones al dirigirse directamente a las cabezas de atención responsables de la percepción visual.

Los autores concluyen que CAST mejora efectivamente la capacidad de percepción visual de grano fino de los LVLM, ofreciendo un camino práctico y eficiente para reducir las alucinaciones sin comprometer la utilidad del modelo.