Resumen Técnico: Puntuación de Lente de Instrucción para la Detección de Alucinación de Objetos

Declaración del Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLM) han demostrado capacidades significativas en la comprensión y el razonamiento visual. Sin embargo, una barrera crítica para su implementación fiable es la alucinación de objetos (AO), donde los modelos generan descripciones de objetos que no están presentes en las imágenes de entrada. Los métodos de detección existentes enfrentan dos limitaciones principales:

1. Dependencia de Modelos Auxiliares: Los métodos que dependen de modelos externos (por ejemplo, GPT-4) o de detectores de alucinación dedicados incurren en una sobrecarga computacional sustancial y requieren entrenamiento adicional.
2. Vulnerabilidad a Señales Visuales Engañosas: Las puntuaciones de detección basadas en visión (por ejemplo, pesos de atención, similitud local) a menudo sufren de alta confianza espuria cuando los codificadores visuales introducen información engañosa o cuando los patrones visuales locales de los objetos alucinados se asemejan a los reales (por ejemplo, texturas similares para cucharas y cuchillos).

Metodología: Puntuación de Lente de Instrucción (InsLen)

El artículo propone la Puntuación de Lente de Instrucción (InsLen), un detector sin entrenamiento y de tipo "plug-and-play" que aprovecha las incrustaciones internas de los tokens de instrucción para filtrar la información visual engañosa. La idea central es que las incrustaciones de instrucción codifican implícitamente información visual fundamentada en la imagen, mientras que suprimen eficazmente las señales erróneas introducidas por las incrustaciones visuales.

El método utiliza la técnica Logit Lens para proyectar las incrustaciones de capas intermedias en el espacio del vocabulario y analizar las distribuciones de confianza. InsLen consta de dos componentes complementarios:

1. Puntuación Local Calibrada ($S_{cls}$)

Este componente aborda el problema de la sobreconfianza espuria en las puntuaciones basadas en visión.

• Mecanismo: Introduce una Confianza de Calibración ($S_{cafe}$) midiendo la confianza máxima asignada a un token de objeto a través de todas las incrustaciones de instrucción.
• Lógica: Dado que las incrustaciones de instrucción filtran las señales visuales engañosas, los objetos alucinados reciben una confianza más baja en esta proyección.
• Fusión: $S_{cafe}$ se fusiona multiplicativamente con las puntuaciones basadas en visión existentes (por ejemplo, Puntuación de Similitud Local, Confianza Interna) para calibrar la evidencia visual local:
  $$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$$

2. Puntuación de Consistencia Contextual ($S_{ccs}$)

Este componente aborda la limitación de las incrustaciones visuales a nivel de parche, que pueden no distinguir objetos con texturas locales similares.

• Mecanismo: Agrega las incrustaciones de instrucción que asignan una alta probabilidad al token de objeto para formar una representación contextual global ($\bar{z}$).
• Lógica: Las incrustaciones de instrucción capturan el contexto global del objeto. La consistencia entre la incrustación del token de objeto generado ($h_o$) y el contexto de instrucción agregado ($\bar{z}$) se mide utilizando una distancia $\ell_2$ normalizada.
• Ponderación: La puntuación de consistencia se pondera por la confianza promedio de las incrustaciones de instrucción seleccionadas para garantizar la fiabilidad:
  $$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$$

Puntuación Final

La puntuación InsLen final es una combinación ponderada de la Puntuación Local Calibrada y la Puntuación de Consistencia Contextual:
$$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$$
donde $\omega$ es un hiperparámetro.

Contribuciones Clave

1. Análisis de las Incrustaciones de Instrucción: Los autores revelan que las incrustaciones de instrucción en los MLLM codifican implícitamente semánticas visuales fiables y pueden filtrar eficazmente la información engañosa que proviene de las incrustaciones visuales, una capacidad previamente pasada por alto para la detección de alucinaciones.
2. Detector Propuesto (InsLen): Un detector novedoso y sin entrenamiento que integra evidencia visual calibrada con consistencia contextual basada en instrucción sin requerir modelos auxiliares ni entrenamiento adicional.
3. Evaluación Exhaustiva: Experimentos extensos en múltiples puntos de referencia (MSCOCO, Objects365, POPE, CLEVR) y diversas arquitecturas de MLLM (LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision) demuestran la eficacia del método.

Resultados Experimentales

• Rendimiento: InsLen supera consistentemente a los métodos existentes de última generación (por ejemplo, GLSIM, SVAR, Confianza Interna) en todos los puntos de referencia y arquitecturas de modelos probados.
  • En el punto de referencia MSCOCO con Qwen3-VL, InsLen mejoró el AUROC en un 7.70% sobre la línea base más fuerte (GLSIM).
  • En el punto de referencia POPE, logró hasta un 13.81% más de AUROC que las líneas base para LLaVA-1.5.
  • En el punto de referencia CLEVR (probando alucinaciones de atributos y relacionales), InsLen mostró un rendimiento superior, particularmente en modelos más fuertes como Qwen3-VL (77.72% de AUROC frente a 73.01% para SVAR).
• Robustez: El método permanece efectivo en modelos post-entrenados (por ejemplo, LLaVA-RLHF, LLaVA-RLAIF-V) y demuestra estabilidad a través de diferentes longitudes de instrucciones de entrada y configuraciones de hiperparámetros ($\omega$, $m$, $\tau$).
• Eficiencia: Aunque introduce una sobrecarga computacional ligeramente mayor que algunas líneas base (por ejemplo, ~104 ms frente a 95 ms para LLaVA-1.5), el costo es mínimo en comparación con la generación de respuestas y significativamente menor que los métodos que requieren modelos auxiliares u operaciones de ceros (por ejemplo, EAZY).

Significado y Afirmaciones

El artículo afirma que la Puntuación de Lente de Instrucción proporciona una señal valiosa y poco explorada para mejorar la fiabilidad de la generación de MLLM. Al demostrar que las incrustaciones de instrucción pueden suprimir eficazmente la información visual engañosa, el trabajo ofrece una nueva perspectiva sobre la detección de alucinaciones que no depende de recursos externos ni de reentrenamiento. Los autores posicionan a InsLen como una solución robusta y de tipo "plug-and-play" que mejora la confiabilidad de los MLLM en aplicaciones del mundo real donde la alucinación de objetos plantea riesgos significativos.