Detect Before You Leap: Mirage Detection in Vision-Language Models

Resumen Técnico: Detectar antes de saltar: Detección de espejismos en modelos de visión y lenguaje

Formulación del problema
Los modelos de visión y lenguaje (VLM, por sus siglas en inglés) exhiben frecuentemente un modo de fallo denominado "razonamiento de espejismo" (mirage reasoning), donde generan respuestas visuales seguras y fluidas a pesar de la ausencia de evidencia visual relevante, la presencia de imágenes en blanco o la provisión de imágenes reales no relacionadas. Esto es particularmente peligroso en dominios de alto riesgo como el VQA (Preguntas y Respuestas Visuales) médico y de documentos, donde una respuesta plausible pero sin fundamento puede confundirse con evidencia fáctica.

El artículo enmarca esto como un problema de detección de espejismos en tiempo de ejecución. A diferencia de la detección de alucinaciones post-generación, que evalúa la veracidad de una respuesta completada, este trabajo propone un sistema de decisión de pre-lanzamiento. Dado un par imagen $x$ y pregunta $q$, el sistema debe predecir una de tres etiquetas antes de que el VLM genere una respuesta:

1. RELACIONADO (RELATED): La imagen contiene evidencia relevante para la pregunta; el VLM tiene permitido responder.
2. NO RELACIONADO-REAL (UNRELATED-REAL): La imagen es una fotografía válida pero semánticamente discordante con la pregunta.
3. BLANCO/RUIDO (BLANK/NOISE): La entrada es una imagen en blanco o con ruido.

Si el par no se clasifica como RELACIONADO, el sistema se abstiene mediante un mensaje de rechazo (por ejemplo, "No puedo responder basándome en la imagen proporcionada").

Metodología: TC-LIA y marco de ensamblaje
La solución propuesta es un flujo de trabajo de cinco etapas, agnóstico al modelo, que fusiona estadísticas de imagen de bajo nivel, enrutamiento de dominio y un novedoso análisis de representación intermedia.

1. Detección de Blanco/Ruido: Una compuerta de alta recuperación (high-recall) mediante estadísticas de píxeles (desviación estándar global, varianza de parches, planitud espectral) para rechazar inmediatamente las entradas no informativas.
2. Enrutamiento CLIP adaptativo al dominio: Un mecanismo zero-shot que utiliza conjuntos de prompts médicos y naturales separados para enrutar las imágenes al espacio de incrustación (embedding) de CLIP apropiado (por ejemplo, BioMedCLIP para imágenes médicas), mejorando la estimación de relevancia en dominios heterogéneos.
3. TC-LIA (Alineación Interna por Capas Condicionada por Texto): Esta es la novedad central. En lugar de depender únicamente de la similitud de coseno global final de CLIP, el TC-LIA sondea las representaciones de tokens de parches intermedias de un codificador de visión CLIP ViT-H/14 congelado.
   • Para cada capa $\ell$, los tokens de parches se proyectan en el espacio de incrustación conjunto de CLIP utilizando la matriz de proyección visual fija.
   • Se computa la similitud de coseno entre estos tokens de parches proyectados y la incrustación de texto de la pregunta.
   • El método rastrea la trayectoria de la evidencia relevante para la pregunta a través de las capas. Se hipotetiza que los pares relacionados muestran una emergencia de alineación localizada y específica entre parche y texto en las capas más profundas, mientras que las entradas no relacionadas o en blanco exhiben curvas de alineación planas, débiles o inestables.
   • De esta trayectoria se destilan cuatro características escalares:
     • Tardía (Late): Media de la similitud de los top-$k$ parches-texto en la segunda mitad de las capas.
     • Ganancia (Gain): La diferencia entre la alineación de las capas tardías y las tempranas (cancelando los sesgos globales invariantes de la capa).
     • Pendiente (Slope): La tendencia lineal de la alineación a través de todas las capas.
     • IAS (Puntuación de Alineación Interna): Un compuesto ponderado de la similitud de coseno final, la tardía, la ganancia y la pendiente.
4. Autoevaluación estructurada del VLM: Se le pide al VLM que proporcione una etiqueta de clase estructurada (RELACIONADO/NO RELACIONADO/BLANCO) y una respuesta candidata. Esta predicción se codifica como una característica, pero no se depende exclusivamente de ella.
5. Fusión de Ensamblaje: Todas las características (estadísticas de píxeles, probabilidades de enrutamiento, escalares de TC-LIA y codificación de clase del VLM) se fusionan utilizando un ensamblaje de boosting (XGBoost, LightGBM, etc.) para tomar la decisión final de tres clases.

Contribuciones clave

• Definición del problema: Formular la detección de espejismos como un problema de decisión de pre-lanzamiento para evitar la generación de respuestas sin sustento, diferenciándolo del diagnóstico de alucinación post-hoc.
• Método TC-LIA: Introducir un método de alineación por capas condicionado por texto que cuantifica la emergencia gradual de la evidencia visual a través de las capas del codificador de visión. Este se destila en 11 características escalares interpretables, demostrando que las trayectorias por capas proporcionan señales discriminativas más allá de la similitud de coseno global de CLIP.
• Marco Robusto: Proponer un sistema de múltiples etapas que combina verificaciones de nivel de píxel, enrutamiento de dominio, TC-LIA y autoevaluación estructurada del VLM. Este enfoque reduce las tasas de espejismo de los prompts base (que oscilan entre el 21.7% y el 66.6% entre los modelos) a un 2.7–3.3%, manteniendo una alta precisión en las entradas relacionadas.

Resultados
El marco fue evaluado en cinco dominios de VQA (Chest VQA, PathVQA, TextVQA, DocVQA, InfoVQA) y doce backbones de VLM (que van desde 2.7B hasta 110B de parámetros, incluyendo Qwen2.5-VL, LLaVA, InternVL y Gemma).

• Desempeño: El ensamblaje supera significativamente a los modelos de base. Por ejemplo, Qwen2.5-VL-32B alcanzó la mayor precisión de detección de tres clases de 94.7% con una tasa de espejismo de 3.0%. Qwen2.5-VL-72B logró un 94.6% de precisión con una tasa de espejismo menor del 2.8%.
• Eficacia de las características: Los estudios de ablación confirman que el IAS compuesto y las características por capas (ganancia, pendiente) proporcionan señales complementarias a la similitud de coseno estándar de CLIP y la autoevaluación del VLM. Eliminar la característica de clase del VLM causó la mayor caída en la precisión, lo que indica su fuerte complementariedad con el TC-LIA.
• Calidad de la respuesta: El sistema preserva con éxito la calidad de la respuesta para las entradas relacionadas (medida por BLEU, ROUGE-L, BERTScore) mientras convierte de manera fiable las entradas no relacionadas o en blanco en respuestas de rechazo consistentes, mejorando así la seguridad general del sistema.

Significancia y Reclamaciones
El artículo argumenta que el despliegue multimodal seguro requiere verificar la presencia de evidencia visual relevante para la pregunta antes de la generación, en lugar de simplemente verificar la salida después. Los autores afirman que:

• La simple similitud de imagen-texto global es insuficiente para detectar desajustes semánticos en dominios complejos (médicos, documentos).
• Las trayectorias de alineación por capas intermedias (TC-LIA) ofrecen una señal robusta y agnóstica al modelo para detectar entradas de "espejismo".
• Un enfoque de ensamblaje que fusiona señales de bajo nivel, semánticas y de autoevaluación es necesario para manejar todo el espectro de entradas (blanco, no relacionado, relacionado).

Los autores declaran explícitamente las limitaciones: el detector verifica la relevancia, no la corrección fáctica; requiere acceso a los tokens intermedios de la ViT (lo que favorece a los modelos abiertos); y la proyección de los tokens intermedios es una aproximación. El trabajo se posiciona como una capa de seguridad de pre-lanzamiento para activar la abstención o la revisión humana, no como un sistema de decisión clínica independiente.