Resumen Técnico: Dónde Reside la Fiabilidad en los Modelos Visión-Lenguaje

Declaración del Problema

Los Modelos Visión-Lenguaje (VLM) frecuentemente producen respuestas fluidas pero incorrectas (alucinaciones) que no están respaldadas por la entrada visual. En escenarios de despliegue de alto riesgo (por ejemplo, triaje médico, análisis científico), existe una necesidad crítica de señales de fiabilidad que sean tanto predictivas de la corrección como mecánicamente interpretables.

Una intuición generalizada, denominada Hipótesis Atención-Confianza, postula que la confiabilidad de un VLM es directamente legible a partir de sus mapas de atención: si el modelo concentra su atención visual de manera aguda en la región consultada, la respuesta debería ser fiable; una atención difusa debería señalar una menor fiabilidad. Este trabajo desafía dicha hipótesis, preguntando si la estructura de la atención (nitidez, fragmentación, entropía) está realmente calibrada a la probabilidad del modelo de ser correcto, o si la información de fiabilidad reside en otro lugar de la computación.

Metodología: La Sonda de Fiabilidad de VLM (VRP)

Los autores introducen la Sonda de Fiabilidad de VLM (VRP), una pipeline mecánica unificada diseñada para comparar tres clases distintas de señales frente a una única etiqueta de corrección en tres familias de VLM de pesos abiertos (LLaVA-1.5, PaliGemma, Qwen2-VL; 3–7B parámetros) y cuatro benchmarks (POPE, LLaVA-Bench, una suite personalizada de conteo/espacial, VQAv2, TextVQA).

La pipeline opera en tres etapas:

1. Métricas Estructurales (Atención): Los tensores de atención cruzada se reducen a vectores espaciales por capa. Se extraen dos cantidades estructurales: Entropía Espacial ($H_s$) y Conteo de Componentes Secundarios ($C_k$), este último midiendo la fragmentación de la atención en componentes conectados.
2. Lecturas Mecánicas (Estados Ocultos):
   • Lente de Logits: El flujo residual se proyecta a través de la matriz de desincrustación en cada capa para calcular un margen de verdad ($\Delta M_\ell$), midiendo la separación entre el token correcto y los competidores.
   • Sondas Esparsas: Se entrenan sondas lineales regularizadas L1 sobre los estados ocultos para identificar circuitos causales esparcidos asociados con la corrección.
   • Análisis Residual: Se descompone la contribución de las capas MLP frente a las capas de atención al crecimiento del margen de verdad.
3. Métricas Conductuales: La autoconsistencia se mide muestreando $K=10$ salidas y calculando el soporte de la respuesta mayoritaria, sirviendo como una línea base conductual de alto costo.

El estudio emplea intervenciones causales para validar los hallazgos, incluyendo enmascaramiento de parches top-30% (para probar la necesidad de la atención) y ablación de neuronas (para probar el papel causal de unidades ocultas específicas).

Resultados Clave

1. La Estructura de la Atención No es un Predictor de Corrección

Contrario a la Hipótesis Atención-Confianza, la estructura de la atención es un predictor casi nulo de la corrección.

• Evidencia Estadística: En un conjunto de datos agrupado de $n=3,090$, la correlación punto-biserial entre el conteo de componentes secundarios ($C_k$) y la corrección es $R_{pb} = 0.001$, y la entropía espacial ($H_s$) es $R_{pb} = -0.012$. Ambas son estadísticamente indistinguibles de cero.
• Prueba de Estrés Supervisada: Incluso un conjunto XGBoost–Random Forest entrenado en 11 características derivadas de la atención con acceso completo a las etiquetas alcanza solo un 52–55% de precisión (cerca del azar).
• Necesidad Causal vs. Suficiencia: Si bien la atención es causalmente necesaria para la extracción de características (enmascarar el 30% superior de los parches atendidos reduce la precisión en 8.2–11.3 pp), su estructura (nitidez o fragmentación) no codifica incertidumbre calibrada. Un modelo puede atender perfectamente al objeto correcto y aún así alucinar.

2. La Fiabilidad Emerge Tardíamente y es Impulsada por MLP

La fiabilidad se vuelve legible solo en las etapas tardías del flujo residual.

• Dinámica del Lente de Logits: El margen de verdad crece monótonamente con la profundidad. Para LLaVA, una "fase silenciosa" dura hasta la capa 21, con un pico en la capa 24. PaliGemma se integra antes (pico en la capa 14), mientras que Qwen2-VL muestra una re-separación cíclica.
• Dominio del MLP: El crecimiento del margen de verdad es impulsado principalmente por escrituras del MLP (47.6% a 82.1% del crecimiento del margen), no por escrituras de atención. Esto sugiere que la fiabilidad depende de promover conceptos latentes en el espacio del vocabulario más que de la coherencia espacial en el mapa de atención.
• Poder Predictivo: Una sola sonda lineal de estado oculto alcanza AUROC > 0.95 en POPE para LLaVA y Qwen2-VL, superando significativamente a las métricas basadas en atención (AUROC $\approx$ 0.50).

3. Asimetría de Robustez Arquitectónica

La ubicación y distribución de los circuitos de fiabilidad difieren marcadamente según la arquitectura:

• Fusión Tardía (LLaVA): La fiabilidad se concentra en un cuello de botella tardío frágil. Ablar las 5 neuronas superiores seleccionadas por la sonda en la capa final causa una caída de 8.3 pp en la precisión de identificación de objetos. La señal es esparcida y localizada.
• Fusión Temprana/Cíclica (PaliGemma, Qwen2-VL): La fiabilidad está distribuida ampliamente. Estos modelos absorben la destrucción de ~50% de su dimensión oculta de capa pico con una degradación $\le$ 1 pp. La integración temprana de PaliGemma y el refinamiento cíclico de Qwen2-VL aseguran la señal a través de muchas capas, haciéndolos robustos al daño de una sola unidad pero más opacos a la interpretación a nivel de neurona.

4. Comparación de Predictores

• Sondas de Estado Oculto: La señal interna de paso único más fuerte (AUROC > 0.95 para LLaVA/Qwen2-VL).
• Autoconsistencia: El predictor conductual más fuerte ($R_{pb}=0.43$) pero requiere 10× costo de inferencia.
• Mapas de Atención: Estadísticamente no informativos (AUROC $\approx$ 0.50).

Significado y Afirmaciones

El trabajo afirma falsar la Hipótesis Atención-Confianza, demostrando que la nitidez de la atención es epistémicamente engañosa como señal de confianza. Los autores argumentan que:

1. La atención responde a una pregunta diferente que la fiabilidad: Indica qué características fueron recuperadas, no si esas características serán interpretadas correctamente.
2. La fiabilidad es un fenómeno tardío e impulsado por MLP: La computación que distingue respuestas correctas de incorrectas ocurre tardíamente en el flujo residual y está dominada por operaciones MLP.
3. Implicaciones para el Diseño de Monitores:
   • Reemplazar Mapas de Calor de Atención: Para despliegues sensibles a la seguridad, las sondas de estado oculto deben reemplazar a los mapas de atención como la señal de confianza principal.
   • Especificidad Arquitectónica: Los monitores deben adaptarse a la arquitectura del modelo. Las pilas de fusión tardía (como LLaVA) dependen de circuitos esparcidos y frágiles de capas tardías, mientras que las pilas de fusión temprana distribuyen la fiabilidad, requiriendo lecturas densas.
   • Compensación Costo-Beneficio: Si bien la autoconsistencia es un predictor fuerte, su costo de inferencia hace que las sondas de estado oculto sean la solución preferida para aplicaciones de baja latencia.

Los autores concluyen que la "metáfora cómoda pero empíricamente falsificada de la atención-como-confianza" debe retirarse en favor de monitores de fiabilidad basados en estado oculto y consistencia.