Resumen Técnico: TRAPSBench: Los Modelos de Visión-Lenguaje Codifican pero Fallan en Expresar la Restricción Epistémica

Declaración del Problema

Los Modelos de Visión-Lenguaje (VLM) han logrado avances significativos en la comprensión de video y el razonamiento físico. Sin embargo, para su despliegue en dominios de alto riesgo, la capacidad de un modelo para reconocer cuándo la información sensorial es insuficiente para una predicción determinista es tan crítica como su capacidad para responder correctamente. Los benchmarks actuales evalúan el razonamiento físico pero no logran probar la abstención selectiva bajo condiciones de evidencia insuficiente. Los métricas existentes suelen recompensar la abstención indiscriminada o ignoran la dimensión epistémica por completo, fallando en distinguir entre un modelo que sabe que no sabe y uno que simplemente adivina.

Este artículo aborda la brecha entre el conocimiento interno de incertidumbre de un modelo y su expresión externa de dicha incertidumbre. Específicamente, investiga si los VLM pueden distinguir internamente entre escenarios físicos con respuesta y sin respuesta, y si es así, por qué fallan al expresar esta distinción en sus salidas autorregresivas.

Metodología

1. Benchmark TRAPSBench

Los autores presentan TRAPSBench (Testing Restraint in Ambiguous Physical Scenarios), un benchmark de video generado procedimentalmente que consta de 1,404 pares físicos emparejados.

• Generación: Utilizando MuJoCo, el benchmark crea videos de "control" donde los resultados son deterministas y videos "vacíos" (void) donde el resultado se vuelve incomputable mediante una modificación específica dirigida.
• Taxonomías de Incertidumbre:
  • Oclusión: Los datos visuales clave están bloqueados por un oclusor opaco ($N=202$).
  • Sensibilidad Caótica: Sistemas deterministas con sensibilidad extrema a las condiciones iniciales, truncados antes de la resolución ($N=500$).
  • Preguntas Mal Planteadas: Se reutilizan los videos de control, pero la pregunta contiene una premisa falsa o solicita detalles inobservables ($N=702$: 202 de oclusión mal planteada + 500 de caos mal planteado).
• Evaluación: Un panel de jueces basado solo en texto (tres modelos) califica las respuestas. Para los videos de control, la corrección se mide contra la verdad de campo (ground truth) de MuJoCo. Para los videos vacíos, el juez detecta si el modelo se abstuvo.

2. Puntuación de Calibración Epistémica Penalizada (PECS)

Para evaluar el desempeño, los autores proponen PECS, una métrica de conjunción definida como:
$$\text{PECS} = \text{Acc} \times \max(0, \text{AbsRec} - \text{FalseAbs})$$
Donde:

• Acc: Precisión (Accuracy) en videos con respuesta (control).
• AbsRec: Recuerdo de Abstención (Abstention Recall) (abstenerse correctamente en videos vacíos).
• FalseAbs: Abstención Falsa (False Abstention) (abstenerse incorrectamente en videos de control).
• Significancia: La métrica utiliza el estadístico J de Youden ($\text{AbsRec} - \text{FalseAbs}$) para penalizar estrategias indiscriminadas. Un modelo que siempre se abstiene o que nunca se abstiene recibe un PECS de 0. Las puntuaciones altas requieren tanto una alta precisión en tareas con respuesta como una abstención selectiva en aquellas sin respuesta.

3. Análisis Mecanicista

El artículo emplea dos técnicas para sondear las representaciones internas:

• Sondeo Lineal (Linear Probing): Entrenamiento de sondas de regresión logística sobre los estados ocultos de VLM congelados para predecir etiquetas "vacío" vs. "control". Esto prueba si el modelo codifica la distinción.
• Direccionamiento de Activación (Activation Steering): Manipulación causal de los estados ocultos mediante la adición de un vector de "dirección de vacío" ($v_\ell$) durante la generación para probar si la representación controla causalmente el comportamiento de abstención.

Contribuciones Clave

1. TRAPSBench y PECS: Un benchmark a gran escala y una métrica robusta diseñados específicamente para evaluar la calibración epistémica en la comprensión de video, anulando estrategias degeneradas como "siempre abstenerse" o "nun vez abstenerse".
2. La Brecha Representación-Salida: El artículo establece que los VLM codifican internamente la incertididad epistémica pero fallan en expresarla. Esto se demuestra a través de:
   • Prompting Guiado: Instruir explícitamente a los modelos para que se abstengan ("No lo sé") desbloquea capacidades latentes, mejorando significativamente el recuerdo de abstención sin sacrificar la precisión.
   • Sondeo Lineal: Las sondas decodifican la señal de capacidad de respuesta de los estados ocultos con un AUROC alto (hasta 0.91) a través de dominios de física, incluso en muestras donde el modelo alucina con confianza.
   • Direccionamiento de Activación: La inyección de una dirección de "vacío" en una sola capa induce causalmente la abstención en muestras de control y la suprime en muestras vacías.
3. Asimetrías en los Modos de Fallo:
   • Visual vs. Textual: Los modelos detectan la imposibilidad textual (preguntas mal planteadas) aproximadamente 4 veces más fácilmente que las brechas de información visual.
   • Efectos de Razonamiento: El razonamiento de cadena de pensamiento (CoT) no mejora la calibración de manera uniforme. En algunos modelos (ej. Qwen3-VL Think), los rastros de razonamiento expresan duda que es posteriormente anulada por la salida final, lo que conduce a un aumento de la confabulación en comparación con las variantes sin pensamiento.
4. Análisis Mecanicista Causal: La geometría de la señal de "vacío" varía según el dominio. Las direcciones de la familia de oclusión codifican una señal general de "falta de evidencia" que se transfiere entre modalidades y dominios. Las direcciones de la familia caótica son específicas del dominio y casi ortogonales, lo que sugiere que la transparencia epistémica gobierna la transferibilidad.

Resultados

• La Restricción Espontánea es Pobre: A través de 16 VLM de cinco familias (Gemini, Qwen, GPT-5, Gemma, LLaVA), el PECS espontáneo es bajo. El mejor PECS espontáneo es 0.292 (Gemini 2.5 Flash). La mayoría de los modelos exhiben un sesgo fuerte a responder independientemente de la calidad de la evidencia.
• El Prompting Guiado Desbloquea la Latencia: Las instrucciones de prompting explícitas para abstenerse aumentan el Recuerdo de Abstención en una mediana de 1.9$\times$ en modelos nativos de video, con el PECS mejorando significamente (ej. Gemini 3.1 Pro R-Low alcanza 0.568). Sin embargo, incluso con guía, los modelos no alcanzan la saturación, indicando un cuello de botella persistente.
• Codificación Interna vs. Supresión de Salida:
  • Los sondos lineales alcanzan un AUROC de hasta 0.91 en transferencia entre conjuntos de datos, demostiendo que el modelo "sabe" que el resultado es incognoscible.
  • Crucialmente, esta señal persiste incluso cuando se restringe a muestras donde el modelo confabuló (falló al abstenerse) bajo el prompting estándar.
  • El direccionamiento de activación confirma que esta señal es causal: añadir la dirección de vacío a los estados ocultos fuerza la abstención.
• Puerta de Control de Prompting (Prompt Gating): En Qwen3-VL-8B, el prompting estándar impone una restricción unidireccional contra la abstención. Si bien el direccionamiento puede forzar la confabulación (suprimir la abstención) bajo prompts estándar, no puede inducir la abstención a menos que se use el prompt "guiado". Esto sugiere que el cuello de botella es una puerta en la etapa de salida, no una falta de representación interna.
• Razonamiento y Confabulación: El análisis de los modos de confabulación revela que entre el 87% y el 99% de los fallos involucran premisas alucinadas (fabricar observaciones visuales). En Qwen3-VL Think, el rastro de razonamiento a menudo expresa duda, pero la salida final la anula para proporcionar una respuesta fabricada y segura.

Significancia y Reivindicaciones

El artículo sostiene que el principal cuello de botella para el despliegue confiable de VLM en el razonamiento físico es expresivo, no perceptual.

• Brecha Representación-Salida: Los VLM poseen las señales epistémicas internas necesarias para distinguir entre escenarios con y sin respuesta. El fallo reside en el proceso de generación autorregresiva, que suprime estas señales en favor de respuestas fluidas y comprometidas.
• Especificidad de la Modalidad: La brecha es más pronunciada para la incertidumbre visual que para la textual. Los modelos son significativamente mejores detectando imposibilidades semánticas (texto) que brechas de información física (video).
• Necesidad de Intervención: Cerrar esta brecha probablemente requiere intervenciones en la etapa de salida (ej. restricciones de decodificación, direccionamiento o objetivos de entrenamiento especializados) en lugar de simplemente escalar el tamaño del modelo o mejorar la percepción visual.
• Generalizabilidad: Los hallazgos se replican en tres familias de pesos abiertos (Qwen, Gemma, LLaVA) sin procesos de entrenamiento compartidos, lo que sugiere que esta es una propiedad fundamental de las arquitecturas VLM actuales y no un artefacto de un modelo específico.

Los autores conclen que TRAPSBench proporciona una herramienta necesaria para evaluar y mejorar la calibración epistémica de los sistemas de IA, destacando que "saber cuándo no responder" sigue siendo un desafío crítico y no resuelto para los agentes autónomos.