Resumen Técnico: Cuando pensar duele: Señales epistémicas en las cadenas de razonamiento de los modelos de lenguaje visuales

Declaración del Problema

Los Modelos de Lenguaje Visuales (VLMs) están adoptando cada vez más una arquitectura de "modo de pensamiento", donde el modelo genera una cadena de razonamiento explícita (por ejemplo, dentro de las etiquetas <thought>...</thought>) antes de comprometerse con una respuesta final. Aunque esto imita la deliberación humana, los autores identifican un fallo crítico en los métodos convencionales de cuantificación de la incertidumbre (UQ) para este paradigma.

Las técnicas estándar de UQ dependen de la entropía de la distribución de tokens de la respuesta ($H_{ans}$) para estimar la incertidumbre epistémica. El artículo demuestra que, en los VLMs en modo de pensamiento, la cadena de razonamiento actúa como un fuerte prior de condicionamiento que "pre-compromete" al modelo hacia una dirección de respuesta específica. Este proceso colapsa la distribución de tokens de la respuesta, destruyendo la varianza que los métodos basados en la entropía requieren para funcionar. En consecuencia, la entropía de la respuesta convencional se convierte en un predictor de nivel de azar para las alucinaciones (AUROC $\approx$ 0.5), lo que deja inútiles los métodos existentes de incertididad a nivel de salida para estos modelos bajo decodificación codiciosa (greedy decoding).

Metodología

El estudio emplea una ablación controlada y una caracterización empírica trans-familia para aislar los efectos de la decodificación en modo de pensamiento.

• Modelos: Los autores evalúan tres familias distintas de VLMs en modo de pensamiento:
  • Qwen3-VL-8B-Thinking: Genera cadenas de razonamiento antes de responder.
  • GLM-4.1V-9B-Thinking: Un modelo competidor en modo de pensamiento.
  • InternVL3-8B: Un modelo que exhibe un comportamiento de pensamiento selectivo.
  • Control: Se utiliza Qwen3-VL-8B-Instruct (la variante no-pensante de la misma familia) para establecer una línea base donde la entropía de la respuesta sigue siendo una señal válida.
• Benchmarks:
  • POPE (Adversario): 1,000 preguntas binarias de sí/no sobre la presencia de objetos en imágenes de COCO, diseñadas para probar la alucinación.
  • HallusionBench: 951 preguntas visuales que cubren ilusiones, imágenes editadas y tareas de razonamiento.
  • VQAv2 (Piloto): 300 preguntas abiertas para probar la generalización más allá de las tareas binarias.
• Señales: El estudio extrae señales de una única pasada hacia adelante codiciosa (greedy forward pass) (sin coste de inferencia adicional):
  • $H_{ans}$: Entropía de Shannon media sobre los tokens de la respuesta.
  • $H_{think}$: Entropía de Shannon media sobre los tokens dentro de la cadena de pensamiento.
  • $L$: Longitud de la cadena de pensamiento.
• Evaluación: Los autores miden el Área Bajo la Curva de la Característica Operativa del Receptor (AUROC) para predecir falsos positivos (alucinaciones) frente a verdaderos positivos, tanto incondicionalmente como condicionado a la dirección de la respuesta (por ejemplo, restringiéndose a las predicciones de "sí" para eliminar confusiones).

Hallazgos Clave

1. Colapso de la Entropía de la Respuesta

El hallazgo central es que la decodificación en modo de pensamiento causa un colapso cualitativo en la entropía de la respuesta.

• Qwen3-VL-8B-Thinking: Muestra un colapso completo. En POPE, el AUROC para $H_{ans}$ cae de 0.899 (control no-pensante) a 0.492 (nivel de azar). El modelo se pre-compromete totalmente durante la fase de pensamiento, dejando sin varianza en la distribución de la respuesta para señalar la incertidumbre.
• GLM-4.1V-9B-Thinking: Muestra ningún colapso. $H_{ans}$ sigue siendo predictivo (AUROC 0.716), lo que sugiere que su receta de entrenamiento no impone un pre-compromiso total.
• InternVL3-8B: Muestra pensamiento selectivo. Las cadenas se generan solo en el 50% de las muestras. $H_{ans}$ es 0.675 en el conjunto completo, pero cae a 0.602 en el subconjunto de solo pensamiento.

2. Superioridad de las Señales de la Cadena

En todos los modelos donde se generan cadenas, la entropía de la cadena de pensamiento ($H_{think}$) y la longitud de la cadena ($L$) superan a la entropía de la respuesta.

• Qwen: $H_{think}$ logra un AUROC de 0.647 frente a 0.492 para $H_{ans}$.
• GLM: $H_{think}$ logra 0.759 frente a 0.716 para $H_{ans}$.
• InternVL3: En el subconjunto de solo pensamiento, $H_{think}$ (0.608) supera marginalmente a $H_{ans}$ (0.602), aunque el pequeño número de falsos positivos (n=17) hace que esto sea estadísticamente poco fiable. Sin embargo, la presencia de una cadena es una señal fuerte para InternVL3; la tasa de falsos positivos es más del doble cuando el modelo omite el pensamiento (13.1%) en comparación con cuando genera una cadena (6.0%).

3. Jerarquía Epistémica y Abstención

Los autores identifican una jerarquía monotónica en las señales de la cadena:

• Comprometido-Correcto (TP): Cadenas más cortas, menor entropía.
• Comprometido-Erróneo (FP): Cadenas más largas, mayor entropía.
• Abstención-con-Cadena: Cadenas más largas, mayor entropía.
  Esto confirma que las señales de la cadena rastrean el estado epistémico del modelo (dificultad para resolver) en lugar de solo propiedades superficiales de la salida.
• Abstención Estructurada: Los modelos de pensamiento exhiben altas tasas de abstención (22.1% en POPE, 12.6% en HallusionBench), con una asimetría consistente hacia las consultas de objetos ausentes. El mecanismo difiere según el modelo: Qwen a menudo sobre-delibera (cadenas largas que no logran resolver), mientras que InternVL3 a menudo falla en generar una cadena en absoluto en consultas difíciles.

4. Utilidad Práctica: La Puerta de Abstención (Abstention Gate)

El artículo propone una "puerta de cadena" práctica que rechaza las muestras con señales poco claras o cadenas largas.

• En POPE, aplicar esta puerta al modelo en modo de pensamiento eleva la precisión del 71.0% (línea base) al 93.8% con una cobertura del 62.7%.
• Aunque el modelo "Instruct" no-pensante todavía logra una precisión mayor (96.7% con una cobertura similar) usando la entropía de la respuesta, la puerta de la cadena es la única opción viable para desplegar modelos en modo de pensamiento, ya que la entropía de la respuesta no proporciona ninguna señal en este régimen.

5. Generalización a Tareas Abiertas

Un piloto en VQAv2 confirma que la entropía de la cadena (0.680) supera a la entropía de la respuesta (0.595) incluso en escenarios de respuesta libre. La brecha es mayor para respuestas libres (0.733 frente a 0.467), lo que sugiere que la ventaja no es un artefacto de la estructura de tareas binarias.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera caracterización empírica del comportamiento de la entropía de la respuesta en los VLMs en modo de pensamiento, revelando que el fenómeno de "colapso" depende de la receta de entrenamiento y no es una propiedad universal de la arquitectura.

La principal significancia radica en el cambio de paradigma para la estimación de la incertidencia en modelos de razonamiento:

1. Ubicación de la Señal: Para los VLMs en modo de pensamiento, la señal epistémica reside en el proceso de razonamiento (la cadena), no en la salida final.
2. Solución de Coste Cero: La detección fiable de alucinaciones puede lograrse utilizando señales ($H_{think}$, $L$) extraídas de una única pasada hacia adelante codiciosa, lo que no requiere inferencia, muestreo o sondas externas adicionales.
3. Tractabilidad de Despliegue: Los autores argumentan que la estimación de la incertidumbre para los VLMs en modo de pensamiento debe rastrear el proceso de razonamiento para ser epistémicamente tratable. Demuestran que, sin este cambio, estos modelos son efectivamente "ciegos" a su propia incertidumbre cuando se utilizan métricas estándar a nivel de salida.

Los autores se mantienen modestos respecto a la universalidad de estos hallazgos, señalando que los resultados se basan en modelos de escala 8–9B y decodificación codiciosa. Expresan explícitamente que queda por determinar si estos patrones persisten bajo el muestreo estocástico (temperatura > 0) o en modelos más grandes (32B+).