Resumen Técnico: Decodificación Contrastiva de Tono-Presión (TPCD)

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLMs) exhiben un modo de fallo específico conocido como alucinación inducida por presión. Cuando los usuarios emplean prompts de liderazgo, coercitivos o de alta presión, los modelos suelen reemplazar la incertidumbre con compromisos concretos y sin fundamento. Esto se manifiesta como la lectura de texto ilegible, el reporte de tiempos indeterminados o la afirmación de la presencia de objetos ausentes.

Si bien el "prompting seguro" (envoltorios neutrales) puede mitigar parte de esto, a menudo falla cuando el modelo aún convierte evidencia débil en una respuesta concreta. Por el contrario, la decodificación contrastiva completa (restar una rama negativa de una rama segura) puede provocar un exceso de rechazo, suprimiendo respuestas positivas válidas. El desafío central identificado en este trabajo es el enrutamiento sin etiquetas: determinar cuándo aplicar la sustracción de presión sin dañar las respuestas positivas fundamentadas, utilizando únicamente las salidas del modelo en lugar de etiquetas de verdad de campo externas.

2. Metodología

Decodificación Contrastiva de Tono-Presión (TPCD)

El TPCD es una variante de decodificación contrastiva diseñada específicamente para la alucinación inducida por presión. Para una imagen $I$ y una pregunta $q$, el VLM se ejecuta bajo dos envoltorios de instrucción:

1. Seguro Neutral ($s_0$): Pide respuestas basadas únicamente en la evidencia visible.
2. Alta Presión ($s_+$): Exige una respuesta segura y desincentiva la incertidumbre.

En cada paso de decodificación $t$, los logits se combinan como:
$$\tilde{\ell}_t = (1 + \alpha)\ell^0_t - \alpha\ell^+_t$$
donde $\ell^0_t$ y $\ell^+_t$ son los logits seguros y de presión, respectivamente. El parámetro $\alpha$ se establece en 2.0. Este mecanismo penaliza los tokens que son promovidos por la presión más de lo que lo son por el envoltorio seguro, preservando al mismo tiempo los tokens respaldados por ambas ramas.

Mecanismos de Puerta Sin Etiquetas (Label-Free Gating)

Dado que el TPCD completo es excesivamente conservador (colapsando la precisión positiva), el artículo propone varias puertas (gates) para decidir entre la respuesta de presión ($y_+$) y la respuesta TPCD ($y_{TPCD}$). Estas puertas dependen únicamente de las salidas de la forma superficial y el desacuerdo entre ramas, evitando la necesidad de etiquetas de verdad de campo:

• Puerta de Compromiso de Regla Superficial: Se activa si la rama de presión produce un compromiso concreto (por ejemplo, una hora específica, un nombre o un "sí" afirmativo). Limitación: Esto es tautológico para ciertas categorías, ya que utiliza los mismos predicados que el evaluador del benchmark.
• Puerta de Desacuerdo de Ramas: Se activa solo si la rama de presión se compromete pero la rama neutral segura ($y_0$) no lo hace.
• Puerta de Prior de Tarea/Desacuerdo: Un híbrido que fuerza el TPCD en categorías específicas (tiempo e intención humana) donde se sabe que la neutralización segura falla, de lo contrario, recurre al desacuerdo de ramas.
• Enrutador de Desacuerdo de Respuesta: Una regla libre de prior de categoría que se activa si $y_+$ se compromete, $y_0$ se abstiene o difiere, y $y_{TPCD}$ ya no se compromete.

Protocolo Experimental

El estudio utiliza el benchmark tone-matters (800 ejemplos en 8 categorías visualmente indeterminadas).

• División de Diseño: Se utiliza LLaVA-1.5-7B para definir las reglas de las puertas.
• Validación Externa (Held-Out): Se utilizan las familias de modelos GLM-4.6V y Llama-3.2-Vision para probar las reglas fijas sin reajuste.
• Métricas: Tasa de Éxito de Ataque (ASR) para negativos y Precisión Positiva (recuperación de objetivo) para un conjunto de control positivo emparejado de 7 de 780.

3. Resultados Clave

Rendimiento en LLaVA-1.5-7B (Modelo de Diseño)

• Línea Base de Presión: 66.75% ASR.
• Neutralización Segura: Reduce el ASR a 9.88% pero retiene algunas alucinaciones.
• TPCD Completo: Reduce drásticamente el ASR a 0.50% pero colapsa la precisión positiva al 15.56% debido al exceso de rechazo.
• Puerta de Prior de Tarea/Desacuerdo: Logra el mejor equilibrio en el conjunto de diseño, reduciendo el ASR a 1.63% mientras mantiene un 54.44% de precisión positiva (igualando la línea base segura).

Transferencia entre Modelos (GLM y Llama)

Cuando se aplican las reglas fijas derivadas de LLaVA a GLM-4.6V y Llama-3.2-Vision:

• Neutralización Segura: ASR agregado de 10.98%.
• Prior de Tarea/Desacuerdo: Reduce el ASR agregado a 4.90% con 73.78% de precisión positiva.
• Enrutador de Desacuerdo de Respuesta: Una regla libre de prior de categoría que reduce el ASR a 6.93% logrando un 79.94% de precisión positiva.
• Desacuerdo de Ramas: Reduce el ASR a 9.67% con 79.94% de precisión positiva.

Diagnóstico de Mecanismo (POPE)

Un diagnóstico de primer token en el benchmark POPE muestra que la presión aumenta el margen del "sí" tanto para los falsos positivos como para los verdaderos positivos. Sin embargo, las ramas de instrucción perturbada genérica (como ICD) no aíslan la misma señal de compromiso que la rama de presión, confirmando la especificidad del TPCD hacia el sesgo de tono.

4. Contribuciones

1. Formulación del Sesgo de Compromiso: El artículo enmarca la alucinación inducida por presión como un sesgo de compromiso e introduce el TPCD como una variante de decodificación contrastiva dirigida, distinta de los métodos genéricos de instrucción perturbada.
2. Puertas Operativas Sin Etiquetas: Evalúa y caracteriza varias estrategias de enrutamiento que utilizan únicamente las salidas del modelo (reglas superficiales, desacuerdo) para mitigar la alucinación sin etiquetas externas.
3. Evidencia de Transferencia entre Modelos: Proporciona evidencia a gran escala (n=800 negativos, n=780 positivos) a través de tres familias de modelos, demostrando que la sustracción de presión es una señal de mitigación viable que se transfiere, aunque el enrutamiento óptimo depende del modelo.
4. Caracterización de Limitaciones: El trabajo identifica explícitamente el "Cuello de Botella de la Puerta Sin Etiquetas", mostrando que las puertas actuales no son detectores de fundamentación validados independientemente y a menudo dependen de formas superficiales o priors de categoría.

5. Significado y Reivindicaciones

El artículo concluye con una reivindicación modesta y estrecha:

• La presión es una sonda útil: La distribución de respuesta a la presión expone eficazmente el sesgo de compromiso y sirve como una rama negativa viable para la decodificación contrastiva.
• La mitigación es posible pero imperfecta: Las reglas de enrutamiento simples pueden reducir significamente el ASR en comparación con la neutralización segura, preservando la precisión positiva en modelos externos.
• No hay una solución general todavía: Las puertas actuales no son detectores de fundamentación independientes y conscientes del contexto; son post-hoc, basados en formas superficiales y a menudo dependen de los priors de categoría específicos del benchmark.
• Dirección Futura: El principal cuello de botella sigue siendo el desarrollo de un enrutador consciente de la fundamentación que pueda determinar independientemente cuándo la evidencia visual es lo suficientemente débil como para justificar la sustracción del compromiso inducido por la presión, en lugar de depender de heurísticas de nivel superficial.

Los autores enfatizan que este es un artículo de caracterización que demuestra la promesa y la no universalidad de la sustracción de presión, más que un enrutador general terminado y desplegable.