Resumen Técnico: El Flujo y Reflujo del Foco Multimodal

1. Planteamiento del Problema

Los modelos de visión-lenguaje (VLMs) han demostrado sólidas capacidades de razonamiento, sin embargo, frecuentemente sufren de una degradación de la evidencia visual durante la inferencia de múltiples pasos. Una vez que la información visual es absorbida por la pila de lenguaje, su influencia suele atenuarse con la profundidad, se entrelaza con la organización del lenguaje o deriva conforme la generación avanza. Esto conduce a la "negligencia visual", donde los modelos dependen de los sesgos lingüísticos en lugar de la evidencia visual fundamentada, lo que resulta en alucinaciones y fallos de razonamiento.

Aunque trabajos previos han intentado mitigar estos problemas mediante el decodificado contrastivo, la reasignación de la atención o el direccionamiento de activaciones, sigue siendo incierto un entendimiento unificado de cómo la evidencia visual se organiza y se utiliza a través de la profundidad de la red. Específicamente, se desconoce si estos modos de fallo surgen de un proceso evolutivo único o de señales separadas, y cómo la intervención debe rastrear el cambio de rol de la evidencia visual a medida que el razonamiento progresa.

2. Metodología

2.1 Análisis Mecanicista: La Ventana de Relevo Visual (VRW)

Los autores investigan primero la dinámica interna de los VLMs mediante una lente mecanicista. Al rastrear dos sondas de atención específicas a través de las capas del Transformer, descubren una redistribución estable de tres etapas del foco multimodal:

1. Etapa Temprana (Organización Condicionada por la Pregunta): El modelo alinea la entrada visual con la consulta. La atención está dominada por la sonda dirigida a la pregunta ($M_{A \to Q}$), mientras que la atención intra-visual ($M_{I \to I}$) es baja.
2. Etapa Media (Relevo Dominante de la Visión): Una fase crítica donde el equilibrio cambia. La atención intra-visual aumenta significamente a medida que el modelo consolida la evidencia visual y ensambla estructuras relevantes para la respuesta. La sonda dirigida a la pregunta retrocede.
3. Etapa Tardía (Formación de la Respuesta): El cómputo regresa al lado del lenguaje para generar la respuesta final, realizando el traspaso de la evidencia visual ensamblada.

Los autores operacionalizan la fase media como la Ventana de Relevo Visual (VRW). Definen una puntuación de dominancia de relevo $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$ (tras normalización conjunta) para identificar el intervalo $[s, e]$ donde la consolidación visual domina.

Hallazgos Clave del Análisis:

• Geometría Dependiente de la Tarea: La VRW no es fija; su anchura y profundidad de terminación se adaptan a las demandas de la tarea. Las tareas "densas en detalles" (ej. contar) exhiben ventanas de relevo más amplias y tardías, mientras que las tareas "densas en razonamiento" exhiben ventanas más cortas con traspasos más tempranos.
• Desajuste de Relevo: Las respuestas alucinadas (no sustentadas) están vinculadas causalmente a un desajuste en la geometría del relevo. Estas trayectorias suelen salir de la fase de relevo demasiado pronto (ventanas estrechas) o fallan en mantener un fuerte anclaje visual tras el traspaso, derivando hacia los sesgos del lenguaje.
• Validación Causal: Perturbar los estados específicamente dentro de la VRW estimada de una trayectoria no sustentada recupera significativamente las respuestas fundamentadas (tasa de recuperación del 41.4%), mientras que las perturbaciones fuera de esta ventana tienen un efecto mínimo.

2.2 El Marco TRACE

Basándose en estos hallazgos, los autores proponen TRACE (Task-adaptive Relay Anchoring and Controlled Evidence Scheduling), un marco de control en tiempo de inferencia que consta de tres módulos ligeros entrenados:

1. Predictor de Relevo Aprendido: Un MLP ligero que predice una "puntuación de relevo" para cada capa de prefill basada en estadísticas compactas de atención (masa de auto-atención visual, su cambio, atención de la pregunta a la visión y profundidad de la capa). Identifica qué capas es probable que participen en el relevo.
2. Programación de Relevo Consciente de la Tarea:
   • Prefill: Utilizando la salida del predictor, el programador modula dinámicamente los sesgos de atención de visual-a-visual. Puede expandir la fase de relevo para tareas sensibles al fundamento o contraerla para tareas densas en razonamiento.
   • Selección Dinámica: Mantiene un subconjunto relevante para la tarea de tokens visuales (basado en Top-P según la relevancia de la pregunta a la visión) para concentrar la intervención en la evidencia reclutada.
3. Anclaje Post-Traspaso: Una vez que termina la fase de relevo (identificada por una regla de parada umbralizada), el marco aplica un sesgo aditivo de decaimiento por profundidad a los logits de respuesta-a-visión. Esto asegura que el soporte visual ensamblado permanezca accesible durante la fase de decodificación, evitando que el modelo se aleje de la evidencia.

El marco se entrena mediante la optimización conjunta del predictor, el programador y la pérdida de anclaje sobre tríos supervisados, manteniendo los parámetros del VLM base congelados.

3. Contribuciones Clave

1. Identificación Estructural: El artículo identifica una redistribución estable de tres etapas del foco multimodal a través de la profundidad y formaliza la fase media como la Ventana de Relevo Visual (VRW), proporcionando una medida estructural para el ensamblaje de evidencia interna.
2. Explicación Mecanicista: Establece un vínculo causal entre el tiempo de relevo óptimo y la generación fundamentada, demostrando que las alucinaciones a menudo surgen de un desajuste entre las demandas de evidencia de la tarea y la geometría del relevo del modelo.
3. Intervención Unificada (TRACE): Los autores introducen un marco que remodela la asignación del relevo durante el prefill y preserva el soporte durante la decodificación. Este enfoque aborda tanto la mitigación de alucinaciones como el razonamiento complejo bajo un único principio de control, en lugar de diseñar arreglos separados para cada uno.

4. Resultados Experimentales

TRACE fue evaluado en cuatro backbones de VLM de pesos abiertos (Qwen3-VL-4B/8B, InternVL3.5-4B/8B) a través de siete benchmarks que cubren sensibilidad de fundamento, evidencia de grano fino y tareas densas en razonamiento.

• Configuraciones Sensibles al Fundamento: TRACE entregó ganancias significativas en HallusionBench, VlmsAreBlind y CountBench, mejorando el rendimiento en un promedio de 4.33 puntos y hasta 6.6 puntos en pares específicos de modelo-benchmark (ej. InternVL3.5-8B en HallusionBench).
• Tareas Densas en Razonamiento: También mejoró el rendimiento en MathVista (ganancia promedio de 3.05 puntos), demostrando que ajustar la geometría del relevo beneficia las tareas de razonamiento al permitir un traspaso más temprano hacia el razonamiento del lado del lenguaje una vez organizada la evidencia.
• Comparación: TRACE superó la inferencia vanilla, la autoconsistencia, la Cadena de Pensamiento (Chain-of-Thought) y varios baselines de control en tiempo de inferencia (VCD, PAI, MARINE, PTI, DMAS).
• Ablación: Eliminar cualquiera de los tres componentes principales (Predictor, Scheduler, Anchoring) resultó en caídas de rendimiento, confirmando que el mecanismo específico de remodelar la geometría del relevo es crucial, no solo la adición de parámetros entrenables.

5. Significado y Reivindicaciones

El artículo afirma que el control explícito del foco multimodal a través de la profundidad ofrece un mecanismo unificado y efectivo para fortalecer el razonamiento basado en evidencia. Al ver las diversas demandas de las tareas descendentes a través de la lente de un único ritmo computacional subyacente (el relevo), TRACE evita la necesidad de heurísticas específicas para cada tarea.

Los autores enfatizan que su trabajo proporciona una explicación mecanicista para las alucinaciones típicas (terminación temprana del relevo) y las diferencias de capacidad entre los modelos estándar y los modelos "Thinking" (mejor coincidencia de relevo). Si bien el análisis actual se basa en sondas derivadas de la atención y configuraciones de una sola imagen, el trabajo propone un paradigma general para un razonamiento multimodal más fiable al alinear el proceso de ensamblaje de evidencia interna del modelo con las demandas específicas de la tarea.