💬 NLP

Test-Time Training for Modality Order Consistency in Vision-Language Models

Este artículo identifica una brecha de rendimiento constante en los modelos de visión y lenguaje causada por el orden de las entradas de imagen y texto, y propone un método de entrenamiento en tiempo de prueba que no solo cierra esta brecha de orden de modalidad, sino que también mejora la precisión general al alinear las representaciones internas a través de diferentes secuencias de prompts.

Autores originales: Aditi Gupta, Yossi Gandelsman

Publicado 2026-07-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aditi Gupta, Yossi Gandelsman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a ver y hablar al mismo tiempo. Este es el mundo de los Modelos de Visión y Lenguaje (VLM, por sus siglas en inglés), una rama de la inteligencia artificial donde las computadoras aprenden a mirar imágenes y responder preguntas sobre ellas, o a describir lo que ven. Piensa en estos modelos como estudiantes superinteligentes que han leído todos los libros y visto todas las fotos de internet. Pero, al igual que los estudiantes reales, pueden confundirse por cómo les haces una pregunta. En el mundo de la IA, el "orden" de la información importa. Si muestras primero una imagen y luego haces una pregunta, el robot podría pensar de manera diferente que si haces la pregunta primero y luego muestras la imagen. Este artículo investiga un extraño fallo: aunque la imagen y la pregunta son exactamente iguales, cambiar su orden cambia la respuesta del robot. Es como si un humano se equivocara en un problema matemático porque escribiste los números en un orden diferente, aunque la matemática en sí no haya cambiado. Los investigadores querían saber por qué sucede esto y si podían enseñar al robot a dejar de preocuparse por el orden, haciéndolo más inteligente y consistente.

Los autores de este artículo descubrieron que los modelos de IA modernos son sorprendentemente sensibles a este "orden de la modalidad". Probaron tres modelos inteligentes diferentes en tres conjuntos de preguntas distintos y encontraron un patrón constante: cuando se mostraba primero la imagen, los modelos acertaban con mucha más frecuencia. Cuando la pregunta iba primero, los modelos tropezaban, a veces fallando la respuesta correcta por un margen enorme, de hasta 26 puntos porcentuales en las pruebas más difíciles. Esto es algo importante porque la información es idéntica; solo cambió la secuencia. Es como si el cerebro del robot tuviera un "carril preferido" para procesar la información, y obligarlo a entrar en el otro carril causara un embotellamiento.

Para solucionar esto, los investigadores inventaron un truco ingenioso llamado "Entrenamiento en el Tiempo de Prueba" (Test-Time Training). En lugar de reentrenar a todo el robot desde cero (lo cual toma una eternidad), le enseñaron a aprender sobre la marcha, justo cuando se le hace una pregunta. Así es como funciona: para cada pregunta, le piden al robot lo mismo dos veces: una vez con la imagen primero, y otra vez con la pregunta primero. Notaron que la versión de "primero la imagen" solía acertar, así que usaron esa respuesta como un "maestro". Luego, empujaron suavemente a la versión de "primero la pregunta" para que pensara más como el maestro. Lo hicieron tomando unos pocos pasos diminutos de aprendizaje solo para esa pregunta específica, utilizando una regla matemática que dice: "Oye, tu respuesta se ve un poco diferente a la del maestro; ajustemos tu cerebro solo un poquito para que coincida".

Los resultados fueron sorprendentemente buenos. Este pequeño empujón no solo arregló los errores de "primero la pregunta", sino que también hizo que las respuestas de "primero la imagen" fueran ligeramente mejores. Es como si practicaras una canción con la mano izquierda y, de repente, tu mano derecha también mejorara al tocarla. Los modelos se volvieron más consistentes, cerrando la brecha entre las dos formas de preguntar. En algunos casos, la precisión de "primero la pregunta" saltó de un bajo 35% a un alto 61%, casi alcanzando el rendimiento de "primero la imagen".

Pero los investigadores no se detuvieron solo en arreglar el problema; querían saber dónde dentro del cerebro del robot ocurría esta confusión. Utilizaron una técnica llamada "parcheo de activación" (activation patching), que es como cambiar un engranaje específico en un reloj para ver si arregla la hora. Descubrieron que la confusión no ocurría en todas partes del modelo. En cambio, estaba concentrada en una sección media muy específica y estrecha de las capas del robot. Si intercambiaban las señales cerebrales de "primera la pregunta" con las de "primero la imagen" en esta zona media, el robot de repente obtenía la respuesta correcta. Esto sugiere que el error no es una falta general de inteligencia, sino un fallo de "nivel de circuito" en la mitad de la cadena de procesamiento.

Además, descubrieron que el "Entrenamiento en el Tiempo de Prueba" funcionaba mejor cuando se enfocaba su aprendizaje en estas mismas capas medias. Es como si hubieran encontrado el lugar exacto donde el robot se estaba confundiendo y aplicaran una reparación dirigida. Curiosamente, descubrieron que tratar ambos órdenes como igualmente fiables (intentar que se encontraran en el medio) no funcionaba tan bien. El robot realmente necesitaba una dirección clara: la versión de "primero la imagen" era el maestro fiable, y la versión de "primero la pregunta" necesitaba aprender de él.

Al final, este artículo muestra que los modelos de IA pueden tener debilidades extrañas y específicas que no tienen nada que ver con la tarea en sí. Al detectar estas debilidades y utilizar un truco de aprendizaje inteligente y unidireccional, los investigadores pudieron hacer que los modelos fueran más robustos. Demostraron que se pueden arreglar estos fallos sin necesidad de nuevos datos o de reentrenar todo el sistema, simplemente dándole al modelo un pequeño y dirigido empujón en el momento en que lo necesita. Es un recordatorio de que incluso la IA superinteligente puede tropezar con el orden de las cosas, pero con un poco de la ayuda adecuada, puede aprender a prestar atención a lo que realmente importa.

Resumen Técnico: Entrenamiento en Tiempo de Prueba para la Consistencia del Orden de Modalidades en Modelos de Visión y Lenguaje

Identificación del Problema
Este artículo identifica un modo de falla sistemático y repetible en los modelos modernos de visión y lenguaje (VLM): la sensibilidad al orden en el que se presentan las modalidades. A pesar de que el contenido semántico (imagen, pregunta y opciones de respuesta) permanece idéntico, intercambiar la posición de la imagen y el texto de la instrucción (prompt) conduce a predicciones sustancialmente diferentes. En tres modelos (InternVL2, Qwen2.5-VL, Qwen3-VL) y tres evaluaciones comparativas (MMStar, RealWorldQA, AI2D), el uso de instrucciones con la "imagen primero" supera consistentemente al de "pregunta primero". La brecha de precisión oscila entre 6 y 26 puntos porcentuales, lo que indica que el orden relativo de las modalidades induce diferencias estructuradas en la computación interna, aun cuando la semántica de la tarea es invariable.

Metodología
Los autores proponen un método de Entrenamiento en Tiempo de Prueba (TTT por sus siglas en inglés) asimétrico y libre de etiquetas para reparar esta inconsistencia sin requerir supervisión externa o ajuste fino específico de la tarea.

Objetivo de Adaptación Asimétrica: El método trata la predicción más fuerte ("imagen primero") como una señal docente y la predicción más débil ("pregunta primero") como estudiante. Para cada instancia de prueba, el modelo realiza un pequeño número de pasos de gradiente ( $K$ ) para alinear la distribución de salida de "pregunta primero" hacia la distribución de "imagen primero".
Docente Móvil (Moving Teacher): De manera crucial, el docente de "imagen primero" no es fijo; se vuelve a calcular en cada paso de gradiente utilizando los pesos actualizados del modelo, aunque los gradientes están desvinculados (detached) de la rama docente. Este enfoque de "docente móvil" permite que la adaptación impulse ambos órdenes hacia una consistencia mutua mediante procesos de arranque (bootstrapping).
Alcance Guiado por Mecanismos: Aunque teóricamente el método puede actualizar todos los parámetros, los autores restringen las actualizaciones de gradiente a ventanas específicas de capas del transformer. Basándose en un análisis mecanístico, encuentran que la adaptación en las capas medias y tardías de la red ofrece el mejor equilibrio entre recuperar la precisión de "pregunta primero" y preservar el rendimiento de "imagen primero".
Función de Pérdida: La alineación es impulsada por una pérdida de divergencia de Kullback-Leibler (KL) asimétrica, $D_{KL}(\bar{p}_{IF} || p_{QF})$ , donde $\bar{p}_{IF}$ es la distribución docente desvinculada.

Contribuciones Clave

Identificación de Falla a Nivel de Circuito: El artículo establece la sensibilidad al orden de modalidad como un modo de falla repetible en los VLM, donde pares idénticos de imagen-pregunta producen predicciones divergentes basándose únicamente en el orden del prompt.
Localización Causal vía Parcheo de Activaciones: Utilizando el parcheo de activaciones (activation patching), los autores demuestran que este fallo no es difuso sino que está concentrado causalmente en una estrecha banda media de la red (específicamente en las capas 18–20 de InternVL2-8B). Reemplazar los estados ocultos de "pregunta primero" con los de "imagen primero" en las capas iniciales o finales tiene un efecto mínimo, mientras que el parcheo en esta ventana específica de capa intermedia restaura drásticamente la precisión.
Mecanismo de Reparación Direccional: Los autores proponen y validan un procedimiento de TTT asimétrico guiado por mecanismos. Al utilizar la rama de "imagen primero", que es más fuerte, para reparar la rama de "pregunta primero", el método cierra la brecha de precisión preservando ampliamente (y mejorando ligeramente) el orden más robusto.

Resultados

Cierre de Brecha: El método TTT reduce sustancialmente la brecha de precisión de "pregunta primero" en todas las configuraciones evaluadas. Por ejemplo, en el modelo InternVL2-8B con el conjunto de datos MMStar, la precisión de "pregunta primero" mejoró del 35.5% al 61.5% (una ganancia de +26.1 puntos), igualando casi la línea base de "imagen primero" de 61.6%.
Preservación y Mejora del Orden Más Fuerte: Contrario a la expectativa de que adaptar la rama más débil podría degradar la más fuerte, la precisión de "imagen primero" permaneció sin cambios o mejoró ligeramente (en un 0.0 a 1.2 puntos porcentuales) en la mayoría de las configuraciones.
Perspectivas de Ablación:
- La Asimetría es Esencial: Los objetivos de consistencia simétricos (que tratan ambos órdenes como igualmente fiables) recuperaron significativamente menos de la brecha y degradaron ligeramente el rendimiento de "imagen primero".
- El Docente Móvil es Crítico: Un docente congelado (calculado una vez desde el modelo preentrenado) resultó en una recuperación mucho menor de "pregunta primero" (43.9% frente a 61.5% con un docente móvil), confirmando que el efecto de arranque de actualizar al docente es vital.
- Especificidad de Capas: La adaptación dirigida a ventanas de capas intermedias (por ejemplo, capas 16–20) superó a la adaptación en capas tempranas o tardías.

Significancia y Afirmaciones
El artículo afirma que la sensibilidad al orden de modalidad representa una "falla a nivel de circuito" en los VLM que es localizable causalmente. La importancia del trabajo radica en demostrar que una adaptación en tiempo de prueba, sencilla y asimétrica, puede mitigar eficazmente este fallo. Los autores argumentan que debido a que una variante de entrada (primero la imagen) es empíricamente más fiable, los objetivos de adaptación deben preservar esta direccionalidad en lugar de imponer una consistencia simétrica. Además, los resultados sugieren que la adaptación en tiempo de prueba es más efectiva cuando se dirige a las regiones internas específicas donde surgen las inconsistencias, en lugar de aplicar actualizaciones uniformes en toda la red. El artículo concluye que este enfoque no solo repara el orden más débil, sino que también produce un modelo internamente más consistente, mejorando potencialmente el orden más fuerte mediante el proceso de arranque de los pesos compartidos.

Más como este