⚡ electrical engineering

Ask Twice, Look Twice: Prompt Echoing Resolves the Question-First Paradox in Vision-Language Models

Este artículo identifica y resuelve la "paradoja de la pregunta primero" en los Modelos de Visión y Lenguaje —donde colocar las preguntas antes de las imágenes guía intuitivamente la percepción pero falla en la generación de respuestas— mediante la introducción de una estrategia de "eco de prompt" sin entrenamiento que reitera la pregunta a ambos lados de la imagen para dirigir simultáneamente la percepción y asegurar el acceso a la respuesta, aumentando significativamente el rendimiento a través de múltiples evaluaciones de referencia.

Autores originales: Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare

Publicado 2026-07-20

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rakshanda Hassan Abhinandan, John Galeotti, Deva Ramanan, Gautam Rajendrakumar Gare

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot cómo ver el mundo. Este robot es un tipo especial de cerebro informático llamado Modelo de Lenguaje-Visión (VLM). Piensa en él como un estudiante superinteligente que puede mirar una imagen y responder preguntas sobre ella, pero lee todo como una única y larga línea de texto. Para el robot, una imagen no es una sola imagen; es una larga lista de diminutas piezas de rompecabezas (tokens) que describen lo que hay en la foto.

La gran pregunta que los científicos se han estado haciendo es: "¿Deberías decirle al robot qué buscar antes de mostrarle la imagen o después?". Parece de sentido común decir que la pregunta debería ir primero. Si le dices a un humano: "Busca el coche rojo", este sabe exactamente dónde enfocar sus ojos incluso antes de ver la calle. Esperarías que el robot funcionara igual. Pero aquí está el giro: cuando los investigadores probaron esto con los robots más inteligentes, los que recibieron la pregunta primero obtuvieron las respuestas incorrectas con más frecuencia que los que recibieron la pregunta al final. Es un poco como decirle a un detective: "Encuentra la galleta perdida", entregarle una foto de una cocina y luego darse cuenta de que pasó por alto la galleta porque estaba mirando en el lugar equivamente. Esta situación confusa es lo que los científicos llaman un "paradoja".

Este artículo, titulado "Pregunta dos veces, mira dos veces", profundiza en este misterio para descubrir por qué el robot está fallando y cómo solucionarlo sin enseñarle nada nuevo. Los investigadores descubrieron que el robot sí está escuchando la pregunta al principio; es solo que el cerebro del robot se siente abrumado por la larga lista de piezas de la imagen y olvida la pregunta para cuando tiene que dar una respuesta. Es como leer un libro largo donde la primera página te dice la trama, pero para la página 100, ya has olvidado el principio. La solución que encontraron es sorprendentemente simple: haz la pregunta dos veces. Al repetir la pregunta una vez antes de la imagen y otra vez después, el robot obtiene lo mejor de ambos mundos: sabe qué buscar y recuerda la pregunta cuando llega el momento de hablar.

El Misterio del Robot Olvidadizo

Los investigadores comenzaron probando esta idea de "Pregunta Primero" en cinco robots inteligentes diferentes (VLM) utilizando tres pruebas distintas. Mantuvieron las imágenes y las preguntas exactamente iguales, cambiando solo el orden. Los resultados fueron impactantes. En una prueba llamada NaturalBench, el robot que escuchó la pregunta primero obtuvo 8.1 puntos menos que el que la escuchó al final. En otra prueba difícil llamada Winoground, la brecha fue aún mayor, con el robot de "Pregunta Primero" perdiendo 9.5 puntos. En algunos casos, como con el robot LLaVA, hacer la pregunta primero confundió tanto al robot que simplemente empezó a decir "Sí" a todo, obteniendo una puntuación perfecta de cero en las partes más difíciles.

El equipo quería saber: ¿El robot está ignorando la pregunta al principio? ¿O está escuchándola pero luego la olvida?

El Trabajo de Detective: Dos Etapas de Pensamiento

Para resolver el caso, los investigadores utilizaron herramientas especiales para mirar dentro del cerebro del robot mientras pensaba. Observaron dos momentos específicos:

La etapa de "Mirar": ¿Cambia la pregunta la forma en que el robot ve la imagen?
La etapa de "Responder": ¿Utiliza realmente el robot la pregunta cuando decide qué decir?

Descubrieron algo fascinante. El robot de "Pregunta Primero" estaba haciendo la primera parte perfectamente. Cuando la pregunta venía antes de la imagen, el cerebro del robot de hecho cambiaba su enfoque. Si preguntabas "¿Hay agua?", el robot empezaba a ver "goteo" y "jugando" en los parches de la imagen en lugar de solo "ropa" o "fondo". ¡Estaba mirando en el lugar correcto!

Pero entonces, la segunda parte salía mal. Debido a que la imagen está hecha de cientos de diminutos pedazos, el robot tenía que leer a través de una larga lista de tokens de imagen antes de poder finalmente dar su respuesta. Para cuando llegaba al final para hablar, la pregunta original estaba tan lejos en su memoria que apenas prestaba atención a ella. En su lugar, el robot simplemente adivinaba basándose en lo que veía en la imagen, obteniendo a menudo la respuesta incorrecta. Era como un estudiante que estudió el capítulo correcto pero olvidó la pregunta específica en el examen porque estaba escrita en una página diferente.

El Arreglo del "Eco"

Los investigadores se dieron cuenta de que el robot necesitaba la pregunta en dos lugares a la vez. Se les ocurrió un truco llamado Eco de la Pregunta (Question Echoing). En lugar de solo hacer la pregunta una vez, le dijeron al robot: "Aquí está la pregunta. Ahora mira la imagen. Y aquí está la pregunta otra vez".

Este simple cambio funcionó como magia. La primera copia de la pregunta le decía al robot exactamente dónde mirar (la etapa de "Mirar"), y la segunda copia, situada justo al lado de la respuesta, le recordaba al robot qué era lo que debía decir (la etapa de "Responder").

Incluso probaron una versión súper llamada Eco de la Imagen (Image Echoing), donde mostraban la imagen dos veces: una vez antes de la primera pregunta y otra vez después de la segunda. Esto ayudó al robot a ver la imagen completa como una gran escena en lugar de solo una serie de piezas desconectadas.

Los Resultados

El arreglo fue increíblemente efectivo. Al simplemente repetir la pregunta (y a veces la imagen), las puntuaciones del robot aumentaron drástendamente. En la prueba más difícil, Winoground, el método de "Eco" mejoró la puntuación del robot hasta en 19 puntos en comparación con el método de "Pregunta Primero". Incluso superó al método estándar de "Pregunta al Final", que anteriormente se consideraba la mejor forma.

¿Lo mejor de todo? No tuvieron que reentrenar a los robots ni cambiar su código. Simplemente cambiaron la forma en que hacían las preguntas. Es como darse cuenta de que, si quieres recordar un número de teléfono, repetirlo en voz alta dos veces ayuda a mantenerlo en la cabeza por más tiempo.

Por Qué Esto Importa

Este descubrimiento es importante porque demuestra que cómo hablamos a los robots importa tanto como qué tan inteligentes son los robots. Durante mucho tiempo, la gente pensó que el orden de las palabras no importaba mucho, o que "Pregunta Primero" era la forma más lógica de hablar. Este artículo demuestra que la lógica no siempre es correcta para los robots.

Los investigadores también descubrieron que esto no es solo un error en un robot específico; ocurre en diferentes tipos de modelos, desde los más pequeños hasta los más grandes y brillantes. Incluso notaron que esta idea de "Pregatar dos veces" es similar a un truco de enseñanza que los humanos han usado durante cincuenta años, donde los profesores hacen una pregunta antes y después de una lectura para ayudar a los estudiantes a comprender mejor. Parece que, ya seas un estudiante humano o un robot, a veces solo necesitas escuchar lo importante dos veces para hacerlo bien.

Al final, el artículo sugiere que el futuro de hablar con los robots no se trata solo de hacerlos más inteligentes, sino de preguntarles de la manera correcta. Y a veces, la manera correcta es preguntar dos veces.

Resumen Técnico: Preguntar Dos Veces, Mirar Dos Veces

1. Planteamiento del Problema: La Paradoja de la Pregunta Primero

Los Modelos de Lenguaje-Visión (VLM) procesan las entradas como un flujo de tokens intercalados que comprende mensajes de sistema, tokens de imagen y tokens de tarea (pregunta). Una elección de diseño crítica es el orden de estos componentes: ¿debería la pregunta preceder a la imagen (Pregunta-Primero, STI) o seguirla (Pregunta-Después, SIT)?

La intuición sugiere que colocar la pregunta primero debería mejorar el rendimiento al permitir que el modelo "dirija" su percepción visual hacia conceptos relevantes antes de codificar la imagen. Sin embargo, los autores observan una Paradoja de la Pregunta Primero: en cinco familias de VLM abiertos (Qwen3-VL, Qwen2.5-VL, InternVL3, LLaVA-1.5 y parcialmente Gemma-3) y tres bancos de pruebas (NaturalBench, POPE, Winoground), el orden de pregunta primero rinde consistentemente menos que el de pregunta después. En algunos casos (por ejemplo, LLaVA-1.5 en NaturalBench), el orden de pregunta primero provoca que el modelo colapse hacia una respuesta constante e incorrecta, resultando en brechas de precisión de grupo de hasta 17.5 puntos.

2. Metodología: Diagnóstico Mecanicista

Los autores emplean una combinación de herramientas de interpretabilidad e intervenciones causales para diagnosticar el mecanismo de fallo, yendo más allá de las observaciones correlacionales para identificar las etapas computacionales específicas responsables.

2.1 Sondas (Probes)

Sonda de Percepción (Logit Lens): Los autores utilizan el logit lens para decodificar los estados ocultos intermedios de los parches de imagen. Miden cuánto cambia la representación visual hacia conceptos relevantes para la pregunta cuando la pregunta precede a la imagen.
Sonda de Lectura (Seguimiento de Atención): Rastrean los pesos de atención del token de respuesta final a través de las capas para determinar cuánto atiende el decodificador a la pregunta frente a la imagen.
Curvas de Emergencia: Monitorean la probabilidad de que el token de la respuesta correcta emerja a medida que el modelo procesa capas más profundas.

2.2 Intervención Causal (Anulación de Atención)

Para establecer la causalidad, los autores realizan una anulación de atención (attention knockout). Durante una pasada hacia adelante (forward pass), añaden un sesgo de $-\infty$ pre-softmax a las aristas de atención desde el token de respuesta hacia segmentos específicos (pregunta, imagen o texto aleatorio) en todas las capas de texto. Esto corta la ruta directa de lectura, manteniendo intacta el resto de la computación (incluyendo el flujo de información indirecto vía tokens de relevo).

2.3 Análisis de Resolución

El estudio analiza si la brecha escala con el número de tokens de imagen (y, por tanto, la distancia entre la pregunta y la respuesta) para validar la hipótesis de "acceso".

3. Hallazgos Clave y Mecanismo

El diagnóstico revela una disociación entre dos mecanismos distintos que el orden de los prompts confunde: Dirección Visual y Acceso al Decodificador.

La Dirección es Real pero se Desperdicia: La sonda de percepción confirma que el prompting de pregunta primero sí logra dirigir la percepción visual con éxito. Los parches de imagen decodifican hacia conceptos más relevantes para la pregunta (por ejemplo, "agua" en lugar de "ropa") cuando la pregunta precede a la imagen. Esta dirección es benigna y correcta.
El Acceso es el Punto de Fallo: La sonda de lectura revela que el token de respuesta apenas atiende a la pregunta en el orden de pregunta primero. Debido a que la pregunta queda aislada detrás de cientos de tokens de imagen, el decodificador se compromete prematuramente con una respuesta anclada a la imagen (a menudo incorrecta) antes de que la representación de la pregunta pueda influir en la decisión.
Confirmación Causal: La anulación de atención confirma que, bajo el orden de pregunta después (SIT), el token de respuesta depende causalmente de la pregunta (la precisión cae cuando la arista se corta). Bajo el orden de pregunta primero (STI), el token de respuesta depende de la imagen (la precisión cae cuando se corta la arista de la imagen), y la arista de la pregunta es inerte.
Escalamiento de Distancia: La brecha de precisión se amplía a medida que aumenta el número de tokens de imagen, confirmando que la distancia física entre la pregunta y el token de respuesta es el principal motor del fallo.

4. Solución Propuesta: Eco de la Pregunta (Prompt Echoing)

Basándose en el diagnóstico, los autores proponen una solución sin entrenamiento llamada Eco de la Pregunta (STIT). Esto implica repetir la pregunta tanto antes como después de la imagen:

Pregunta Pre-imagen: Proporciona la señal descendente (top-down) para dirigir la codificación visual (preservando el beneficio de la pregunta primero).
Pregunta Post-imagen: Restaura la adyacencia entre la pregunta y el token de respuesta, asegurando que el decodificador pueda leer la pregunta (preservando el beneficio de la pregunta después).

Eco de la Imagen (SITIT): Una variante adicional presenta la imagen junto con la pregunta repetida. En decodificadores causales (como Qwen3-VL), un solo token de imagen no puede atender a los tokens subsiguientes. Al repetir la imagen, los parches de la segunda copia pueden atender sobre toda la primera copia, recuperando efectivamente una vista de "imagen completa" bidireccional que la máscara causal de otro modo descartaría.

5. Resultados

Los métodos de eco propuestos cierran la brecha de rendimiento y a menudo superan al mejor orden de paso único sin necesidad de ajuste fino (fine-tuning) o cambios arquitectónicos.

Ganancias de Rendimiento: En el desafiante banco de pruebas Winoground, el eco de la pregunta (STIT) mejora la precisión de grupo hasta en 19 puntos respecto al orden de pregunta primero. El eco de la imagen (SITIT) mejora aún más el rendimiento, superando la línea base estándar de pregunta después.
Generalización: Las ganancias se observan en todos los modelos probados (Qwen3-VL, Qwen2.5-VL, InternVL3, LLaVA-1.5). Aunque Gemma-3-27B no exhibe la paradoja (STI $\approx$ SIT), el eco sigue proporcionando ganancias marginales, lo que sugiere que el mecanismo es general.
Generación de Código Abierto: Los beneficios se extienden a la VQA de código abierto (VQAv2), donde la "escalera de posición" (STI < SIT < STIT < SITIT) se mantiene para las puntuaciones de precisión suave (soft-accuracy).
Ablaciones: Los autores descartan explicaciones alternativas como el aumento del conteo de tokens o el cómputo pre-respuesta. El factor crítico es la presencia de una pregunta completa adyacente a la respuesta. Además, el orden de la imagen repetida importa: repetir la imagen en el orden de la distribución de entrenamiento (Imagen-Primero) produce mejores resultados que repetirla en el orden de la Pregunta-Primero.

6. Significado y Reivindicaciones

El artículo afirma resolver una tensión fundamental en el prompting multimodal: el compromiso entre dirigir lo que un modelo ve y preservar el acceso a lo que se le preguntó.

Contribución Científica: El trabajo demuestra que la dirección visual y la lectura de la respuesta son mecanismos disociables con preferencias posicionales distintas. Desafía el "folclore" del orden de los prompts al proporcionar una explicación mecanicista de por qué falla la pregunta primero, cambiando la comprensión de una heurística a una limitación estructural y causal de las arquitecturas de decodificadores causales actuales.
Impacto Práctico: Los autores proporcionan una técnica de ingeniería de prompts simple y sin entrenamiento (eco) que mejora significamente el rendimiento de los VLM en bancos de pruebas adversariales y composicionales.
Contexto Amplio: El documento establece un paralelismo con hallazgos de hace 50 años en psicología educativa respecto a las "preguntas adjuntas", donde repetir una pregunta antes y después de un pasaje de texto ayuda a la comprensión. Esto sugiere que la división del trabajo (pregunta para la atención, pregunta para la consolidación) es una propiedad general de la comprensión secuencial, no un artefacto de arquitecturas VLM específicas.

Los autores concluyen que el orden de los prompts debe tratarse como una ciencia medida y mecánicamente fundamentada en lugar de una heurística, y que el eco resuelve la paradoja al servir simultáneamente a los mecanismos de dirección y de lectura.