AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions

El artículo presenta AQuA, un conjunto de datos y enfoque que permite a los Modelos Visuales-Lingüísticos clasificar la ambigüedad en preguntas visuales y generar respuestas estratégicas adaptativas, superando así a los modelos existentes que suelen ofrecer respuestas demasiado confiantes en situaciones ambiguas.

Lo esencial

¡Claro que sí! Imagina que tienes un amigo muy inteligente, pero un poco terco: es un Robot Experto en Fotos (llamado Modelo de Visión-Lenguaje). Este robot es genial respondiendo preguntas simples como "¿Qué color es el coche?". Pero si le preguntas algo confuso, como "¿De qué color es este coche?" cuando en la foto hay diez coches, el robot suele fallar.

Aquí te explico el paper rAQUA como si fuera una historia, usando analogías sencillas:

1. El Problema: El Robot "Terco"

Imagina que estás en una habitación llena de muebles y le preguntas al robot: "¿De qué color es esta silla?".

• El problema: Hay cinco sillas. El robot, en lugar de decirte "Oye, hay muchas sillas, ¿cuál te refieres?", simplemente adivina una al azar y te dice con total seguridad: "¡Es roja!".
• La realidad: En la vida real, si alguien te hace una pregunta ambigua, un humano inteligente no adivina. O pide aclaración ("¿La de la izquierda o la de la derecha?"), o te da todas las opciones ("Hay una roja y una azul"), o infiere por el contexto ("Seguro te refieres a la que está más cerca de ti").
• La falla: Los robots actuales son como niños que siempre quieren tener la razón, incluso cuando la pregunta no tiene sentido. No saben cuándo deben pedir ayuda.

2. La Solución: El "Entrenador de Estrategias" (AQUA)

Los autores crearon un nuevo "campo de entrenamiento" llamado AQUA. No es solo un examen, es un gimnasio mental para robots.

Imagina que AQUA es un videojuego con 4 niveles de dificultad, dependiendo de qué tan confusa sea la pregunta:

• Nivel 0 (Todo claro): "¿Qué hay en la mesa?" (Solo hay una pizza).
  • Estrategia del robot: Responder directamente. "Hay una pizza". ✅
• Nivel 1 (Ambigüedad leve): "¿Qué hay en esto?" (Hay un perro grande y un gato pequeño, pero el perro es el protagonista).
  • Estrategia del robot: Inferir. "Por 'esto' te refieres al perro grande, y tiene un collar azul". ✅
• Nivel 2 (Múltiples opciones): "¿Qué están haciendo estos jugadores?" (Hay dos jugadores haciendo cosas diferentes).
  • Estrategia del robot: Listar. "Uno está corriendo y el otro está atrapando la pelota". ✅
• Nivel 3 (Caos total): "¿De qué color es este mueble?" (Hay 20 muebles idénticos).
  • Estrategia del robot: Pedir ayuda. "Hay demasiados muebles, ¿cuál te refieres?". ✅

El truco: Antes de este estudio, los robots intentaban responder a todos los niveles como si fueran Nivel 0 (respondiendo directo y adivinando). AQUA les enseña a elegir la estrategia correcta según la situación.

3. El Método de Entrenamiento: "Aprender por Prueba y Error"

No basta con mostrarle al robot las respuestas correctas (eso es como darle las soluciones de un examen). Los autores usaron una técnica avanzada llamada GRPO (Optimización de Política Relativa de Grupo).

• La analogía: Imagina que el robot es un estudiante que hace un examen.
  • Primero, le enseñamos las respuestas (Entrenamiento Supervisado).
  • Luego, le decimos: "Si respondes bien y usas la estrategia correcta (pedir ayuda cuando hace falta), te doy una estrella de oro. Si adivinas cuando debías pedir ayuda, te quito puntos".
  • El robot juega miles de veces, recibe sus "estrellas" y "castigos", y aprende a pensar estratégicamente en lugar de solo memorizar.

4. Los Resultados: Pequeños pero Astutos

Lo más sorprendente es que los modelos que entrenaron (que son más pequeños y baratos que los gigantes como GPT-5) aprendieron mejor a manejar la confusión que los modelos gigantes que no recibieron este entrenamiento especial.

• Antes: El robot gigante decía: "¡Es rojo!" (aunque hubiera 10 cosas rojas).
• Después (con AQUA): El robot pequeño dice: "Espera, hay muchas cosas rojas. ¿Cuál quieres que mire?".

En Resumen

Este paper nos dice que la inteligencia no es solo saber responder, sino saber cuándo pedir aclaraciones.

Hasta ahora, los robots eran como toros en una tienda de porcelana: entraban, veían una pregunta y la respondían a lo loco, rompiendo todo (dando respuestas incorrectas con mucha seguridad). Con rAQUA, hemos enseñado a los robots a ser como detectives: si la pista es confusa, no adivinan; revisan el contexto, listan posibilidades o piden más información.

Es un paso gigante para que la Inteligencia Artificial se comporte más como un humano real y menos como una calculadora terca.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "rAQUA: TOWARD STRATEGIC RESPONSE GENERATION FOR AMBIGUOUS VISUAL QUESTIONS", presentado en ICLR 2026.

1. El Problema: Ambigüedad en la Respuesta a Preguntas Visuales (VQA)

Los Modelos de Lenguaje y Visión (VLMs) actuales han demostrado un rendimiento excepcional en tareas de Respuesta a Preguntas Visuales (VQA) tradicionales. Sin embargo, estos benchmarks se centran casi exclusivamente en pares imagen-pregunta claros y no ambiguos. En escenarios del mundo real, las consultas a menudo contienen ambigüedad (por ejemplo, referencias pronominales como "esto" o "ese" en escenas con múltiples objetos).

El problema central identificado es que los VLMs existentes carecen de una estrategia de respuesta adaptativa:

• Tienden a responder con exceso de confianza, seleccionando arbitrariamente un objeto aunque la pregunta sea ambigua.
• No distinguen entre diferentes grados de ambigüedad.
• Las soluciones anteriores suelen ser binarias (responder o pedir aclaración), lo cual no refleja la dinámica conversacional humana, donde la estrategia varía según el contexto (inferir, listar opciones o pedir aclaración).

2. Metodología y Propuesta: El Dataset AQUA

Para abordar esta brecha, los autores introducen AQUA (Ambiguous Visual Question Answering), un nuevo dataset diseñado para entrenar y evaluar la capacidad de los modelos para manejar la ambigüedad mediante estrategias contextuales.

A. Definición de Niveles de Ambigüedad

AQUA clasifica las instancias de VQA en cuatro niveles finos basados en la naturaleza y el grado de ambigüedad, asignando una estrategia óptima para cada uno:

• Nivel 0 (Sin ambigüedad): Preguntas claras con una única respuesta definitiva. La estrategia es responder directamente.
• Nivel 1 (Ambigüedad referencial de bajo nivel): La pregunta usa términos ambiguos (ej. "esto"), pero el contexto visual hace obvio el referente (un objeto saliente). La estrategia es inferir el contexto y responder directamente, aclarando a qué se refiere el término.
• Nivel 2 (Múltiples interpretaciones válidas): Existen 2 o 3 objetos plausibles. Pedir aclaración sería ineficiente. La estrategia óptima es listar todas las opciones plausibles.
• Nivel 3 (Alta ambigüedad): La escena es compleja con muchos objetos similares o de igual prominencia. No hay una inferencia segura ni una lista manejable. La estrategia correcta es pedir aclaración explícita al usuario.

B. Generación y Filtrado del Dataset

• Origen: Se utilizan imágenes del dataset COCO.
• Proceso: Se emplea GPT-5 para generar pares pregunta-respuesta siguiendo definiciones estrictas para cada nivel.
• Filtrado Riguroso: Se aplica un pipeline de tres etapas (verificación de consistencia de nivel, validación de "mejor ajuste" y validación de calidad/realismo) asistida por IA y validación humana (MTurk) para asegurar la calidad de los 7.200 ejemplos (3.6k entrenamiento, 3.6k evaluación).

C. Estrategia de Entrenamiento

Los autores proponen un enfoque de dos etapas para afinar los modelos (Qwen2.5-VL e InternVL3):

1. Fine-Tuning Supervisado (SFT): Enseña al modelo el espacio de posibles respuestas y estrategias.
2. Optimización de Política Relativa por Grupos (GRPO): Se aplica después del SFT para optimizar la elección estratégica. Se utiliza un marco "LLM-as-a-judge" (GPT-5-mini) para asignar recompensas:
   • Recompensa 1: Estrategia correcta y sin alucinaciones.
   • Recompensa 0.7: Estrategia correcta pero con distorsión factual menor.
   • Recompensa 0: Estrategia incorrecta.
     Esto fuerza al modelo a aprender no solo a responder, sino a elegir la estrategia adecuada para el nivel de ambigüedad.

3. Contribuciones Clave

1. Dataset AQUA: El primer recurso que categoriza la ambigüedad en VQA en cuatro niveles finos, permitiendo un análisis sistemático de estrategias de respuesta.
2. Evaluación de Modelos: Demostración empírica de que tanto modelos de código abierto como cerrados (GPT-5, Gemini 2.5) fallan estrepitosamente en manejar la ambigüedad, prefiriendo respuestas confiantes e incorrectas.
3. Método de Entrenamiento Estratégico: Validación de que el ajuste fino con SFT + GRPO permite a modelos pequeños (3B-2B parámetros) superar a modelos base mucho más grandes y cerrados en tareas de VQA ambigua.
4. Análisis de Errores: Identificación de patrones de error, como el sesgo hacia respuestas de Nivel 0 (sobreconfianza) y errores impulsados por la "salencia" visual (elegir el objeto más visible en lugar de pedir aclaración).

4. Resultados Experimentales

• Rendimiento de Baselines: Los modelos en configuración zero-shot (incluyendo GPT-5 y Gemini 2.5 Flash) obtienen una precisión estratégica global muy baja (alrededor del 23-27%), fallando principalmente en los niveles 1, 2 y 3. Tienden a responder como si la pregunta fuera de Nivel 0.
• Efecto del Prompting: Técnicas como Chain-of-Thought (CoT) o Strategy Prompting no mejoran significativamente el rendimiento, confirmando que la capacidad estratégica debe ser aprendida, no solo instruida.
• Modelos Ajustados (AQUA Tuned):
  • Los modelos Qwen2.5-VL-3B y InternVL3-2B ajustados con SFT+GRPO alcanzan una precisión estratégica global del 86.28% y 79.11%, respectivamente.
  • Superan consistentemente a modelos cerrados mucho más grandes y a versiones de código abierto sin ajustar.
  • Muestran una capacidad robusta para distinguir entre niveles de ambigüedad y seleccionar la estrategia correcta (inferir, listar o pedir aclaración).
• Generalización: Los modelos entrenados en COCO generalizan bien a imágenes de Open Images V7, manteniendo su capacidad estratégica.
• Eficacia de la Aclaración: En un experimento de dos turnos, los modelos ajustados resuelven el 80% de los casos de Nivel 3 (alta ambigüedad) correctamente tras recibir una sola pista de aclaración.

5. Significado e Impacto

Este trabajo marca un cambio de paradigma en la evaluación de VLMs:

• Más allá de la precisión factual: Demuestra que la "inteligencia" en VQA no solo radica en dar la respuesta correcta, sino en saber cuándo no responder o cómo gestionar la incertidumbre de manera conversacional.
• Comportamiento similar al humano: Los modelos ajustados imitan el comportamiento humano al adaptar su estrategia según la claridad de la escena, evitando la alucinación y la sobreconfianza.
• Eficiencia: Muestra que modelos relativamente pequeños, si se entrenan con datos estratégicos de alta calidad y optimización de política, pueden superar a modelos masivos en tareas de razonamiento complejo y manejo de ambigüedad.

En conclusión, rAQUA establece un nuevo estándar para la evaluación de la capacidad de razonamiento estratégico de los modelos visuales, proporcionando tanto el dataset como la metodología de entrenamiento necesarios para desarrollar VLMs más robustos y confiables en entornos del mundo real.