Resumen Técnico: Ver Antes de Acordar (EAGLE)

Planteamiento del Problema

Aunque los Modelos de Lenguaje-Visión (VLMs) han logrado un sólido rendimiento en la Respuesta Visual a Preguntas (VQA), siguen siendo propensos a las alucinaciones y a la dependencia de sesgos lingüísticos espurios cuando no están suficientemente anclados en el contexto de la imagen. En aplicaciones de alto riesgo, este razonamiento carente de fundamento conduce a errores no calibrados.

Para mitigar los fallos de modelos individuales, la colaboración multi-agente ha emergido como un paradigma prometedor, aplicado con éxito en la QA textual para agregar diversas perspectivas. Sin embargo, los métodos actuales de VQA multi-agente adaptan predominantemente protocolos centrados en el texto. Se enfocan en el intercambio de razonamientos a nivel de lenguaje, ignorando la alineación de la información visual subyacente. Esto crea una brecha crítica: los agentes pueden alcanzar un "acuerdo a nivel de respuesta" basado en comprensiones visuales divergentes o incorrectas, lo que conduce a un consenso superficial que no es confiable.

Metodología: EAGLE

Los autores proponen EAGLE (Evidence-Aligned Grounded muLti-agent rEasoning - Razonamiento Multi-agente Anclado y Alineado con la Evidencia), un marco de trabajo sin entrenamiento centrado en la evidencia, diseñado para coordinar múltiples agentes VLM. A diferencia de los enfoques tradicionales que dependen únicamente del debate textual, EAGLE impone el principio de que los agentes deben "ver y alinear" su evidencia visual antes de acordar.

El marco opera a través de cinco etapas principales:

1. Enrutamiento de Evidencia (Evidence Routing): Un enrutador ligero basado en LLM clasifica la pregunta de entrada en granularidades de anclaje específicas (Local, Relación, Global o Precisión). Esto asegura que los agentes generen regiones de anclaje apropiadas para la tarea en lugar de cajas discordantes o inconsistentes.
2. Respuesta Anclada (Grounded Answer): Cada agente genera de forma independiente una respuesta inicial acompañada de evidencia de soporte explícita:
   • Cajas de Anclaje (Grounding Boxes): Regiones espaciales en la imagen que sustentan la respuesta.
   • Afirmaciones Visuales (Visual Claims): Explicaciones textuales atómicas que describen cómo las regiones ancladas sustentan la respuesta.
3. Diagnóstico de Evidencia (Evidence Diagnosis): El sistema evalúa la consistencia de la salida del grupo utilizando dos señales:
   • Consistencia de la Respuesta: Equivalencia semántica de las respuestas finales.
   • Consistencia de la Evidencia: Una métrica compuesta que requiere tanto Alineación Espacial (cobertura mutua de las cajas de anclaje mediante umbrales de IoU) como Alineación de Afirmaciones (compatibilidad semántica de las afirmaciones visuales a través de un juez LLM).
   • Salida Temprana (Early Exit): Si los agentes logran un acuerdo unánime en la respuesta y una evidencia visual totalmente alineada, el proceso termina inmediatamente.
4. Revisión Anclada (Grounded Revision): Si no se alcanza el consenso, los agentes entran en una fase de revisión. Reexaminan la imagen condicionada al estado de la ronda anterior, que incluye sus propios resultados, los resultados de sus pares y las señales de diagnóstico. Esto permite a los agentes autocorregirse mediante la verificación cruzada de la evidencia visual de sus pares.
5. Arbitraje Guiado por la Evidencia (Evidence-Guided Arbitration): Para los desacuerdos restantes, el sistema selecciona la respuesta final priorizando a los grupos con mayores recuentos de votos que también estén respaldados por evidencia visual alineada. Si no existe un grupo con evidencia alineada, recurre a la respuesta con más votos.

Contribuciones Clave

El artículo describe tres contribuciones primarias:

• Perspectiva Clave (Key Insight): A través de un estudio piloto, los autores demuestran que el acuerdo a nivel de respuesta por sí solo es insuficiente para un VQA multi-agente confiable. Establecen que la evidencia visual alineada —el apoyo compartido de regiones de imagen específicas— es esencial para un consenso fidedigno. Sin un anclaje explícito, los agentes son propensos a debates inestables o acuerdos engañosos.
• Marco Centrado en la Evidencia: EAGLE se presenta como un marco universal y sin entrenamiento que hace explícitas las regiones de anclaje de los agentes. Aprovecha la consistencia de la evidencia para impulsar el diagnóstico, la revisión y el arbitraje, desplazando el mecanismo de coordinación de "qué responden los agentes" a "qué ven los agentes".
• Evaluación Extensa: El método es evaluado en seis benchmarks diversos (V*Bench, WhatsUp, MME, GQA, MC-Bench, MMVP), demostrando un rendimiento y una interpretabilidad superiores en comparación con las líneas base existentes.

Resultados Experimentales

EAGLE fue evaluado utilizando un comité heterogéneo de tres VLMs de código abierto (Qwen3-VL, GLM-4.6V-Flash, InternVL3.5-38B) y comparado contra líneas base de un solo agente (Zero-shot CoT, Self-Consistency, Self-Refine) y líneas base multi-agente (Multi-Agent Debate, ReConcile, DART).

• Rendimiento: EAGLE logró la mejor precisión promedio en los seis benchmarks, superando a la línea base más fuerte (DART, que utiliza herramientas externas) por 2.54 puntos porcentuales. Mejoró sobre la línea base de un solo agente más fuerte en un promedio de 6.33 puntos porcentuales.
• Eficiencia: A pesar de su complejo pipeline, EAGLE es altamente eficiente. Requirió el menor número de llamadas a agentes VLM por muestra (4.087) entre todos los métodos, logrando la mayor relación precisión-llamada (17.79). Esta eficiencia proviene del mecanismo de "Salida Temprana Mediante Filtro de Evidencia", que evita rondas de revisión innecesarias cuando el consenso es visualmente alineado.
• Estudios de Ablación: Eliminar cualquier componente central (Enrutamiento, Anclaje, Arbitraje o Salida Temprana) resultó en caídas de rendimiento. Notablemente, eliminar las cajas de anclaje explícitas o el enrutamiento de evidencia causó la degradación más significativa, confirmando la necesidad de evidencia visual apropiada para la tarea.
• Estudios de Caso: El análisis cualitativo mostró que EAGLE corrige con éxito las alucinaciones iniciales (por ejemplo, identificar erróneamente el color de un objeto debido a que se enfocaba en la región incorrecta) al forzar a los agentes a reexaminar la evidencia visual frente a las afirmaciones ancladas de sus pares.

Significancia y Reivindicaciones

El artículo afirma que EAGLE proporciona un mecanismo robusto para la colaboración multimodal al anclar el consenso multi-agente en evidencia visual alineada en lugar de una pura convergencia lingüística.

• Fiabilidad: Al requerir que los agentes verifiquen que sus predicciones están respaldadas por las mismas regiones visuales, EAGLE mitiga el riesgo de un "consenso engañoso" donde los agentes acuerdan una respuesta incorrecta basada en pistas visuales diferentes (o alucinadas).
• Interpretabilidad: El marco hace que el proceso de razonamiento sea transparente al exponer las regiones de imagen y las afirmaciones específicas utilizadas para llegar a una decisión.
• Practicidad: Como un enfoque sin entrenamiento que no depende de herramientas externas ni de ajuste fino adicional del modelo, EAGLE se presenta como una solución ligera y desplegable para mejorar la fiabilidad del VQA.

Los autores señalan que, si bien el método mejora la transparencia y la fiabilidad, no reemplaza el juicio humano en escenarios de alto riesgo, y el trabajo futuro podría extender estos principios a la comprensión de video, la percepción encarnada y contextos multilingües.