Resumen Técnico: Cadena de Evidencia (CoE) para la Generación Aumentada por Recuperación Iterativa

1. Declaración del Problema

La Generación Aumentada por Recuperación Iterativa (iRAG) ha surgido como un paradigma para responder preguntas complejas de múltiples saltos recuperando y razonando progresivamente sobre documentos externos. Sin embargo, los sistemas actuales de iRAG enfrentan tres cuellos de botella críticos al operar sobre documentos del mundo real, ricos en elementos visuales (por ejemplo, PDFs, diapositivas, informes web):

1. El Cuello de Botella de la Verificación: Los sistemas existentes proporcionan citas de grano grueso a nivel de texto (por ejemplo, "[Fuente: Doc-1]"). En escenarios de múltiples saltos, esto obliga a los usuarios a escanear manualmente documentos extensos para localizar oraciones de soporte específicas, generando una alta carga cognitiva.
2. Pérdida de Información en la Conversión a Texto: Convertir documentos ricos en elementos visuales a texto lineal mediante OCR o análisis destruye la lógica espacial y las pistas de diseño (por ejemplo, tendencias de gráficos, flujos de diagramas, jerarquías de diapositivas). Para muchos documentos, la evidencia existe en la relación visual entre los elementos, no solo en el texto, lo que hace que las citas basadas en texto sean fundamentalmente insuficientes.
3. Cadenas de Razonamiento Opacas: Los usuarios carecen de visibilidad sobre la trayectoria de las decisiones. Los métodos actuales no visualizan la "cadena de evidencia": cómo una pieza intermedia de evidencia guía la selección del siguiente documento en una trayectoria de múltiples saltos.

2. Metodología: Cadena de Evidencia (CoE)

Para abordar estas limitaciones, los autores proponen la Cadena de Evidencia (CoE), un marco de atribución visual agnóstico al recuperador que opera directamente sobre capturas de pantalla de documentos en lugar de texto analizado.

Arquitectura Central

• Paradigma Primero Visual: CoE elude las pipelines de análisis de texto frágiles. Toma un conjunto de capturas de pantalla de documentos candidatos (de un recuperador aguas arriba) y las procesa como imágenes ($d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$).
• Diseño Agnóstico al Recuperador: El marco asume un recuperador genérico aguas arriba que devuelve un conjunto de $k$ mejores candidatos. CoE se centra en seleccionar, ordenar y fundamentar la evidencia dentro de estos candidatos sin introducir parámetros específicos del recuperador.
• Formato de Salida: En lugar de citas de texto, CoE genera una cadena estructurada de evidencia compuesta por:
  • Identificadores de imágenes de candidatos seleccionados.
  • Cuadrados delimitadores precisos $[(x_1, y_1), (x_2, y_2)]$ que señalan regiones de evidencia (párrafos de texto, celdas de tablas, diagramas).
  • Subconsultas en lenguaje natural o pensamientos de razonamiento para cada salto.
• Proceso de Generación: El modelo realiza un único paso autoregresivo para generar la cadena de evidencia completa, mapeando la consulta y las capturas de pantalla candidatas a una respuesta y una secuencia de tuplas $(documento, \text{cuadrados delimitadores}, \text{razonamiento})$.

Estrategia de Entrenamiento

Los autores emplean una estrategia de aprendizaje curricular en dos fases utilizando el modelo Qwen3-VL-8B-Instruct:

1. Fase I (Salto Único): Se centra en establecer capacidades de fundamentación visual entrenando al modelo para localizar evidencia en una sola imagen.
2. Fase II (Múltiples Saltos): Introduce la generación de cadenas de evidencia de múltiples saltos sobre las 5 mejores capturas de pantalla candidatas, iniciando desde el punto de control de la Fase I.

• Aumento de Datos: Para garantizar la robustez, el entrenamiento incorpora aumento espacial (recorte, traslación), variación de resolución (manejo de diferentes densidades visuales) y permutación de evidencia (desacoplando el orden de presentación del orden de razonamiento lógico).

3. Conjuntos de Datos y Evaluación

Para evaluar rigurosamente a CoE en diversos niveles de complejidad visual, los autores introducen una estrategia de doble referencia:

• Wiki-CoE: Un conjunto de datos a gran escala derivado de 2WikiMultiHopQA, que contiene 70.418 preguntas de múltiples saltos. Presenta capturas de pantalla de alta fidelidad de páginas de Wikipedia con anotaciones de cuadros delimitadores para diseños estructurados (tablas, cuadros de información).
• SlideVQA: Un conjunto de datos desafiante de diapositivas de presentaciones que presenta diagramas complejos, diseños de forma libre y gráficos donde la disposición espacial es semánticamente crucial.

Métricas de Evaluación:

• Precisión de Respuesta (EM): Coincidencia Exacta para la respuesta generada.
• Precisión de Localización de Evidencia (Loc-Acc): Una métrica conjunta que requiere la selección correcta de la imagen candidata y una superposición de cuadros delimitadores (IoU $\ge$ 0.3) con la verdad fundamental.
• Precisión de la Cadena de Razonamiento (Chain-Acc): Verifica si la secuencia ordenada de documentos seleccionados coincide con el camino de razonamiento dorado.

4. Resultados Clave

Los experimentos demuestran que CoE supera significativamente a las líneas base basadas en texto y a los Modelos de Lenguaje-Visión (VLM) de cero disparos, particularmente en escenarios que requieren comprensión de diseños visuales.

• Rendimiento en Wiki-CoE: CoE-8B logra un 82.3% EM, un 94.4% Chain-Acc y un 80.4% Loc-Acc. Mientras que los VLM generales (por ejemplo, GPT-5) logran una precisión de respuesta competitiva, la calidad de su atribución es significativamente más débil (por ejemplo, GPT-5 logra solo un 31.7% de Loc-Acc).
• Rendimiento en SlideVQA: La ventaja del enfoque primero visual es más pronunciada aquí. Las líneas base basadas en texto fallan debido a la pérdida de información de diseño. CoE-8B logra un 58.8% EM, un 87.5% Chain-Acc y un 61.0% Loc-Acc. En contraste, Qwen3-VL-235B de cero disparos cae a un 6.8% Loc-Acc, y las líneas base de OCR basadas en texto luchan significativamente con diapositivas cargadas de diagramas.
• Impacto de la Complejidad Visual: En diapositivas con organigramas y gráficos de datos, CoE supera a los métodos basados en OCR por márgenes de hasta un 28.1% en precisión, demostrando que la atribución visual es una necesidad, no solo una mejora, para estructuras de información no lineales.
• Estudios de Ablación:
  • Aprendizaje Curricular: Eliminar la fase de preentrenamiento de salto único provoca caídas significativas en Loc-Acc (por ejemplo, -7.3 puntos en Wiki-CoE), confirmando que la fundamentación aislada es un prerrequisito para el razonamiento de múltiples saltos.
  • Resolución: La entrada de alta resolución (1536×1536) es crítica; reducir la resolución a 512×512 provoca una caída catastrófica en el rendimiento, especialmente para texto de grano fino en cuadros de información.
  • Modalidad: Una línea base solo de texto (usando OCR) exhibe una brecha de rendimiento de ~26 puntos en Wiki-CoE y ~22 puntos en SlideVQA en comparación con el modelo visual, validando que la estructura visual es el portador principal de información lógica en estos contextos.

5. Significado y Afirmaciones

El artículo afirma que la Cadena de Evidencia (CoE) representa un cambio de paradigma en iRAG al transitar desde el análisis de texto frágil hacia un razonamiento visual robusto.

• Fundamentación Visual como Necesidad de Razonamiento: Los autores argumentan que, para documentos complejos, la modalidad visual no es meramente una característica de interpretabilidad, sino un requisito fundamental para el razonamiento. La lógica espacial a menudo supera al texto lineal, y descartarla conduce a alucinaciones y respuestas no verificables.
• Resolución del Cuello de Botella de Verificación: Al proporcionar cuadros delimitadores a nivel de píxel y visualizar la cadena completa de razonamiento, CoE ofrece un mecanismo de verificación visual inmediato. Esto permite a los usuarios auditar por qué se generó una respuesta, abordando la opacidad de los sistemas actuales de iRAG.
• Interpretabilidad Agnóstica al Recuperador: CoE establece una solución para iRAG interpretable a nivel de píxel que es compatible con cualquier recuperador aguas arriba (léxico, denso, híbrido o visual), desacoplando las capacidades de razonamiento y atribución del mecanismo de recuperación.
• IA Confiable: El trabajo proporciona un modelo para la próxima generación de sistemas de IA verificables, particularmente para dominios de alto riesgo donde la atribución de fuentes y la transparencia del razonamiento son esenciales.

Los autores concluyen que su trabajo desafía la visión predominante centrada en el texto de la recuperación de información, demostrando que preservar la semántica visual es crítico para un razonamiento de múltiples saltos confiable e interpretable.