Resumen Técnico: FLOWREADER

Planteamiento del Problema

Los documentos multimodales extensos presentan un desafío significativo para los sistemas de Generación Aumentada por Recuperación (RAG). La evidencia necesaria para responder consultas complejas suele estar fragmentada entre texto, tablas, gráficos y diapositivas, distribuida a través de múltiples celdas, páginas o modalidades. Los enfoques tradicionales de recuperación de fragmentos top-$k$ fallan en este contexto porque tratan los fragmentos de evidencia de forma independiente. Esta independencia impide que el sistema represente las conexiones estructurales, las dependencias de múltiples saltos (multi-hop) o la forma en que la evidencia debe ensamblarse a partir de fuentes disjuntas (por ejemplo, una figura y su discusión, o un encabezado de tabla y una fila distante). Además, las políticas de recuperación fijas asignan el mismo presupuesto computacional a consultas de distinta complejidad, lo que genera ineficiencias.

Metodología

FLOWREADER redefine el problema del ensamblaje de evidencia como una tarea de optimización de flujo de costo mínimo (min-cost flow) en un grafo de nodos multimodales. El sistema opera a través de tres fases estructuradas:

1. Construcción de Grafo Multimodal (Offline)

El corpus de documentos se preprocesa en un grafo heterogéneo dirigido y ponderado $G = (V, E)$.

• Nodos ($V$): Particionados en unidades textuales ($V_{txt}$), visuales ($V_{vis}$) y de tablas ($V_{tbl}$). Cada nodo contiene un resumen generado por LLM, palabras clave de indexación, una etiqueta de modalidad y un embedding.
• Aristas ($E$): Las aristas dirigidas transportan pesos que codifican la afinidad semántica. El grafo se construye mediante un proceso de evolución dual (inspirado en G2-Reader) que refina iterativamente los atributos de los nodos y la adyacencia basándose en vecinos semánticos y de diseño (layout).

2. Calificación de Nodos de Señal Múltiple y Enrutamiento de Flujo (Online)

En el momento de la consulta, se calcula una puntuación escalar única $h_i$ para cada nodo, agregando tres señales:

• Relevancia de la Consulta ($r_i$): Una fusión de similitud de coseno densa y puntuaciones BM25.
• Propagación Estructural ($\phi_i$): Relevancia propagada a lo largo del grafo para capturar nodos que forman parte de clústeres densos de alta relevancia, incluso si su relevancia individual es moderada.
• Difusión de Localidad ($\psi_i$): Una puntuación de PageRank personalizado que captura conexiones de largo alcance dentro del vecindario temático de la consulta.

Estas puntuaciones impulsan un problema de flujo de costo mínimo en una red aumentada $G^*$:

• Fuentes y Sumideros: Las fuentes se seleccionan de los nodos alineados con la consulta utilizando Relevancia Marginal Máxima (MMR) para asegurar la diversidad. Los sumideros se seleccionan basándose en una puntuación de "capacidad de respuesta" que combina relevancia y densidad de información.
• Costos y Capacidades: Los costos de las aristas penalizan las transiciones semánticamente incoherentes y los desvíos a través de nodos de baja puntuación. Las capacidades están limitadas por la calidad de los nodos conectados.
• Optimización: Un programa lineal enruta un presupuesto de evidencia fijo $F$ desde las fuentes hacia los sumideros, minimizando el costo total. El flujo óptimo se descompone en un conjunto de rutas de evidencia candidatas (cadenas).

3. Selección de Rutas y Síntesis Adaptativa

La descomposición del flujo genera muchas rutas candidatas, a menudo con nodos superpuestos. FLOWREADER selecciona un subconjunto compacto y no redundante utilizando dinámica de replicador (RD) regularizada por entropía:

• Juego de Calidad-Diversidad: Las rutas se tratan como estrategias en un juego donde la matriz de pagos equilibra la calidad individual de la ruta frente a la diversidad pareada (medida por el no solapamiento de Jaccard).
• Selección: La RD actualiza iterativamente la población de rutas, convergiendo a un clíque maximal ponderado que maximiza el equilibrio calidad-diversidad.
• Síntesis de Respuesta: Las rutas seleccionadas son procesadas en paralelo por trabajadores de Modelos de Lenguaje Visual (VLM).
• Puerta de Doble Proceso: Un pase de "Sistema 1" genera respuestas iniciales. Una puerta monitorea la consistencia de la respuesta entre los trabajadores y la saturación del flujo. Si la consistencia es baja o el flujo está tensionado (indicando evidencia insuficiente), se dispara un único pase de refinamiento de "Sistema 2". Este pase modifica el grafo (por ejemplo, añadiendo aristas puente o reponderando aristas) y vuelve a ejecutar el pipeline una vez.

Contribuciones Clave

1. Formulación de Flujo de Costo Mínimo: El artículo introduce un marco unificado donde un único parámetro de control (la puntuación del nodo $h$) controla la selección de fuentes, la selección de sumideros, los costos de las aristas y las capacidades. Esto colapsa las etapas tradicionalmente separadas de calificación, enrutamiento y selección en un solo problema de optimización.
2. Manejo de Evidencia Fragmentada: Al modelar el ensamblaje de evidencia como transporte de flujo, el sistema captura explícitamente las dependencias de múltiples saltos y las conexiones estructurales que la recuperación top-$k$ omite.
3. Cómputo Adaptativo: La integración de una puerta de doble proceso permite al sistema asignar recursos computacionales adicionales (un pase de refinamiento de Sistema 2) solo cuando la recuperación y síntesis iniciales se consideran poco fiables, equilibrando rendimiento y costo.
4. Selección Regularizada por Entropía: El uso de la dinámica de replicador proporciona un enfoque basado en la teoría de juegos para seleccionar un conjunto diverso de rutas de evidencia, evitando el colapso hacia una única ruta de alta puntuación pero potencialmente redundante.

Resultados Experimentales

El sistema fue evaluado en VisDoMBench, cubriendo cinco subconjuntos multimodales: SPIQA, FetaTab, PaperTab, SciGraphQA y SlideVQA.

• Desempeño en Evidencia Fragmentada: FLOWREADER logró los mejores resultados en los dos subconjuntos dominados por evidencia fragmentada:
  • PaperTab: 58.40 (una mejora de +1.30 sobre la sólida línea base G2-Reader).
  • SlideVQA: 72.93 (una mejora de +0.62 sobre G2-Reader).
• Desempeño General: La puntuación promedio macro en los cinco subconjuntos fue de 65.47, dentro de 0.74 puntos de la línea base más fuerte (G2-Reader, 66.21).
• Panorama Competitivo: Aunque FLOWREADER fue excelente en tareas fragmentadas, fue competitivo pero no superior en otros subconjuntos (por ejemplo, por detrás de VisDoMRAG en SPIQA). Los autores atribuyen la brecha de desempeño en SciGraphQA al uso de un codificador de código abierto más pequeño (nomic-embed-text-v1.5) en comparación con los codificadores propietarios utilizados por las líneas base, y a los prompts anclados estrictamente a entidades que penalizan las respuestas parafraseadas comunes en ese conjunto de datos.
• Eficiencia: El sistema opera con un presupuesto limitado de llamadas a VLM. El Sistema 2 se activa como máximo una vez por consulta, lo que resulta en un promedio de 30.8–47.3 llamadas, en comparación con los bucles de replanificación ilimitados de algunas líneas base.

Significado y Reivindicaciones

El artículo afirma que el flujo de costo mínimo es un mecanismo eficaz para ensamblar evidencia multimodal fragmentada donde la recuperación top-$k$ tradicional falla. Al unificar la calificación, el enrutamiento y la selección bajo un único objetivo de optimización, FLOWREADER proporciona una forma fundamentada de manejar la complejidad estructural de los documentos largos.

Los autores enfatizan que su enfoque ofrece un mecanismo de control unificado para todo el pipeline de recuperación, permitiendo la asignación adaptativa de cómputo sin la necesidad de un ajuste complejo de múltiples etapas. Los resultados sugieren que en regímenes donde la evidencia está altamente fragmentada (tablas, diapositas), el enrutamiento estructurado es más crítico que simplemente aumentar la escala del modelo generador. Este trabajo posiciona su enfoque como un paso hacia la evolución de RAG, pasando de heurísticas fijas hacia procesos estructurados y aprendidos para el ensamblaje de evidencia dentro de presupuestos de cómputo controlados.