🤖 machine learning

FLOWREADER: Min-Cost Flow Optimization for Multi-Modal Long Document Q&A

FLOWREADER adressiert die Herausforderung, Fragen aus fragmentierten multimodalen Langdokumenten zu beantworten, indem es die Evidenzassemblierung als ein Min-Cost-Flow-Optimierungsproblem auf einem Knotengraphen neu formuliert, was Scoring, Routing und adaptive Rechenleistung vereinigt, um Top- $k$ -Retrieval-Baselines bei Benchmarks, die von verstreuten Evidenzen dominiert werden, zu übertreffen.

Ursprüngliche Autoren: Ambuj Mehrish, Sebatiano Vascon

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ambuj Mehrish, Sebatiano Vascon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Rätsel zu lösen, aber die Hinweise sind über eine riesige Bibliothek verstreut. Einige Hinweise stehen auf Klebezetteln (Text), einige sind auf Whiteboards gezeichnet (Bilder) und andere sind in komplexen Tabellen verborgen (Tabellen). Das Problem dabei ist, dass diese Hinweise oft fragmentiert sind: Eine einzige Tatsache könnte zwischen einer Grafik auf Seite 5 und einem Absatz auf Seite 12 aufgeteilt sein, oder eine Tabelle könnte so breit sein, dass sie sich über drei verschiedene Folien erstreckt.

Die meisten aktuellen KI-Systeme agieren wie ein hektischer Bibliothekar, der dem Detektiv (der KI) einfach die 5 relevantesten Seiten herbeischafft und überreicht. Wenn die Antwort jedoch erfordert, eine Verbindung zwischen einer Grafik auf Seite 5 und einem Satz auf Seite 12 herzustellen, übersieht der Bibliothekar diese Verbindung oft, weil er die Seiten isoliert betrachtet.

FLOWREADER ist ein neues System, das die Arbeitsweise des Bibliothekars verändert. Anstatt nur Seiten herauszugreifen, betrachtet FLOWREADER das gesamte Dokument als eine riesige, miteinander verbundene Karte und nutzt ein mathematisches Konzept namens „Minimum-Cost Flow“ (Minimaler Kostenfluss), um den besten Weg zur Antwort zu finden.

So funktioniert es, Schritt für Schritt:

1. Die Karte (Der multimodale Graph)

Zuerst erstellt FLOWREADER eine Karte des Dokuments.

Knoten: Jedes Informationsstück (ein Absatz, eine Tabellenzelle, eine Grafik) ist ein „Knoten“ auf der Karte.
Kanten: Linien verbinden diese Knoten, wenn sie miteinander verwandt sind. Eine Linie könnte eine Grafik mit dem Text verbinden, der sie beschreibt, oder eine Tabellenüberschrift mit den darunter liegenden Datenzeilen.
Das Ziel: Das System möchte einen Pfad von der „Frage“ (wo man startet) zur „Antwort“ (wo man ankommt) finden, indem es durch die nützlichsten Hinweise reist.

2. Der Verkehrsfluss (Min-Cost Flow)

Anstatt einfach nur die „besten“ 5 Seiten auszuwählen, behandelt FLOWREADER die Suche wie das Management des Verkehrs auf einer Autobahn.

Das Budget: Stellen Sie sich vor, Sie haben eine feste Menge an „Treibstoff“ (ein Budget), um einen Konvoi von Lastwagen vom Start zum Ziel zu schicken.
Die Kosten: Jede Straße (Verbindung zwischen Hinweisen) hat einen „Preis“.
- Wenn eine Straße zwei sehr relevante, hochwertige Hinweise verbindet, ist der Preis niedrig (leicht zu befahren).
- Wenn eine Straße schwache oder irrelevante Hinweise verbindet, ist der Preis hoch (schwer zu befahren).
Die Optimierung: Das System berechnet den effizientesten Weg, um Ihren „Treibstoff“ zu senden, um die Antwort zu erreichen. Es vermeidet auf natürliche Weise Sackgassen und findet die glatteste, logischste Kette von Beweisen, selbst wenn diese Kette zwischen Text, Tabellen und Bildern springt.

3. Der Filter (Replicator Dynamics)

Sobald das System alle möglichen Routen gefunden hat, kann es sein, dass es zu viele davon gibt oder einige Duplikate vorhanden sind.

Betrachten Sie dies wie eine Eliminierungsrunde in einer Reality-TV-Show.
Das System lässt verschiedene Routen gegeneinander antreten. Die „Gewinner“ sind die Routen, die sowohl eine hohe Qualität (gute Hinweise) als als auch eine Diversität (nicht nur dieselbe Tatsache wiederholen) aufweisen.
Dies stellt sicher, dass die endgültige Liste der Hinweise kurz, nicht redundant und umfassend ist.

4. Die Doppelprüfung (System 2 Gate)

Manchmal reicht der erste Versuch nicht aus. Vielleicht sind die Hinweise zu fragmentiert oder die Antworten aus verschiedenen Routen widersprechen einander.

Der Torwächter: Ein intelligenter Torwächter prüft die Situation. Wenn der „Verkehr“ stockt (geringe Sättigung) oder die Fahrer (KI-Arbeiter) widersprüchliche Berichte liefern, öffnet sich das Tor.
Die Verfeinerung: Dies löst einen „System 2“-Durchgang aus – ein langsamerer, bewussterer zweiter Blick. Das System könnte eine neue Brücke zwischen zwei nicht verbundenen Teilen der Karte bauen oder die Hinweise neu bewerten.
Effizienz: Entscheidend ist, dass dieser zweite Blick nur dann erfolgt, wenn er absolut notwendig ist, was Zeit und Rechenleistung spart.

Warum es wichtig ist (Die Ergebnisse)

Das Paper testete dieses System auf VisDoMBench, einem Benchmark voller schwieriger Fragen zu wissenschaftlichen Arbeiten, Folien und Tabellen, bei denen Informationen oft aufgeteilt sind.

Das Problem mit alten Methoden: Traditionelle Methoden (Top-K Retrieval) scheitern hier oft, weil sie die Verbindung zwischen einer Grafik und einem entfernten Absatz nicht „sehen“ können.
Der Erfolg von FLOWREADER: Durch die Verwendung der „Traffic Flow“-Methode war FLOWREADER bei diesen fragmentierten Aufgaben überlegen.
- Es schlug das bisher beste System auf PaperTab (lange Tabellen) um eine signifikante Marge.
- Es verbesserte auch die Leistung auf SlideVQA (Folien mit gemischtem Text und Bildern).
- Insgesamt war es in allen Tests äußerst wettbewerbsfähig und bewies damit, dass die Behandlung der Beweiskette als Fluss-Problem besser funktioniert als das bloße Herausgreifen der besten paar Stücke.

Zusammenfassend

FLOWREADER hört auf, ein Dokument wie einen Haufen separater Seiten zu behandeln. Stattdessen sieht es das Dokument als ein lebendiges Netzwerk. Es nutzt Mathematik, um seine „Aufmerksamkeit“ wie Wasser durch Rohre zu leiten, um den effizientesten, verbundenen Pfad zur Antwort zu finden, und führt nur dann zusätzliche Arbeit aus, wenn der Pfad unsicher erscheint. Dies macht es wesentlich besser darin, Rätsel zu lösen, bei denen die Hinweise über verschiedene Medienformate verteilt sind.

Technisches Resümee: FLOWREADER

Problemstellung

Lange, multimodale Dokumente stellen eine erhebliche Herausforderung für Retrieval-Augmented Generation (RAG)-Systeme dar. Die zur Beantwortung komplexer Anfragen erforderlichen Belege sind oft fragmentiert über Text, Tabellen, Diagramme und Folien verteilt, über mehrere Zellen, Seiten oder Modalitäten hinweg. Traditionelle Top- $k$ -Chunk-Retrieval-Ansätze scheitern in diesem Kontext, da sie Evidenzfragmente unabhängig voneinander behandeln. Diese Unabhängigkeit verhindert, dass das System strukturelle Verbindungen, Multi-Hop-Abhängigkeiten oder die Art und Weise darstellt, wie Evidenz aus disjunkten Quellen zusammengesetzt werden muss (z. B. eine Abbildung und deren Diskussion oder eine Tabellenüberschrift und eine entfernte Zeile). Darüber hinaus weisen feste Retrieval-Policies demselben Rechenbudget Anfragen unterschiedlicher Komplexität zu, was zu Ineffizienzen führt.

Methodik

FLOWREADER definiert das Problem der Evidenzzusammenstellung als ein Minimum-Cost-Flow (Min-Cost Flow) Optimierungsproblem auf einem multimodalen Knotengraphen um. Das System operiert durch drei strukturierte Phasen:

1. Multimodale Graphkonstruktion (Offline)

Der Dokumentenkorpus wird in einen gerichteten, gewichteten, heterogenen Graphen $G = (V, E)$ vorverarbeitet.

Knoten ( $V$ ): Partitioniert in textuelle ( $V_{txt}$ ), visuelle ( $V_{vis}$ ) und tabellarische ( $V_{tbl}$ ) Einheiten. Jeder Knoten enthält eine LLM-generierte Zusammenfassung, Indizierungs-Keywords, ein Modalitäts-Tag und ein Embedding.
Kanten ( $E$ ): Gerichtete Kanten tragen Gewichte, die die semantische Affinität kodieren. Der Graph wird durch einen dualen, evolvierenden Prozess (inspiriert von G2-Reader) konstruiert, der Knotenattribute und Adjazenz basierend auf semantischen Nachbarn und dem Layout iterativ verfeinert.

2. Multi-Signal-Knoten-Scoring und Flow-Routing (Online)

Zur Abfragezeit wird für jeden Knoten ein einzelner Skalarwert $h_i$ berechnet, der drei Signale aggregiert:

Abfragerelevanz ( $r_i$ ): Eine Fusion aus dichter Cosinus-Ähnlichkeit und BM25-Scores.
Strukturelle Propagation ( $\phi_i$ ): Relevanz, die entlang des Graphen propagiert wird, um Knoten zu erfassen, die Teil dichter Cluster mit hoher Relevanz sind, selbst wenn ihre individuelle Relevanz moderat ist.
Lokalitätsdiffusion ( $\psi_i$ ): Ein personalisierter PageRank-Score, der die längerreichweitigen Verbindungen innerhalb der thematischen Nachbarschaft der Abfrage erfasst.

Diese Scores steuern ein Min-Cost-Flow-Problem auf einem augmentierten Netzwerk $G^*$ :

Quellen und Senken: Quellen werden aus abfrage-alignierten Knoten mittels Maximaler Marginaler Relevanz (MMR) ausgewählt, um Diversität zu gewährleisten. Senken werden basierend auf einem „Beantwortbarkeits“-Score ausgewählt, der Relevanz und Informationsdichte kombiniert.
Kosten und Kapazitäten: Kantenkosten bestrafen semantisch inkohärente Übergänge und Umwege durch Knoten mit niedrigen Scores. Kapazitäten sind durch die Qualität der verbundenen Knoten begrenzt.
Optimierung: Ein lineares Programm leitet ein festes Evidenzbudget $F$ von den Quellen zu den Senken und minimiert dabei die Gesamtkosten. Der optimale Fluss wird in eine Menge von Kandidaten-Evidenzpfaden (Ketten) zerlegt.

3. Pfadauswahl und Adaptive Synthese

Die zerlegte Flussverteilung liefert viele Kandidatenpfade, die oft überlappende Knoten enthalten. FLOWREADER wählt eine kompakte, nicht-redundante Teilmenge mittels entropie-regularisierter Replikator-Dynamik (RD) aus:

Qualitäts-Diversitäts-Spiel: Pfade werden als Strategien in einem Spiel behandelt, bei dem die Auszahlungsmatrix die individuelle Pfadqualität gegen paarweise Diversität (gemessen am Jaccard-Nicht-Überlapp) abwägt.
Selektion: RD aktualisiert iterativ die Population der Pfade und konvergiert zu einem gewichteten maximalen Clique, das den Qualitäts-Diversitäts-Trade-off maximiert.
Antwort-Synthese: Die ausgewählten Pfade werden parallel von Visual Language Model (VLM) Workern verarbeitet.
Dual-Process-Gating: Ein „System 1“-Durchgang generiert initiale Antworten. Ein Gate überwacht die Antwortkonsistenz über die Worker hinweg sowie die Fluss-Sättigung. Wenn die Konsistenz niedrig oder der Fluss belastet ist (was auf unzureichende Evidenz hindeutet), wird ein einzelner „System 2“-Verfeinerungsdurchgang ausgelöst. Dieser Durchgang modifiziert den Graphen (z. B. durch Hinzufügen von Brückenkanten oder Umgewichtung von Kanten) und führt die Pipeline einmalig neu aus.

Zentrale Beiträge

Min-Cost-Flow-Formulierung: Die Arbeit führt einen vereinheitlichten Rahmen ein, in dem eine einzige Parametrisierung (der Knoten-Score $h$ ) die Quellenauswahl, die Senkenauswahl, die Kantenkosten und die Kapazitäten steuert. Dies kollabiert die traditionell getrennten Stadien von Scoring, Routing und Selektion in ein einziges Optimierungsproblem.
Umgang mit fragmentierter Evidenz: Durch die Modellierung der Evidenzzusammenstellung als Fluss-Transport erfasst das System explizit Multi-Hop-Abhängigkeiten und strukturelle Verbindungen, die das klassische Top- $k$ -Retrieval übersieht.
Adaptive Rechenleistung: Die Integration eines Dual-Process-Gates ermöglicht es dem System, zusätzliche Rechenressourcen (einen System-2-Verfeinerungsdurchgang) nur dann zuzuweisen, wenn die initiale Retrieval- und Synthesephase als unzuverlässig eingestuft wird, wodurch Leistung und Kosten ausbalanciert werden.
Entropie-regularisierte Selektion: Die Verwendung der Replikator-Dynamik bietet einen fundierten, spieltheoretischen Ansatz zur Auswahl eines diversen Satzes von Evidenzpfaden, um ein Kollabieren auf einen einzelnen hochbewerteten, aber potenziell redundanten Pfad zu vermeiden.

Experimentelle Ergebnisse

Das System wurde auf VisDoMBench evaluiert, welches fünf multimodale Subsets umfasst: SPIQA, FetaTab, PaperTab, SciGraphQA und SlideVQA.

Leistung bei fragmentierter Evidenz: FLOWREADER erzielte die besten Ergebnisse in den zwei Subsets, die von fragmentierter Evidenz dominiert werden:
- PaperTab: 58,40 (eine Verbesserung um +1,30 gegenüber dem starken Baseline-Modell G2-Reader).
- SlideVQA: 72,93 (eine Verbesserung um +0,62 gegenüber G2-Reader).
Gesamtleistung: Der makro-gemittelte Score über alle fünf Subsets betrug 65,47, was innerhalb von 0,74 Punkten der stärksten Baseline (G2-Reader, 66,21) liegt.
Wettbewerbsumfeld: Während FLOWREADER bei fragmentierten Aufgaben exzellente Leistungen zeigte, war es bei anderen Subsets kompetitiv, aber nicht überlegen (z. B. hinter VisDoMRAG bei SPIQA). Die Autoren führen die Leistungslücke bei SciGraphQA auf die Verwendung eines kleineren Open-Source-Encoders (nomic-embed-text-v1.5) im Vergleich zu den proprietären Encodern der Baselines sowie auf strikte, entitäts-verankerte Prompts zurück, die paraphrasierte Antworten, wie sie in diesem Datensatz üblich sind, bestrafen.
Effizienz: Das System arbeitet mit einem begrenzten VLM-Aufrufbudget. System 2 wird pro Abfrage höchstens einmal ausgelöst, was zu durchschnittlich 30,8–47,3 Aufrufen führt, im Vergleich zu den unbegrenzten Re-Planning-Schleifen einiger Baselines.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass Min-Cost-Flow ein effektiver Mechanismus für die Zusammenstellung fragmentierter multimodaler Evidenz ist, wo traditionelles Top- $k$ -Retrieval versagt. Durch die Vereinigung von Scoring, Routing und Selektion unter einem einzigen Optimierungsziel bietet FLOWREADER eine fundierte Methode zur Handhabung der strukturellen Komplexität langer Dokumente.

Die Autoren betonen, dass ihr Ansatz einen vereinheitlichten Kontrollmechanismus für die gesamte Retrieval-Pipeline bietet, der eine adaptive Zuweisung der Rechenleistung ermöglicht, ohne dass eine komplexe, mehrstufige Feinabstimmung erforderlich ist. Die Ergebnisse legen nahe, dass in Regimen, in denen Evidenz hochgradig fragmentiert ist (Tabellen, Folien), strukturiertes Routing entscheidender ist als die bloße Erhöhung der Skalierung des Generator-Modells. Die Arbeit positioniert sich als Schritt weg von fixen Heuristiken hin zu gelernten, strukturierten Prozessen für die Zusammenstellung von Evidenz innerhalb kontrollierter Rechenbudgets.