Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

Das Paper stellt BRTR vor, ein multimodales Agenten-Framework, das durch iterative Werkzeugaufrufe und Retrieval die zuverlässige Analyse und Bearbeitung komplexer Enterprise-Spreadsheets ermöglicht und dabei den aktuellen Stand der Technik in mehreren Benchmarks deutlich übertrifft.

Das Wesentliche

Vom Zählen der Reihen zum Verstehen: Wie ein digitaler Assistent Excel-Spreadsheets meistert

Stellen Sie sich vor, Sie müssten einen riesigen, chaotischen Lagerkeller durchsuchen, um eine einzige spezifische Schraube zu finden. Dieser Keller ist nicht nur riesig, sondern besteht aus Millionen von Regalen (Zellen), die über verschiedene Etagen (Tabellenblätter) verteilt sind. In manchen Regalen liegen nicht nur Schrauben, sondern auch Fotos, Diagramme und handschriftliche Notizen.

Frühere KI-Systeme waren wie ein Arbeiter, der einmal schnell durch den Keller läuft, versucht, sich alles auf einen Schlag zu merken, und dann versucht, die Schraube zu finden. Das Problem? Der Keller ist zu groß. Der Arbeiter vergisst Dinge, vermischt die Etagen oder muss den ganzen Keller in einen winzigen Rucksack (den „Kontext-Fenster" der KI) quetschen, wobei er wichtige Details verliert.

Die Forscher von PwC haben mit BRTR („Beyond Rows to Reasoning") eine völlig neue Lösung entwickelt. Hier ist die Erklärung, wie das funktioniert, ohne Fachchinesisch:

1. Der neue Ansatz: Der detektivische Assistent

Statt einmal durch den Keller zu rennen, hat BRTR einen intelligenten, geduldigen Detektiv an Bord.

• Der alte Weg (Einmal-Pass): Der Detektiv schaut sich nur einen kleinen Ausschnitt an, macht sich Notizen und versucht sofort, die Antwort zu geben. Wenn er die Schraube nicht findet, gibt er auf oder erfindet eine.
• Der BRTR-Weg (Iterativer Agent): Der Detektiv bekommt einen Auftrag. Er sagt: „Okay, ich suche erst in der Küche (Blatt 1). Ah, da steht ein Hinweis, dass die Schraube vielleicht im Keller (Blatt 5) liegt." Er geht dorthin, schaut nach, findet ein Foto einer Schraube und sagt: „Moment, das ist die falsche Art. Ich muss noch die Werkstatt (Blatt 3) prüfen."
  • Er sucht, prüft, verfeinert seine Suche und sucht wieder, bis er sicher ist.
  • Er nutzt spezielle Werkzeuge, um genau dort hinzuschauen, wo er sie braucht, statt den ganzen Keller auf einmal zu scannen.

2. Die Werkzeuge: Ein gut sortiertes Werkzeugset

Stellen Sie sich vor, der Detektiv hat eine magische Lupe und verschiedene Spezialwerkzeuge:

• Suche nach Zeilen/Spalten: Er kann gezielt nach „Alle Zeilen mit dem Wort 'Umsatz'" suchen.
• Suche nach Bildern: Er kann sich die eingebetteten Diagramme und Fotos genau ansehen (was frühere KIs oft nicht konnten).
• Der Planer: Das ist der Kopf des Teams. Wenn die Aufgabe komplex ist („Erstelle eine Bilanz aus drei verschiedenen Dateien"), zerlegt der Planer den Auftrag in kleine, überschaubare Schritte. Er schickt verschiedene kleine Helfer los, die parallel arbeiten, und fasst am Ende alles zusammen.

3. Warum ist das so erfolgreich?

Die Forscher haben das System an echten, riesigen Unternehmensdaten getestet (Millionen von Zellen!). Die Ergebnisse waren beeindruckend:

• Genauigkeit: Während alte Methoden bei komplexen Aufgaben oft nur bei 60–70 % lagen, traf BRTR mit den besten KI-Modellen fast immer ins Schwarze (bis zu 99 %).
• Der „Kontext-Rucksack": Früher musste man den ganzen Keller in einen kleinen Rucksack packen, wobei Dinge zerquetscht wurden. BRTR nimmt nur das mit, was gerade wichtig ist, und tauscht es bei Bedarf aus. So bleibt der Rucksack leicht, aber der Inhalt ist immer frisch und relevant.
• Auditierbarkeit: Das Beste: Man kann genau nachvollziehen, was der Detektiv getan hat. Jeder Schritt, jede Suche und jeder Fund wird protokolliert. Es ist wie ein schwarzer Kasten im Flugzeug: Man sieht genau, wie die Entscheidung zustande kam.

4. Die wichtigsten Erkenntnisse (in einfachen Worten)

• Nicht alles auf einmal: Man muss nicht versuchen, das ganze Buch auf einmal zu lesen, um eine Frage zu beantworten. Man blättert gezielt um.
• Der richtige Sucher: Nicht jede „Suchmaschine" (Embedding-Modell) ist gleich gut. Die Forscher haben herausgefunden, dass ein bestimmtes Modell (NVIDIA NeMo) am besten darin ist, sowohl Text als auch Bilder in Tabellen zu verstehen.
• Planung ist alles: Ein KI-Modell allein reicht nicht. Es braucht einen „Planer", der den großen, chaotischen Auftrag in kleine, machbare Schritte zerlegt. Ohne diesen Planer scheitern die KIs bei komplexen Aufgaben.

Fazit

BRTR ist wie der Unterschied zwischen einem Schüler, der panisch versucht, ein ganzes Lexikon auswendig zu lernen, und einem erfahrenen Bibliothekar, der weiß, wie man gezielt nach Informationen sucht, sie überprüft und zu einer perfekten Antwort zusammenfügt.

Es macht KI endlich zu einem echten Partner für komplexe Büroarbeit, bei der es nicht nur um das Ablesen von Zahlen geht, sondern um das Verstehen von Zusammenhängen, das Vergleichen von verschiedenen Dateien und das Erstellen neuer Dokumente – alles mit einer Zuverlässigkeit, die menschliche Experten beeindruckt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing" auf Deutsch:

1. Problemstellung

Herausforderungen bei der Analyse von Unternehmens-Tabellenkalkulationen (Spreadsheets) bestehen darin, dass diese oft Millionen von Zellen, komplexe Abhängigkeiten zwischen verschiedenen Tabellenblättern und eingebettete visuelle Artefakte (Diagramme, Bilder) enthalten.

• Limitierungen bestehender Ansätze:
  • Kompressionsbasierte Methoden: Kodieren Arbeitsmappen in komprimierte Darstellungen, um sie in das Kontextfenster von Large Language Models (LLMs) zu passen. Dies führt jedoch zu Informationsverlust und Resolutionseinbußen.
  • Ein-Pass-Retrieval (Single-Pass): Holen sich den Kontext einmalig vor der Generierung. Sie können nicht iterativ nachbessern, wenn die ersten Suchergebnisse unzureichend sind.
  • Naive Vollkontext-Injektion: Versuchen, den gesamten Inhalt direkt in das LLM zu laden, was bei großen Dateien die Kontextfenstergrenzen sprengt.
• Folge: Aktuelle Systeme können das Verhalten menschlicher Analysten nicht nachahmen, die schrittweise Beweise sammeln, Querverweise zwischen Blättern herstellen und ihre Suche basierend auf Zwischenergebnissen verfeinern.

2. Methodik: Das BRTR-Framework

Die Autoren stellen Beyond Rows to Reasoning (BRTR) vor, ein multimodales Agenten-Framework, das den statischen Ein-Pass-Ansatz durch einen iterativen Tool-Calling-Loop ersetzt.

• Architektur-Komponenten:
  1. Multimodale Indexierung und Retrieval:
     • Die Arbeitsmappe wird in vier Chunk-Typen zerlegt: Zeilen, Spalten, rechteckige Fenster und eingebettete Bilder.
     • Es wird ein hybrides Retrieval verwendet: Kombination aus dichter semantischer Suche (Cosine Similarity) und lexikalischer Suche (BM25) für exakte Zahlenwerte und Zellreferenzen.
     • Die Ergebnisse werden mittels Reciprocal Rank Fusion (RRF) fusioniert.
  2. Agenter Tool-Calling-Loop:
     • Das LLM analysiert die Anfrage und ruft strukturierte Such-Tools auf (z. B. search_rows, search_columns, search_images).
     • Nach Inspektion der Ergebnisse entscheidet das Modell, ob weitere Beweise benötigt werden. Falls ja, wird die Suchanfrage verfeinert, andere Inhaltstypen angefordert oder Koordinaten-Filter angewendet.
     • Der Loop läuft bis zu 50 Iterationen, bricht aber früher ab, wenn genügend Evidenz vorliegt.
  3. Planner-Executor-Architektur:
     • Ein Planner zerlegt komplexe Arbeitsabläufe in einen Abhängigkeitsgraphen (DAG) von Teilaufgaben.
     • Sechs spezialisierte Executor führen diese aus: Excel (Lesen/Schreiben), I/O (PDF, CSV), Web (Suche), Validierung (Buchhaltungsregeln), OCR und Search.
     • Unabhängige Zweige werden parallel ausgeführt, um Fehlerakkumulation in langen Workflows zu vermeiden.
  4. Kontext-Management:
     • Um Token-Overflows zu verhindern, wird eine „Always-Prune"-Strategie angewendet: Bei neuen Bild-Chunks werden vorherige Bild-Daten (Base64) aus dem Kontext entfernt, während die Metadaten und Textzusammenfassungen erhalten bleiben.

3. Schlüsselbeiträge

1. Evaluation multimodaler Embedding-Modelle:
   • Vergleich von fünf Modellen (u. a. Amazon Titan, Cohere, NVIDIA NeMo, Jina).
   • Ergebnis: NVIDIA NeMo Retriever 1B wurde als bestes Modell für gemischte tabellarische und visuelle Daten identifiziert (höchste Recall-Rate und nDCG).
2. Das BRTR-Agenten-Framework:
   • Einführung eines Systems, das End-to-End-Excel-Workflows von komplexer Analyse bis zur strukturierten Bearbeitung unterstützt.
   • Vollständige Auditierbarkeit durch explizite Tool-Call-Traces.
3. Umfassende Evaluation:
   • Über 200 Stunden menschliche Experten-Evaluation.
   • Tests auf drei führenden Benchmarks: FRTR-Bench, SpreadsheetLLM und FINCH.

4. Ergebnisse

BRTR übertrifft alle bestehenden Methoden (Single-Pass-Retrieval, Kompression, naive Vollkontext-Ansätze) signifikant:

• FRTR-Bench (Komplexe Unternehmensdaten):
  • BRTR erreicht mit Frontier-Modellen (z. B. GPT-5, Gemini 3 Pro) eine Genauigkeit von 99 %.
  • Das ist eine Steigerung von 25 Prozentpunkten gegenüber dem besten Single-Pass-Baseline (FRTR).
  • Kompressionsmethoden (SpreadsheetLLM) scheiterten hier stark (6–34 %), da sie querverweisende Beziehungen und Bilder nicht erfassen konnten.
• SpreadsheetLLM Benchmark (Textbasierte Tabellen):
  • BRTR erreicht 97–98 % Genauigkeit (vs. 89–91 % bei Kompressionsmethoden).
  • Selbst bei einfacheren Aufgaben zeigt sich der Vorteil der iterativen Verfeinerung.
• FINCH Benchmark (Finanz- und Buchhaltungs-Workflows):
  • BRTR erreicht 95 % Genauigkeit (vs. 41,9 % im Originalpapier und ~20 % bei naiven Agenten).
  • Dies demonstriert die Fähigkeit, komplexe, mehrstufige Workflows über mehrere Dateien hinweg zu bewältigen.
• Effizienz-Analyse:
  • GPT-5.2 bietet den besten Trade-off zwischen Genauigkeit und Kosten (geringerer Token-Verbrauch bei hoher Genauigkeit).
  • Ablationsstudien zeigen, dass jeder Teil (Planner, Retrieval, Iteration) essenziell ist. Ohne den Planner sinkt die Genauigkeit um 20 Punkte, ohne den Agenten-Loop auf 0 %.

5. Bedeutung und Ausblick

• Paradigmenwechsel: Das Paper beweist, dass für das Verständnis komplexer Unternehmensdaten der Wechsel von statischer Kontextinjektion zu agenter, iterativer Suche notwendig ist.
• Skalierbarkeit: BRTR kann mit Arbeitsmappen umgehen, die die Kontextfenster von LLMs sprengen würden, indem es gezielt relevante Teile abruft und verarbeitet.
• Auditierbarkeit: Im Gegensatz zu „Black-Box"-Ansätzen bietet BRTR vollständige Transparenz durch Tool-Call-Traces, was für den Einsatz in regulierten Bereichen (Finanzen, Buchhaltung) entscheidend ist.
• Zukunft: Die Autoren planen, das Framework auf andere strukturierte Dokumenttypen zu erweitern und die Retrieval-Strategien lernfähig zu machen.

Zusammenfassend stellt BRTR einen neuen State-of-the-Art für das Verständnis und die Bearbeitung multimodaler Tabellenkalkulationen dar, der die Lücke zwischen der Fähigkeit von LLMs zu logischem Schlussfolgern und der Komplexität realer Unternehmensdaten schließt.