Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

Dit paper introduceert BRTR, een multimodaal agentisch framework dat iteratief zoeken en redeneren combineert om complexe enterprise-spreadsheets nauwkeuriger te analyseren en te bewerken dan bestaande methoden, zoals aangetoond door state-of-the-art resultaten op drie benchmarks.

De kern

Stel je voor dat een groot, oud kantoor een enorme archiefkast heeft. Deze kast is niet gemaakt van gewone mappen, maar van duizenden losse vellen papier, ingekleefde foto's, handgeschreven notities en ingewikkelde tabellen. Iedereen die hier werkt, moet soms een specifiek antwoord vinden, bijvoorbeeld: "Wat was de totale winst in 2023, en hoe zag de grafiek eruit die bij die cijfers hoorde?"

Vroeger (en bij de huidige technologie) was het zoeken in deze kast als volgt:
Je gaf een vraag aan een slimme, maar zeer drukke assistent (een AI). De assistent nam één keer een grote greep uit de kast, probeerde alles in één keer te lezen, en gaf dan direct een antwoord.

• Het probleem: Als de vraag complex was, miste de assistent belangrijke details. Als de kast te vol was, werd de assistent overweldigd door de hoeveelheid papier en vergat hij de helft. Hij kon niet terugkeren om "missende stukjes" te zoeken.

BRTR (Beyond Rows to Reasoning) is een nieuwe, revolutionaire manier om deze assistent te trainen. Het is alsof we de assistent niet alleen slimmer maken, maar hem ook een strategische planner en een eindeloze geduld geven.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Detective" in plaats van de "Snelle Lezer"

Stel je voor dat je een detective bent die een moordzaak oplost.

• De oude manier: De detective leest het hele dossier in één keer door en schrijft direct een verslag. Als hij een bewijsstuk mist, is het te laat.
• De BRTR-methode: De detective (de AI) begint met een eerste zoektocht. Hij vindt een paar aanwijzingen. Dan zegt hij: "Hmm, dit lijkt op de waarheid, maar ik heb ook de foto's nodig die bij deze notitie horen." Hij gaat terug naar de kast, zoekt specifiek naar die foto's, kijkt ernaar, en zegt: "Oké, nu heb ik het plaatje compleet."

Dit noemen ze een iteratieve lus. De AI mag terugkomen, vragen verfijnen en nieuwe stukjes zoeken totdat hij zeker is van het antwoord. Het is geen "één keer kijken en hopen", maar "zoeken, controleren, en opnieuw zoeken".

2. De "Chef-kok" en zijn "Gastkokken" (De Planner)

Bij complexe taken (zoals het maken van een financieel verslag) is het te veel voor één persoon om alles tegelijk te doen.

• BRTR introduceert een Planner (een Chef-kok).
• De Chef krijgt de opdracht: "Maak een verslag."
• In plaats van zelf te koken, deelt de Chef het werk op in kleine taken: "Jij (Gastkok 1) zoekt de cijfers op. Jij (Gastkok 2) maakt de grafiek. Jij (Gastkok 3) controleert of de optelling klopt."
• Elke "Gastkok" doet zijn eigen taak en geeft het resultaat terug aan de Chef. De Chef zorgt dat alles op het juiste moment samenkomen. Dit voorkomt dat de AI in de war raakt of fouten maakt door te veel tegelijk te proberen.

3. De "Grote Oorlogs" (De Context)

Een van de grootste problemen met AI is dat ze een beperkt "geheugen" hebben (een contextvenster). Als je een heel boek in één keer in hun hoofd stopt, vergeten ze het begin.

• BRTR gebruikt een slimme truc: Context-beheer.
• Stel je voor dat de detective een notitieblok heeft. Als hij een nieuwe foto vindt, plakt hij die op het blad. Maar als het blad vol raakt, plakt hij de oude foto's eruit en bewaart alleen de beschrijving van die foto's in zijn hoofd.
• Zo blijft zijn notitieblok klein en overzichtelijk, maar onthoudt hij wel alles wat belangrijk is. Dit zorgt ervoor dat de AI niet "dwaalt" door te veel informatie.

4. De "Super-Scanner" (De Zoekmachine)

Om deze detective te laten werken, hebben ze een speciale scanner nodig die niet alleen tekst, maar ook tabellen, grafieken en foto's begrijpt.

• Ze hebben vijf verschillende scanners getest. De winnaar was de NVIDIA NeMo Retriever.
• Deze scanner is als een super-scherpe lens die precies ziet waar een getal in een tabel staat én welke foto erbij hoort, zelfs als ze door elkaar liggen.

Waarom is dit zo belangrijk?

In de echte wereld werken bedrijven met miljoenen cellen in Excel-bestanden, PDF's en foto's door elkaar.

• Vroeger: AI gaf vaak foutieve antwoorden omdat het niet kon "nadenken" over de hele situatie.
• Nu met BRTR: De AI haalt 99% correcte antwoorden (in tests), zelfs bij de moeilijkste taken. Het is alsof je een senior accountant en een grafisch ontwerper in één persoon hebt, die samenwerken om een foutloos verslag te maken.

Kort samengevat:
BRTR is niet zomaar een snellere AI. Het is een AI die leert niet alles in één keer te willen weten, maar die leert om stap voor stap te zoeken, te twijfelen, te controleren en pas dan een antwoord te geven. Het is de overstap van "raar gissen" naar "verantwoord redeneren".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing" in het Nederlands.

Probleemstelling

Bestaande methoden voor het analyseren van complexe enterprise-spreadsheets (met miljoenen cellen, kruisblad-afhankelijkheden en ingebedde visuele elementen) stuiten op drie fundamentele beperkingen:

1. Enkele pass-retrieval: State-of-the-art benaderingen (zoals SpreadsheetLLM en FRTR) halen context eenmalig op voordat de generatie begint. Ze missen het vermogen om iteratief te zoeken, aangrenzende gebieden te verkennen of zoekopdrachten te verfijnen op basis van tussentijdse resultaten, wat essentieel is voor menselijke analisten.
2. Verlies van resolutie: Compressie-methoden (die werkboeken samenvatten om in het contextvenster van een LLM te passen) verliezen cruciale details en kruisblad-relaties.
3. Contextvenster-beperkingen: Naïeve methoden die volledige context injecteren, overschrijden de limieten van Large Language Models (LLMs), vooral bij werkboeken met meer dan 50.000 cellen.

Dit leidt tot onbetrouwbare redenering bij complexe, multi-stap taken.

Methodologie: Het BRTR Framework

De auteurs introduceren Beyond Rows to Reasoning (BRTR), een multimodaal agentiek framework dat de enkele pass vervangt door een iteratieve tool-calling loop. Het systeem bestaat uit drie kerncomponenten:

1. Multimodale Indexering en Retrieval:

   • Het systeem breekt spreadsheets op in vier chunk-types: rijen, kolommen, rechthoekige vensters en ingebedde afbeeldingen.
   • Deze chunks worden geëmbed met een multimodaal model (in dit geval NVIDIA NeMo Retriever 1B, gekozen na uitgebreide evaluatie).
   • Bij een query wordt een hybride zoekopdracht uitgevoerd (dense cosine-similarity + BM25 voor exacte numerieke waarden) en gefuseerd via Reciprocal Rank Fusion (RRF).

2. Agente Tool-Calling Loop:

   • In plaats van één antwoord te genereren, gebruikt de LLM gestructureerde zoektools (bijv. search_rows, search_columns, search_images).
   • De agent inspecteert de resultaten, beslist of meer bewijs nodig is, en verfijn de zoekopdracht of wisselt van content-type totdat voldoende bewijs is verzameld.
   • Contextbeheer: Om token-uitputting te voorkomen, wordt een "always-prune" strategie toegepast: oude afbeeldingsdata (base64) wordt verwijderd uit de conversatiegeschiedenis, terwijl de tekstuele metadata (sheet-naam, coördinaten) behouden blijft.

3. Planner-Executor Architectuur:

   • Voor complexe workflows wordt een taak opgesplitst in een afhankelijkheidsgraaf (DAG) van sub-taken door een Planner.
   • Speciale Executors voeren deze taken parallel uit: Excel (lezen/schrijven), IO (PDF/CSV), Web (zoeken), Validatie (boekhoudkundige invarianten), OCR en Search.
   • Dit voorkomt foutopstapeling bij lange workflows.

Belangrijkste Bijdragen

1. Evaluatie van Multimodale Embeddings: De eerste empirische vergelijking van vijf multimodale embedding-modellen voor spreadsheets. Ze identificeren NVIDIA NeMo Retriever 1B als de beste presterende voor gemengde tabulaire en visuele data.
2. Het BRTR Framework: Een nieuw paradigma dat iteratieve zoekopdrachten en contextbeheer combineert, ondersteund door meer dan 200 uur menselijke evaluatie.
3. End-to-End Werkstroomondersteuning: Het systeem ondersteunt niet alleen analyse, maar ook gestructureerde bewerkingen (formules, opmaak, visualisatie) en cross-file validatie.

Resultaten

BRTR werd getest op drie toonaangevende benchmarks en presteerde significant beter dan bestaande methoden:

• FRTR-Bench (Complexe Enterprise Spreadsheets):
  • BRTR bereikte 99% nauwkeurigheid (met GPT-5 en Gemini 3 Pro), een verbetering van 25 procentpunten ten opzichte van de beste single-pass baseline (FRTR).
  • Compressie-methoden faalden hier (6-34% nauwkeurigheid) omdat ze kruisblad-relaties en afbeeldingen verliezen.
• SpreadsheetLLM Benchmark:
  • BRTR behaalde 97-98% nauwkeurigheid, wat 7-11 procentpunten beter is dan single-pass retrieval en aanzienlijk beter dan naïeve volledige context-injectie (55-68%).
• FINCH Benchmark (Financiële & Boekhoudkundige Workflows):
  • Op deze zeer moeilijke benchmark (172 workflows, 27 miljoen cellen) bereikte BRTR 95% nauwkeurigheid, een verbetering van 32 procentpunten ten opzichte van naïeve agenten.
  • De planner-architectuur was cruciaal voor het hanteren van multi-stap taken.

Ablatie-studie:

• Het verwijderen van de Planner leidde tot een daling van 20 procentpunten in nauwkeurigheid en een toename van 40% in token-gebruik.
• Het verwijderen van de Iteratieve Loop resulteerde in 0% nauwkeurigheid, wat aantoont dat multi-turn redenering essentieel is.
• GPT-5.2 bleek de beste balans tussen kosten en nauwkeurigheid te bieden.

Significantie

Dit paper markeert een verschuiving in hoe AI omgaat met complexe documenten:

• Van "Eén keer lezen" naar "Actief onderzoeken": Het bewijst dat LLMs, net als menselijke analisten, moeten kunnen terugkeren naar de bron, nieuwe vragen stellen en bewijs stap voor stap verzamelen.
• Scalabiliteit: Het lost het probleem op van het analyseren van werkboeken die groter zijn dan het contextvenster van een LLM, zonder informatie te verliezen door compressie.
• Auditbaarheid: Door elke tool-call expliciet te loggen, biedt BRTR volledige traceerbaarheid, wat essentieel is voor vertrouwen in enterprise-toepassingen.
• Toekomstperspectief: Het framework legt de basis voor geavanceerde, autonome agents die complexe zakelijke processen kunnen uitvoeren die spreiden over meerdere bestandsformaten (Excel, PDF, afbeeldingen) en bronnen.