OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning

Deze paper introduceert OfficeQA Pro, een nieuwe benchmark gebaseerd op een uitgebreid corpus van US Treasury Bulletins die aantoont dat zelfs de meest geavanceerde AI-agenten moeite hebben met grondig, op documenten gebaseerd redeneren in zakelijke contexten, waarbij gestructureerde documentrepresentaties weliswaar de prestaties verbeteren maar nog steeds aanzienlijke ruimte voor verbetering laten.

De kern

🏛️ De Grote Bibliotheek van de Schatkist: OfficeQA Pro

Stel je voor dat je een enorme, oude bibliotheek binnenloopt. Deze bibliotheek bevat 89.000 pagina's aan documenten uit de Amerikaanse Schatkist, verspreid over bijna 100 jaar. Het is een wirwar van tekst, ingewikkelde tabellen, grafieken en cijfers die soms zijn vergeten in oude kranten, en soms in moderne digitale bestanden.

OfficeQA Pro is een nieuwe "proef" (een benchmark) die is ontworpen om te testen hoe goed slimme computers (AI-agenten) deze bibliotheek kunnen doorzoeken en begrijpen. Het doel is niet om te vragen wie de president was in 1950 (dat weten de computers uit hun geheugen), maar om vragen te beantwoorden die echte mensen in kantoren moeten beantwoorden: "Hoeveel belasting werd er betaald in 1942, gecorrigeerd voor inflatie, en wat is het verschil met 1953?"

🤖 De Computers in de Uitdaging

De onderzoekers van Databricks hebben de beste AI's ter wereld (zoals die van Google, OpenAI en Anthropic) op deze proef gezet. Het resultaat? De computers zakten er zwaar doorheen.

• Zonder hulpmiddelen: Als je de AI alleen de vraag geeft, zonder de documenten, scoren ze bijna 0%. Ze weten het antwoord niet uit hun hoofd.
• Met internet: Als ze mogen zoeken op het internet, scoren ze nog steeds minder dan 12%. Ze vinden de juiste bronnen niet of begrijpen ze niet.
• Met de documenten: Zelfs als je ze direct de juiste pagina's geeft, scoren de slimste AI's maar 34%. Ze raken de draad kwijt in de ingewikkelde tabellen.

De analogie: Het is alsof je een student een examen geeft over een 1000 pagina's dik boek, maar de student mag alleen de pagina's lezen die jij aangeeft. Zelfs dan maakt hij fouten omdat hij de tabellen niet kan lezen of de cijfers verwart.

🛠️ De Magische Bril: Waarom "Parseren" Belangrijk Is

Een van de belangrijkste ontdekkingen in dit paper is dat het formaat van de documenten alles uitmaakt.

Stel je voor dat je een computer een PDF-bestand geeft. Voor een mens is dat een plaatje van een pagina. Voor een computer is het een rommelige hoop pixels en codes. De computer moet eerst proberen te raden waar de tekst begint en waar de tabel eindigt. Dit noemen ze "parsing".

De onderzoekers gebruikten een speciale tool van Databricks genaamd ai_parse_document.

• Zonder deze tool: De computer probeert het plaatje te "lezen" en maakt veel fouten (zoals een getal verkeerd lezen).
• Met deze tool: De computer krijgt de informatie in een schone, gestructureerde lijst (zoals een Excel-lijst in plaats van een foto van een Excel-lijst).

Het resultaat: Door deze "magische bril" op te zetten, verbeterden de scores van de AI's met 16%. Het is alsof je een bril opzet die de wazige tekst van de oude documenten scherp en leesbaar maakt.

🧩 De Grote Obstakels

Waarom is dit zo moeilijk voor de AI's? De onderzoekers hebben drie grote problemen geïdentificeerd:

1. De "Tijdmachine"-probleem (Herzieningen):
   In deze documenten worden cijfers vaak aangepast. Een cijfer uit 1940 kan in 1945 worden aangepast. De AI's vinden vaak het eerste cijfer dat ze zien en denken: "Dat is het antwoord!" Ze vergeten te kijken of er later een nieuwere, betere versie is. Het is alsof je een nieuwsbericht leest van 1990 en denkt dat het nog steeds waar is, terwijl er in 2024 een update is gekomen.

2. De "Wazige Foto"-probleem (Visueel inzicht):
   Veel documenten bevatten grafieken en kaarten. De AI's zijn slecht in het "lezen" van deze plaatjes. Als ze een lijngrafiek moeten interpreteren om een trend te zien, raken ze vaak de draad kwijt. Het is alsof je iemand vraagt om een kaart te lezen, maar je geeft ze een foto van de kaart die zo wazig is dat je de wegen niet meer kunt zien.

3. De "Rekenfout"-probleem (Analyse):
   Zelfs als de AI het juiste cijfer vindt, maakt hij fouten in de berekening. Hij gebruikt soms de verkeerde formule (bijvoorbeeld "steekproefvariantie" in plaats van "populatievariantie") of rondt te vroeg af. Het is alsof je een kok hebt die de juiste ingrediënten heeft, maar de receptuur verkeerd begrijpt en je taart daardoor mislukt.

🏆 De Mens vs. De Machine

Interessant genoeg hebben de onderzoekers ook echte mensen gevraagd om deze vragen te beantwoorden.

• Snelheid: De AI's waren 4 tot 9 keer sneller dan de mensen.
• Nauwkeurigheid: De AI's waren nauwkeuriger dan de mensen, mits ze de documenten in een goed leesbaar formaat kregen.

De mensen maakten vaak fouten door slordigheid (typfouten, verkeerde eenheden), terwijl de AI's faalden omdat ze de documenten niet goed konden "ontcijferen".

💡 De Conclusie: Er is nog veel werk te doen

OfficeQA Pro laat zien dat AI's in de toekomst misschien wel onze beste kantoormedewerkers kunnen worden, maar ze zijn er nog niet klaar voor. Ze zijn als een zeer snelle, slimme stagiair die:

1. Snel kan zoeken.
2. Snel kan rekenen.
3. Maar niet goed kan lezen als de tekst slecht is opgemaakt.

Om AI's betrouwbaar te maken voor zakelijke taken, moeten we eerst zorgen dat de documenten (zoals oude belastingpapieren) perfect worden omgezet naar een formaat dat de computer begrijpt. Zolang dat niet zo is, blijven ze vastlopen in de ingewikkelde wereld van kantoorwerk.

Kortom: De technologie is er bijna, maar we moeten eerst de "bril" (de document-parsing) perfectioneren voordat de AI's echt kunnen werken in een kantooromgeving.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning" in het Nederlands.

Titel: OfficeQA Pro: Een Enterprise Benchmark voor End-to-End Grounded Reasoning

Auteurs: Databricks AI Research (met bijdragen van diverse onderzoekers)
Datum: Maart 2026

---

1. Het Probleem

Bestaande benchmarks voor AI-reasoning (zoals HLE of ARC-AGI) testen vaak academische kennis of abstracte vaardigheden in een "gesloten wereld" waar de volledige context direct in de prompt wordt gegeven. Dit sluit niet aan bij de realiteit van enterprise-werkprocessen, waar systemen moeten opereren binnen grote, heterogene documentcorpora.

De kernuitdagingen die dit paper adresseert zijn:

• Grounded Reasoning: De noodzaak om niet alleen te redeneren, maar dit te baseren op het vinden, extraheren en analyseren van specifieke informatie uit duizenden documenten.
• Complexiteit van Enterprise-data: Real-world documenten bevatten een mix van ongestructureerde tekst, complexe geneste tabellen, grafieken, en data die over decennia is bijgewerkt (herzieningen).
• Retrieval-problematiek: AI-agenten moeten kunnen navigeren door honderden rapporten om de juiste secties te vinden, wat vaak faalt bij huidige state-of-the-art modellen.
• Evaluatie: Veel benchmarks vereisen menselijke beoordeling, wat tijdrovend en subjectief is. Er is behoefte aan een verifieerbare, automatische evaluatie.

2. Methodologie: De OfficeQA Pro Benchmark

Dataset Opbouw:

• Bron: De benchmark is gebaseerd op de U.S. Treasury Bulletins, gepubliceerd van 1939 tot heden (met een focus op de periode tot 1982 voor de kernset).
• Omvang: Het corpus bestaat uit ongeveer 89.000 pagina's met meer dan 26 miljoen numerieke waarden.
• Vragen: OfficeQA Pro bevat 133 vragen die zijn ontworpen door experts en geannoteerd door SuperAnnotate en Turing.
  • De vragen vereisen multi-stap redenering, vaak over meerdere documenten (11% vereist data uit 3+ bulletin).
  • Ze omvatten complexe taken zoals lineaire regressie, inflatiecorrecties, en het reconciliëren van herziene statistieken.
  • 22% vereist websearch voor externe waarden (bijv. historische wisselkoersen).
• Validatie: Elke vraag heeft één ondubbelzinnig "ground truth" antwoord. Er is een strikt kwaliteitscontroleproces uitgevoerd, inclusief het filteren van vragen die door modellen uit het geheugen (parametrische kennis) konden worden beantwoord.

Evaluatiemeting:

• Exact Match: Antwoorden worden vergeleken met de ground truth.
• Foutmarge: Omdat 99% van de antwoorden numeriek is, wordt nauwkeurigheid ook gemeten onder verschillende drempels voor absolute relatieve fout (0.0%, 0.1%, 1.0%, 5.0%).
• Format Normalisatie: De evaluatie normaliseert leestekens, wiskundige symbolen en veelvoorkomende afkortingen om eerlijke vergelijkingen mogelijk te maken.

3. Belangrijkste Bijdragen

1. OfficeQA Pro Benchmark: Een nieuw, verifieerbaar benchmark voor end-to-end grounded reasoning in enterprise-scenario's, gebaseerd op een historisch, heterogeen documentcorpus.
2. Impact van Document Parsing: Het paper demonstreert dat de kwaliteit van documentparsing (PDF naar gestructureerde tekst) een kritieke bottleneck is. Het gebruik van Databricks' ai_parse_document resulteert in aanzienlijke prestatieverbeteringen.
3. Uitgebreide Agent Evaluatie: Een systematische evaluatie van frontier-modellen (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro Preview) en agent-architecturen (SDK's van Anthropic, OpenAI, Google) in verschillende configuraties:
   • Alleen prompt (geen context).
   • Met websearch.
   • Met "Oracle" pagina's (de juiste pagina's direct gegeven).
   • Met voorbewerkte (geparseerde) documenten vs. ruwe PDF's.
4. Ablatie Studies: Onderzoek naar de impact van modelkeuze, tabelrepresentatie (HTML vs. Markdown), zoekstrategieën (file search vs. vector search) en test-time scaling.

4. Resultaten

Prestaties van Frontier Modellen:

• Parametrische Kennis: Zelfs de sterkste modellen halen minder dan 5% nauwkeurigheid als ze alleen op hun interne kennis vertrouwen.
• Met Websearch: Nauwkeurigheid stijgt licht (maximaal ~12%), maar modellen falen vaak bij multi-stap redenering of halen de verkeerde data.
• Met Oracle Pagina's (Ruwe PDF): Als de juiste pagina's direct worden gegeven, stijgt de nauwkeurigheid naar 34-57%, afhankelijk van het model.
• Met Oracle Pagina's + Gestructureerde Parsing: Wanneer de PDF's eerst worden geparsed met Databricks' tool, stijgt de gemiddelde nauwkeurigheid aanzienlijk.
  • Claude Opus 4.6 bereikt 66,9% nauwkeurigheid (met parsing) tegenover 48,1% (met ruwe PDF).
  • GPT-5.4 bereikt 65,4% (met parsing) tegenover 57,1% (met ruwe PDF).
  • Gemini 3.1 Pro Preview bereikt 46,6% (met parsing).

Belangrijkste Vondsten:

• Parsing is Cruciaal: Het gebruik van ai_parse_document levert een relatieve prestatiewinst van 16,1% op over alle agenten. Het helpt bij het correct interpreteren van geneste tabellen en oude gescande documenten.
• Retrieval Bottleneck: Zelfs met de beste modellen en parsing, blijven agenten worstelen met het vinden van de juiste informatie in het volledige corpus. De nauwkeurigheid daalt aanzienlijk wanneer ze het volledige corpus moeten doorzoeken in plaats van alleen de relevante pagina's.
• Mens vs. AI: Menselijke annotatoren presteren slechter dan AI-agenten in zowel snelheid als nauwkeurigheid wanneer ze met het volledige corpus werken. Mensen maken vaak fouten bij het selecteren van de juiste cijfers uit tabellen of bij eenheden, terwijl agents sneller zijn maar vatbaar zijn voor parsing-fouten.
• Kosten en Latentie: Agents met voorbewerkte documenten zijn 4-9x sneller en aanzienlijk goedkoper dan agents die PDF's zelf moeten parsen (wat vaak uren duurt en dure OCR-bibliotheken vereist).

Foutpatronen:

• Temporele Herzieningen: Agents vinden vaak de eerste gevonden waarde, in plaats van de meest recente herziene waarde in het archief.
• Visueel Redeneren: Agents worstelen met het interpreteren van grafieken en diagrammen, vooral omdat deze vaak verloren gaan bij het parsen naar tekst.
• Analytische Fouten: Toepassing van verkeerde formules (bijv. steekproefvariantie in plaats van populatievariantie) of onjuiste afronding tijdens tussenstappen.

5. Betekenis en Toekomstperspectief

OfficeQA Pro toont aan dat er nog een grote kloof bestaat tussen de huidige capabilities van AI-agenten en de eisen van betrouwbare enterprise-toepassingen. Hoewel frontier-modellen indrukwekkend zijn in academische taken, presteren ze nog niet betrouwbaar in complexe, data-gedreven workflows.

Kernboodschappen:

• Document Parsing is een Onmisbare Schakel: De kwaliteit van de input (hoe goed een PDF wordt omgezet naar tekst/tabellen) heeft een grotere impact op de eindnauwkeurigheid dan de keuze van het taalmodel zelf.
• End-to-End Evaluatie is Noodzakelijk: Het testen van alleen het redeneringsvermogen zonder de retrieval- en parsing-stap te evalueren, geeft een onvolledig beeld van de bruikbaarheid in de praktijk.
• Toekomstige Richtingen: Er is behoefte aan betere strategieën voor het omgaan met documentherzieningen, robuustere visuele reasoning voor grafieken, en zoekstrategieën die specifiek zijn ontworpen voor enterprise-documenten.

Dit paper biedt een solide fundament voor het verder ontwikkelen en evalueren van AI-systemen die daadwerkelijk inzetbaar zijn in zakelijke omgevingen waar nauwkeurigheid en grondigheid (grounding) essentieel zijn.