MoDora: Tree-Based Semi-Structured Document Analysis System

MoDora is een door LLM-aangedreven systeem dat semi-gestructureerde documenten analyseert door OCR-elementen om te zetten in lay-outbewuste componenten, deze te organiseren in een Component-Correlation Tree (CCTree) voor het behoud van hiërarchische relaties, en een vraagtype-bewuste ophaalstrategie te gebruiken om de nauwkeurigheid van vraag-antwoordtaken aanzienlijk te verbeteren.

De kern

Stel je voor dat je een enorme, rommelige schuur binnenloopt. Deze schuur is volgestopt met alles wat je maar kunt bedenken: losse bladen papier, ingelijste foto's, ingekleefde krantenknipsels, handgeschreven aantekeningen, en zelfs een paar oude kasten met laden. Dit is wat een semi-gestructureerd document is. Het is niet netjes als een boek (alleen tekst), en het is niet puur een database (alleen cijfers). Het is een mix van tekst, tabellen, grafieken en afbeeldingen, vaak in een willekeurige volgorde.

De uitdaging? Als je vraagt: "Hoeveel kippen hadden last van verenverlies in de winter?", dan moet je niet alleen de tekst lezen, maar ook de tabel op pagina 2 vinden, zien dat die tabel hoort bij hoofdstuk 3, en weten dat hoofdstuk 3 in de winter plaatsvond.

Bestaande computersystemen zijn hier slecht in. Ze zien vaak alleen losse woorden of hele pagina's, maar missen de connecties. Ze raken de "samenhang" kwijt.

MoDora is de nieuwe, slimme schuurmeester die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Puzzelstukjes" Samenvoegen (Local-Alignment Aggregation)

Stel je voor dat je een document hebt dat door een scanner is gelezen. De scanner ziet alleen losse blokjes tekst en plaatjes.

• Het probleem: De scanner ziet "Hoofdstuk 3" en "Tabel 1" als twee totaal losse dingen.
• MoDora's oplossing: MoDora is slim genoeg om te zien: "Ah, deze titel hoort bij die tabel!" of "Deze paragraaf en dit plaatje horen bij elkaar."
• De analogie: In plaats van een berg losse puzzelstukjes te hebben, plakt MoDora de stukjes die bij elkaar horen direct aan elkaar tot een compleet plaatje (een 'component'). Zo krijgt hij een "Titel + Paragraaf" blokje en een "Tabel + Legenda" blokje.

2. De "Levende Stamboom" bouwen (CCTree)

Nu MoDora zijn puzzelstukjes heeft samengevoegd, moet hij ze ordenen.

• Het probleem: Veel systemen lezen een document van links naar rechts, alsof het een lange, saaie lijn is. Maar een document heeft diepgang: hoofdstukken, subhoofdstukken, en bijlagen.
• MoDora's oplossing: MoDora bouwt een CCTree (Component-Correlation Tree). Denk hierbij niet aan een lijst, maar aan een levende boom.
  • De stam is de titel van het hele document.
  • De grote takken zijn de hoofdstukken.
  • De kleine takjes zijn de paragrafen en de bladeren zijn de tabellen en plaatjes die bij die paragraaf horen.
  • Zelfs de "bijlagen" (zoals paginanummers of kanttekeningen) krijgen hun eigen takje aan de zijkant, zodat ze de hoofdtekst niet verstoren.
• De magie: MoDora loopt deze boom van onderen naar boven (van blad naar stam). Hij vat elke tak samen in een paar sleutelwoorden. Zo weet de stam (het hoofdstuk) al precies wat er in de bladeren (de details) staat, zonder dat hij alles opnieuw hoeft te lezen.

3. De "Slimme Zoeker" (Question-Type Aware Retrieval)

Als je nu een vraag stelt, weet MoDora precies hoe hij moet zoeken, afhankelijk van wat je vraagt.

• Vraag: "Wat staat er onderin op pagina 1?"
  • MoDora kijkt niet naar de betekenis van de woorden, maar naar de locatie. Hij kijkt in zijn boomstructuur naar het blokje dat fysiek onderaan op pagina 1 hangt.
• Vraag: "Wat is de gemiddelde temperatuur in experiment 3?"
  • MoDora zoekt naar de betekenis. Hij gebruikt zijn samenvattingen (de sleutelwoorden op de takken) om snel te zien welke tak hij moet beklimmen. Hij slaat takken over die niets met "temperatuur" te maken hebben.
• De controle: Als hij een antwoord vindt, laat hij een slimme assistent (een AI) het antwoord controleren door de originele tekst en het plaatje te bekijken. Dit voorkomt dat hij iets verzonnen antwoordt (hallucinaties).

Waarom is dit zo goed?

In de testresultaten (de "wedstrijd" met andere systemen) deed MoDora het veel beter.

• Andere systemen (zoals ZenDB of GPT-5 alleen) waren vaak te slordig: ze zagen de structuur niet, of ze zagen wel de structuur maar misten de details in de tabellen.
• MoDora combineert het beste van twee werelden: hij ziet de structuur (de boom) én hij begrijpt de inhoud (de samenvattingen).

Kortom:
MoDora is als een super-georganiseerde bibliothecaris die niet alleen weet waar elk boek staat, maar die ook precies weet welke pagina bij welk hoofdstuk hoort, en die in staat is om snel de juiste informatie te vinden, zelfs als die verspreid zit over verschillende pagina's en in verschillende vormen (tekst, tabel, plaatje). Hij maakt van een rommelige schuur een perfect georganiseerd archief.

Technische samenvatting

Probleemstelling

Semi-gestructureerde documenten (zoals wetenschappelijke rapporten, financiële staten en technische handleidingen) bevatten een complexe mix van verschillende data-elementen, zoals tabellen, grafieken, hiërarchische paragrafen en afbeeldingen, die vaak in onregelmatige lay-outs zijn geplaatst. Bestaande methoden voor het beantwoorden van vragen in natuurlijke taal (NL-QA) over deze documenten stuiten op drie fundamentele technische uitdagingen:

1. Fragmentatie en verlies van context: Elementen die door OCR (Optical Character Recognition) worden geëxtraheerd, zijn vaak gefragmenteerd en missen hun oorspronkelijke semantische context. Dit maakt geïsoleerde analyse onvoldoende.
2. Gebrek aan representatie voor structuur: Bestaande benaderingen kunnen hiërarchische structuren (bijv. tabellen onder geneste hoofdstuktitels) en lay-out-specifieke onderscheidingen (bijv. zijbalken vs. hoofdinhoud) niet effectief modelleren.
3. Verstrooide informatie: Het beantwoorden van vragen vereist vaak het ophalen en aligneren van informatie die verspreid ligt over meerdere regio's of pagina's (bijv. het koppelen van een beschrijvende paragraaf aan een tabelcel op een andere pagina).

Methodologie: MoDora

MoDora is een systeem dat wordt aangedreven door Large Language Models (LLM) en is ontworpen om deze uitdagingen aan te pakken door een boomgestructureerde representatie van documenten te creëren. De aanpak bestaat uit drie hoofdfasen:

1. Document Preprocessing (Document Voorverwerking)

Het doel is om ruwe OCR-uitvoer om te zetten in zelfstandige, semantisch betekenisvolle componenten.

• Lokale uitlijning en aggregatie: Fragmentarische elementen worden gegroepeerd tot "documentcomponenten" (CO). Dit gebeurt via heuristische regels:
  • Tekst: Titels en de daaropvolgende paragrafen worden samengevoegd.
  • Niet-tekst: Tabellen, grafieken en afbeeldingen worden gekoppeld aan hun titels (voorafgaand of volgend) en vormen een enkele component.
  • Supplementen: Elementen zoals headers, footers en paginanummers worden als aparte componenten behandeld.
• Format-bewuste hiërarchie detectie: Een MLLM (Multimodal Large Language Model) analyseert zowel de tekst als de visuele opmaak (lettergrootte, inspringing) van titels om de hiërarchische niveaus (bijv. H1, H2) te bepalen.
• Template-gebaseerde informatieverrijking: Voor niet-tekstuele elementen (tabellen, grafieken) genereert het systeem gestructureerde semantische triples: (titel, metadata, data). Dit verrijkt de componenten met informatie die niet direct in de tekst staat.

2. Boomconstructie: Component-Correlation Tree (CCTree)

Om de documentstructuur te behouden, wordt een boomstructuur (CCTree) gebouwd waarin elke knoop een documentcomponent vertegenwoordigt.

• Relaties:
  • Tekst-naar-Tekst: Gebaseerd op titelniveaus (ouders en kinderen in de hiërarchie).
  • Tekst-naar-Anders: Niet-tekstuele elementen (tabellen, grafieken) worden als kinderen van de nabijgelegen tekstcomponenten gemodelleerd.
  • Onafhankelijke Supplementen: Elementen zoals headers/footers krijgen een aparte tak in de boom om interferentie met de hoofdinhoud te voorkomen.
• Bottom-up Samenvatting: Om efficiënt zoeken mogelijk te maken, worden metadata (samenvattende trefwoorden) van onderop de boom naar boven gepropageerd. Een formule voor "informatie-attenuatie" bepaalt hoeveel samenvattingen een ouderknoop behoudt, zodat context wordt behouden zonder overmatige redundantie.

3. Boomgebaseerde Documentanalyse (Retrieval & Reasoning)

Een vraagtype-bewuste ophaalstrategie wordt gebruikt om relevante knopen in de CCTree te vinden.

• Locatie-gebaseerde ophaling: Voor vragen over specifieke locaties (bijv. "wat staat er rechts onderaan?") wordt de pagina in een raster (grid) verdeeld en worden knopen geselecteerd die overlappen met het aangegeven gebied.
• Semantische ophaling: Voor inhoudelijke vragen wordt een iteratief proces gebruikt:
  1. Forward Search (LLM-gestuurd): Een LLM selecteert potentiële knopen op basis van index en metadata.
  2. Embedding Fallback: Voor niet-geselecteerde takken wordt een embedding-zoekopdracht uitgevoerd om gemiste bewijsstukken te vinden.
  3. Backward Verification (MLLM-verificatie): Een MLLM controleert de gedetailleerde inhoud van de geselecteerde knopen om "false positives" te filteren en de precisie te verhogen.
• Antwoordgeneratie: De geselecteerde bewijsstukken (tekst, locatie-informatie en hiërarchische context) worden aan een MLLM gegeven om het uiteindelijke antwoord te genereren.

Belangrijkste Bijdragen

1. MoDora Systeem: Een nieuw framework voor semi-gestructureerde documentanalyse dat diverse lay-outs ondersteunt en zowel semantische als locatie-gebaseerde vragen kan beantwoorden.
2. Lokale Aggregatiestrategie: Een methode om OCR-elementen om te zetten in zelfstandige componenten met hiërarchische titeldetectie en gestructureerde extractie van niet-tekstuele elementen.
3. Component-Correlation Tree (CCTree): Een hiërarchische representatie die relaties tussen componenten en lay-outonderscheidingen expliciet modelleert, ondersteund door bottom-up samenvatting.
4. Vraagtype-bewuste Ophaalstrategie: Een geïntegreerde aanpak die locatie-ophaling, LLM-gestuurde selectie, embedding-fallback en cross-modale verificatie combineert voor robuuste bewijslokalisatie.
5. Nieuwe Benchmark (MMDA): De introductie van een nieuwe dataset met 537 documenten en 1.065 vraag-antwoordparen, specifiek ontworpen om complexiteit in elementdiversiteit en lay-out te testen.

Resultaten

Experimenten op bestaande benchmarks (DUDE, M3DocVQA, MP-DocVQA) en de nieuwe MMDA-benchmark tonen aan dat MoDora significant beter presteert dan bestaande methoden (zoals GPT-5, DocAgent, ZenDB, TextRAG, etc.).

• Nauwkeurigheid: MoDora overtreft de beste baselines met een verbetering van 5,97% tot 61,07% in nauwkeurigheid (gemeten via AIC-Acc en ACNLS).
• Vraagtypes: Het systeem is het meest effectief bij vragen die hiërarchische structuur vereisen, maar presteert ook superieur bij tekstuele, hybride (tekst + tabel) en locatie-gebaseerde vragen.
• Kosten-efficiëntie: Hoewel MoDora meer API-calls vereist dan een directe prompt aan GPT-5, is het aanzienlijk goedkoper dan multi-turn agent-systemen zoals DocAgent, terwijl het veel hogere nauwkeurigheid levert.

Betekenis

MoDora markeert een belangrijke stap vooruit in het begrijpen van semi-gestructureerde documenten. In plaats van documenten als platte tekstreeksen of losse afbeeldingen te behandelen, introduceert het een gestructureerde, boomachtige representatie die de intrinsieke relaties tussen tekst, tabellen en lay-out behoudt. Dit maakt het mogelijk om complexe, multi-hop redeneringen uit te voeren die nodig zijn voor real-world toepassingen in wetenschap, financiën en juridische domeinen. De paper benadrukt dat de combinatie van lay-outbewuste aggregatie, hiërarchische modellering en vraagtype-specifieke retrieval essentieel is om de beperkingen van huidige LLM's en RAG-systemen te overwinnen.