💬 NLP

SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding

Dit paper introduceert SARA, een hybride RAG-framework dat natuurlijke taalfragmenten combineert met semantische compressievectoren om de antwoordkwaliteit en feitelijke nauwkeurigheid te verbeteren binnen een vast tokenbudget.

Oorspronkelijke auteurs: Yiqiao Jin, Rachneet Kaur, Zhen Zeng, Sumitra Ganesh, Srijan Kumar

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yiqiao Jin, Rachneet Kaur, Zhen Zeng, Sumitra Ganesh, Srijan Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ingewikkeld ontworpen receptenboek hebt. Dit boek bevat niet alleen tekst, maar ook foto's van gerechten, kleurrijke grafieken over calorieën, en verwijzingen naar andere pagina's. Je wilt weten: "Hoeveel suiker zit er in het dessert op pagina 42, en hoe verhoudt dat zich tot het hoofdgerecht op pagina 15?"

Als je dit boek aan een gewone robot (een standaard AI) geeft, kan die vaak in de war raken. De robot kijkt misschien naar de hele pagina, ziet de foto van de taart, maar mist de kleine tekst in de hoek die de suikermeting aangeeft. Of hij telt de ingrediënten verkeerd omdat hij de hele pagina als één grote vlek ziet.

SlideAgent is als een slimme, gespecialiseerd team van detectives dat samenwerkt om dit boek te begrijpen. In plaats van één robot die alles probeert te doen, heeft SlideAgent drie verschillende soorten detectives, elk met een specifieke taak:

1. De Hoofdcommissaris (Global Agent)

Deze detective kijkt niet naar de kleine details, maar naar het grote plaatje. Hij bladert snel door de eerste paar pagina's en zegt: "Oké, dit boek gaat over gezonde voeding. Het doel is om mensen te leren koken. De sfeer is positief en educatief."

Waarom is dit slim? Hij zorgt dat de andere detectives weten waar ze over praten, zodat ze niet denken dat het boek over auto's gaat.

2. De Bladonderzoeker (Page Agent)

Deze detective kijkt per pagina naar wat er gebeurt. Hij zegt: "Op pagina 15 praten we over het ontbijt. Op pagina 42 staat een recept voor taart. En op pagina 42 verwijst de tekst naar pagina 15."

Waarom is dit slim? Hij houdt de context van elke pagina bij en weet welke pagina's met elkaar te maken hebben, zodat de informatie niet versplintert.

3. De Detailagent (Element Agent)

Dit is de microscoop. Deze detective kijkt niet naar de hele pagina, maar zoomt in op elk klein stukje: de foto van de taart, de tabel met calorieën, de pijltjes in de grafiek en de kleine tekst in de voetnoot.

Waarom is dit slim? Stel je voor dat je op een drukke pagina een klein getal zoekt. Een gewone robot mist het misschien. Deze agent zoekt het exacte vakje op, leest de tekst erin en zegt: "Aha! Hier staat dat er 5 gram suiker in zit."

Hoe werkt het samen?

Wanneer jij een vraag stelt, doet SlideAgent het volgende:

De Hoofdcommissaris zegt: "We zoeken iets over suiker in dit receptenboek."
De Bladonderzoeker zegt: "Oké, dan moeten we naar pagina 42 kijken, want daar staat het taartrecept."
De Detailagent zoomt in op de tabel op pagina 42, leest de regel over suiker en vindt het exacte getal.

Vervolgens komen ze allemaal samen in een vergaderzaal (de 'Answer Synthesizer'). Ze vergelijken hun bevindingen en geven jou één duidelijk, foutloos antwoord: "Er zit 5 gram suiker in de taart op pagina 42."

Waarom is dit een doorbraak?

Tot nu toe waren AI-systemen vaak als een olifant in een porseleinkast: ze konden grote dingen zien, maar ze waren te grof voor de kleine, delicate details in documenten. Ze misten vaak de fijne lijntjes in grafieken of de kleine tekst in een tabel.

SlideAgent is als een team van chirurgische specialisten. Door het werk op te splitsen in "groot plaatje", "pagina" en "detail", kunnen ze:

Fouten voorkomen: Ze tellen niet verkeerd omdat ze de hele pagina door elkaar halen.
Verbanden leggen: Ze zien dat een pijl op pagina 10 verwijst naar een tabel op pagina 20.
Beter presteren: De tests in het artikel laten zien dat dit team veel nauwkeuriger is dan de beste AI's die we nu hebben, zelfs als de documenten erg rommelig zijn of als je alleen een foto van een PDF hebt (zonder de onderliggende digitale tekst).

Kortom: SlideAgent is de slimme manier om complexe documenten (zoals presentaties, rapporten of handleidingen) te lezen. Het combineert de wijsheid van een ervaren manager met de precisie van een microscopisch onderzoek, zodat je nooit meer een klein detail mist in een zee van informatie.

Titel: SlideAgent: Hiërarchisch Agent Framework voor het Begrijpen van Multi-Pagina Visuele Documenten

1. Het Probleem

Visuele documenten, zoals presentaties, handleidingen en financiële rapporten, communiceren informatie niet alleen via tekst, maar ook via complexe lay-outs, kleuren, iconen en cross-page relaties. Bestaande Multimodale Large Language Models (MLLMs) kampen met drie fundamentele beperkingen bij het verwerken van deze documenten:

Schaalbaarheid en Fijnmazig Redeneren: MLLMs verwerken vaak een beperkt aantal afbeeldingen tegelijk en behandelen pagina's holistisch. Hierdoor missen ze fijne, element-niveau aanwijzingen (zoals specifieke sectoren in een grafiek) die nodig zijn voor nauwkeurig antwoord op gebruikersvragen.
Domain-specifieke Visuele Semantiek: Veel MLLMs zijn getraind op natuurlijke afbeeldingen en missen de specifieke conventies van documenten (bijv. logotypes die overal terugkomen maar geen inhoud hebben, kleurcodering voor winst/verlies, of iconen die abstracte concepten vertegenwoordigen). Ze falen vaak in ruimtelijk redeneren en het lokaliseren van elementen.
Integratie zonder Metadata: Real-world documenten (zoals gescande PDF's of platte PDF's) missen vaak schone metadata (zoals tekstlagen of hiërarchie-tags). Bestaande systemen die afhankelijk zijn van metadata zijn hierdoor kwetsbaar, terwijl metadata-vrije methoden vaak prestatie-inboeten.

2. Methodologie: SlideAgent

SlideAgent is een agentic framework dat is ontworpen om multi-pagina, multi-modale documenten (met name slide-decks) te begrijpen door gebruik te maken van gespecialiseerde agenten op drie hiërarchische niveaus. Het systeem werkt in twee fasen:

Fase 1: Kennisconstructie (Knowledge Construction)
In deze fase wordt een query-onafhankelijke, hiërarchische kennisbasis ( $K = \{K_g, K_p, K_e\}$ ) opgebouwd:

Global Agent ( $M_g$ ): Genereert een document-breed overzicht (doel, structuur, thema's). Omdat MLLMs beperkt zijn in visuele capaciteit, samplet deze agent de eerste paar pagina's voor een eerste schatting, die later wordt verfijnd.
Page Agent ( $M_p$ ): Verwerkt elke pagina sequentieel, gekoppeld aan het globale overzicht en de kennis van de vorige pagina. Dit creëert een contextueel verband tussen pagina's. De globale kennis wordt vervolgens herzien op basis van de volledige verzameling pagina-informatie om bias naar de eerste pagina's te verminderen.
Element Agent ( $M_e$ ): Dit is het meest fijnmazige niveau. Deze agent gebruikt externe tools voor layout-parsing (OCR, detectie van bounding boxes) om elke pagina te decomponeren in afzonderlijke elementen (tekstblokken, grafieken, iconen). Voor elk element wordt semantische rol, functioneel doel en ruimtelijke relatie gegenereerd. Dit lost het probleem van ruimtelijk redeneren op.

Fase 2: Inference (Retrieval en Vragenbeantwoording)
Wanneer een gebruiker een vraag ( $q$ ) stelt:

Query Classificatie: Een "Agent Orchestrator" classificeert de vraag in een van vier categorieën (bijv. globaal begrip, feitelijke vraag, multi-hop redenering, of visuele relatie). Dit bepaalt welke agenten worden geactiveerd.
Subquery Generatie & Retrieval: De originele vraag wordt uitgebreid met gegenereerde subqueries om relevante pagina's en elementen te vinden in de kennisbasis.
Synthese: De geactiveerde agenten genereren antwoorden met redenering. Een "Answer Synthesizer" combineert deze outputs tot een coherent, contextbewust antwoord. Als agenten het oneens zijn, wordt een synthese gemaakt; als ze het eens zijn, wordt het antwoord direct overgenomen.

3. Belangrijkste Bijdragen

Hiërarchisch Agent Framework: SlideAgent introduceert een unieke architectuur die redenering decomposeert in globale, pagina- en element-niveaus, wat in staat is om zowel overkoepelende thema's als fijne visuele details te vangen.
Metadata-vrije Architectuur: Het systeem is ontworpen om te werken met ruwe visuele invoer (zoals gescande PDF's) zonder afhankelijk te zijn van interne documentstructuur of metadata, wat het zeer robuust maakt voor real-world toepassingen.
Verbeterd Ruimtelijk Redeneren: Door expliciete element-parsing en bounding box-coördinaten te integreren, overbrugt SlideAgent de kloof die bestaande MLLMs hebben in het lokaliseren en interpreteren van visuele elementen binnen een lay-out.
Query-Aware Agent Orchestration: Het systeem schakelt dynamisch tussen agenten afhankelijk van het type vraag, wat rekenefficiëntie optimaliseert en ruis minimaliseert.

4. Resultaten

SlideAgent is uitgebreid getest op diverse datasets (SlideVQA, TechSlides, FinSlides, InfoVQA) en vergeleken met state-of-the-art modellen, waaronder proprietaire modellen (GPT-4o, Gemini, Claude) en open-source modellen (Llama, InternVL, Qwen).

Prestatieverbetering: SlideAgent overtreft zowel proprietaire als open-source baselines significant.
- +7.9% verbetering in nauwkeurigheid ten opzichte van proprietaire modellen (zoals GPT-4o).
- +9.8% verbetering ten opzichte van open-source modellen.
Fijnmazig Redeneren: De grootste winst wordt geboekt bij vragen die multi-hop redenering en visuele/lay-out relaties vereisen (bijv. het vergelijken van data tussen verschillende slides of het interpreteren van een specifieke sectie van een grafiek).
Retrieval Effectiviteit: Het gebruik van gegenereerde subqueries en paginakennis verbetert de retrieval-prestaties aanzienlijk, zelfs voor tekst-gebaseerde zoekmachines, wat aantoont dat de gegenereerde kennis rijkere semantische signalen bevat dan ruwe OCR.
Ablatie Studies: Het verwijderen van de "Page Agent" leidt tot de grootste prestatiedaling, wat aantoont dat het verbinden van globale context met paginaspecifieke details cruciaal is.

5. Betekenis en Toekomstperspectief

SlideAgent vertegenwoordigt een belangrijke stap voorwaarts in het veld van documentverwerking. Het lost het probleem op dat grote taalmodellen vaak "blind" zijn voor de fijne details en de ruimtelijke structuur van complexe documenten.

Praktische Toepassing: Het is direct toepasbaar in sectoren waar nauwkeurigheid cruciaal is, zoals financiën (analyse van earnings calls), technologie (technische specificaties) en onderwijs, waar kleine fouten in interpretatie tot dure beslissingen kunnen leiden.
Schalbaarheid: Door de kennisconstructie als een eenmalige, geamortiseerde kostenpost te behandelen, is het systeem zeer schaalbaar voor lange documenten en meerdere queries.
Toekomst: De auteurs wijzen op kansen voor verbetering in het hanteren van lage-contrast lay-outs, het modelleren van relaties tussen elementen via grafieken, en het uitbreiden naar multi-turn conversaties.

Kortom, SlideAgent bewijst dat een gestructureerde, hiërarchische benadering met gespecialiseerde agenten superieur is aan het simpelweg "gieten" van een heel document in een enkel MLLM, vooral wanneer het gaat om visueel rijke, multi-pagina documenten.