Index Light, Reason Deep: Deferred Visual Ingestion for Visual-Dense Document Question Answering

Dit artikel introduceert het Deferred Visual Ingestion (DVI)-kader, dat de beperkingen van bestaande 'Pre-Ingestion'-methoden voor visueel dichte technische documenten oplost door visuele verwerking uit te stellen tot de inferentiefase, wat leidt tot aanzienlijk hogere zoek- en beantwoordingsnauwkeurigheid.

De kern

De "Uitgestelde Visuele Inname" (DVI): Waarom je niet elke pagina hoeft te lezen voordat je een vraag stelt

Stel je voor dat je een enorme bibliotheek hebt vol met technische tekeningen: brugplannen, stalen constructies en elektrische schema's. Iedereen wil nu snel een antwoord vinden op een specifieke vraag, bijvoorbeeld: "Wat is de dikte van de balk in brugsectie B?"

De oude manier om dit op te lossen (die de auteurs Pre-Ingestion noemen) is als een zeer ijverige, maar verwarde bibliothecaris. Deze bibliothecaris leest elke pagina in de bibliotheek, schrijft een samenvatting op een kaartje en stopt dat kaartje in een computer. Als jij een vraag stelt, zoekt de computer op het kaartje.

Het probleem met de oude methode:

1. Verlies van details: De bibliothecaris weet niet wat je gaat vragen. Hij schrijft een algemene samenvatting ("Hier staat een brug") en mist de kleine, cruciale details (zoals de exacte dikte van de balk).
2. Verwarring: Als je 200 bijna identieke brugplannen hebt, zien de samenvattingen er allemaal hetzelfde uit. De computer kan ze niet van elkaar onderscheiden en raakt de juiste pagina kwijt.
3. Verspilling: De bibliothecaris heeft uren nodig om alle 500 pagina's te lezen, ook al stel jij maar één vraag.

---

De Nieuwe Oplossing: DVI (De "Slimme Zoeker")

De auteurs van dit paper, Tao Xu, hebben een slimme nieuwe methode bedacht: Deferred Visual Ingestion (DVI). In het Nederlands kunnen we dit noemen: "Uitgestelde Visuele Inname".

De kernboodschap is simpel: "Maak een index om te vinden, niet om te begrijpen."

Hier is hoe het werkt, vergeleken met alledaagse situaties:

1. De Index: Het Adresboek in plaats van de Samenvatting

In plaats van dat een computer elke pagina "leest" en samenvat, kijkt DVI alleen naar de structuur van het document.

• De Analogie: Stel je voor dat je een telefoonboek hebt. Je hoeft niet te lezen wat er in de telefoongids staat om te weten dat "Smith" op pagina 45 staat. Je kijkt gewoon naar de naam en het nummer.
• Hoe het werkt: Technische tekeningen hebben vaak nummers (bijv. "Brug-A-Deel-1"). DVI pikt deze nummers eruit en maakt een slim hiërarchisch adresboekje (een index). Het weet precies welk nummer bij welk onderwerp hoort, zonder de tekening zelf te hoeven bekijken. Dit kost geen enkele seconde aan rekenkracht en geen dure AI-modellen.

2. De Zoektocht: De Exacte Sleutel

Wanneer jij een vraag stelt ("Wat is de dikte van de balk in Brug-A-Deel-1?"), zoekt DVI niet naar een "gevoel" of een "betekenis" (zoals de oude methode deed).

• De Analogie: Het is alsof je een sleutel hebt. De oude methode probeerde de sleutel te gissen op basis van de vorm van het slot. DVI past de sleutel (de exacte tekst van je vraag) direct in het slot (het nummer op de tekening).
• Het resultaat: Omdat technische tekeningen vaak heel specifiek zijn (nummers, maten), werkt deze "exacte zoektocht" veel beter dan het proberen te raden wat er op de pagina staat.

3. De Analyse: Pas kijken als je er bent

Pas nadat DVI de juiste pagina heeft gevonden, stuurt hij die pagina naar een slimme AI (een Vision Language Model).

• De Analogie: Stel je voor dat je op zoek bent naar een foutje in een auto. De oude methode liet een monteur elke auto van de vloer bekijken en een verslag maken, voordat je je auto zelfs maar noemde. DVI laat de monteur alleen naar jouw auto kijken, precies op het moment dat je zegt: "Kijk hier, deze bout is los."
• Het voordeel: De AI ziet de originele tekening en weet precies waar hij moet kijken. Geen informatie gaat verloren, en er wordt geen tijd verspild aan het bekijken van de verkeerde pagina's.

---

Waarom is dit zo'n groot succes?

De auteurs hebben dit getest op drie grote verzamelingen documenten (bruggen, staal en elektrische schema's). De resultaten zijn verbluffend:

• Bij brugtekeningen: De oude methode had een slaagkans van slechts 24%. De nieuwe DVI-methode haalde 65%. Dat is een enorme sprong!
• Bij elektrische schema's: De oude methode vond bijna niets (0,7% succes). DVI vond het juiste plaatje in 31% van de gevallen (en bijna 100% op het niveau van het onderdeel).
• Kosten: De oude methode moest elke pagina "lezen" (wat duur en traag is). DVI doet dit niet. Het kost bijna niets om de index te maken.

De Grote Les: "Kijk met een vraag in gedachten"

De belangrijkste les uit dit paper is dat we vaak proberen alles te "begrijpen" voordat we weten wat we nodig hebben. Dat is als het lezen van een heel woordenboek om één woord te vinden.

DVI leert ons dat het beter is om eerst te weten waar iets staat (de index), en pas daarna te kijken wat er staat (de analyse), en dat alleen als het nodig is.

Samenvattend:
DVI is als een slimme zoekmachine die niet probeert de hele wereld te begrijpen, maar gewoon perfect weet waar de boeken staan. Zodra jij vraagt: "Waar staat het recept voor pannenkoeken?", rent hij niet naar de kookboeken om alles te lezen, maar pakt hij direct het juiste boek, opent hij op de juiste pagina en laat hij de chef-kok (de AI) het recept voorgelezen. Snel, goedkoop en veel accurater.

Technische samenvatting

Titel: Index Light, Reason Deep: Deferred Visual Ingestion voor het Beantwoorden van Vragen over Visueel Dichte Documenten

1. Het Probleem: Uitdagingen bij Visueel Dichte Documenten

Bestaande methoden voor multimodaal documentvraag-antwoord (RAG - Retrieval-Augmented Generation) gebruiken voornamelijk een Pre-Ingestion (PI) strategie. Hierbij wordt tijdens het indexeren een Vision Language Model (VLM) op elke pagina aangeroepen om een generieke beschrijving te maken, die vervolgens wordt omgezet in vector-embeddings.

Deze aanpak faalt echter op twee kritieke fronten bij visueel dichte technische documenten (zoals engineering-tekeningen, schema's en productcatalogi):

1. Verlies van informatie: Omdat het VLM niet weet wat de gebruiker zal vragen, genereert het "blinde beschrijvingen". Cruciale visuele details (zoals afmetingen, leidingroutes of componentnummers) gaan hierbij vaak verloren.
2. Retrieval-falen bij homogene documenten: Technische tekeningen binnen één project zijn vaak visueel en semantisch zeer vergelijkbaar. Embedding-retrieval faalt systematisch omdat de vectorrepresentaties van deze vergelijkbare pagina's te dicht bij elkaar in de vectorruimte clusteren, waardoor ze niet van elkaar te onderscheiden zijn.

Bovendien zijn deze fouten onomkeerbaar: zodra de beschrijving onvolledig is of de retrieval faalt, kan het systeem tijdens het beantwoorden van de vraag niet meer terug naar het originele beeld.

2. Methodologie: Deferred Visual Ingestion (DVI)

Het paper stelt Deferred Visual Ingestion (DVI) voor, een framework dat het principe "Indexeren voor lokalisatie, niet voor begrip" hanteert. In plaats van vooraf alles te begrijpen, wordt visuele analyse uitgesteld tot het moment van de vraag.

Het DVI-framework bestaat uit twee fasen:

• Fase 1: Preprocessing (Zero VLM):

  • Er worden geen VLM-calls gedaan.
  • Er wordt uitsluitend gebruikgemaakt van structurele informatie (inhoudsopgave, tekeningnummers, titels).
  • HDNC-algoritme (Hierarchical Drawing Number Clustering): Dit algoritme analyseert automatisch de hiërarchische structuur van tekeningnummers (bijv. PROJID-GRP-PKG-ST-BR-DR-101013). Het ontdekt patronen en bouwt een hiërarchische index (categorieën, subcategorieën, groepen) zonder API-kosten.
  • Een BM25-zoekengine wordt gebouwd op basis van deze structurele metadata en optionele tekstlagen (afhankelijk van de documentkwaliteit).

• Fase 2: Inference (On-Demand VLM):

  • Bij een gebruikersvraag wordt eerst via BM25 de juiste pagina (of top-k kandidaten) gelokaliseerd.
  • Pas nu worden de originele afbeeldingen van deze specifieke pagina's, samen met de specifieke vraag, naar een VLM gestuurd voor gerichte analyse.
  • Dit zorgt voor verliesvrije informatie en een vraag-gerichte focus.

Aanpassing aan tekstkwaliteit:
Het paper introduceert een adaptieve strategie:

• Bij Vector PDF's (CAD-export) is de tekstlaag perfect; het toevoegen van tekst aan de index verbetert de zoekresultaten aanzienlijk.
• Bij Gescande documenten met slechte OCR (bijv. gedraaide tabellen) introduceert tekst toevoeging ruis en verslechtert de prestaties. In dit geval wordt alleen de structurele index gebruikt.

3. Belangrijkste Bijdragen

1. Het DVI-framework: Een nieuwe architectuur die visueel begrip uitstelt naar de inferentiefase, wat leidt tot betere eindresultaten bij nul kosten voor VLM-verwerking tijdens het indexeren.
2. HDNC-algoritme: Een zero-cost algoritme dat automatisch hiërarchische indexen bouwt op basis van de inherente nummering van technische tekeningen. Dit presteert zelfs beter dan handmatig gegenereerde metadata door VLM's.
3. Inzicht in tekstkwaliteit: Het ontdekken dat het fusioneren van tekst met de index diametraal tegenovergestelde effecten heeft afhankelijk van het documenttype (positief voor vector PDF's, negatief voor slechte scans).
4. Grootschalige vergelijking: De eerste uitgebreide evaluatie van engineering-document RAG, inclusief een vergelijking met de state-of-the-art ColPali (ICLR 2025).

4. Resultaten

De methoden werden getest op drie datasets: Bridge-engineeringtekeningen (1.323 vragen), een Staalcatalogus (186 vragen) en CircuitVQA (9.315 vragen).

• Retrieval-prestaties:

  • Bridge Dataset: DVI bereikte een PageR@3 van 68,0%, vergeleken met slechts 20,1% voor ColPali en 30,7% voor traditionele PI-embedding. Dit bewijst dat embedding-retrieval structureel faalt bij homogene technische documenten.
  • Steel Catalog: DVI (alleen TOC) bereikte 65,6% PageR@3, terwijl PI-OCR slechts 23,1% haalde.
  • CircuitVQA: DVI behaalde 31,2% ImgR@3 tegenover 0,7% voor PI.

• End-to-End Vraag-antwoord (QA) Nauwkeurigheid:

  • Bridge: DVI 65,6% vs. PI 24,3% (+41,3 procentpunten).
  • Steel: DVI 30,6% vs. PI 16,1% (+14,5 procentpunten).

• Bottleneck-analyse:

  • De conversiegraad van het VLM (als de juiste pagina al gevonden is) is extreem hoog (>93% voor beide methoden).
  • De echte bottleneck ligt dus volledig bij de retrieval, niet bij het begrip van het VLM.

5. Betekenis en Conclusie

Dit paper toont aan dat voor visueel dichte technische documenten de traditionele aanpak van "alles eerst begrijpen en indexeren" contraproductief is. De kernboodschap is dat investeren in betere retrieval (lokalisatie) effectiever is dan investeren in betere VLM-comprehensie.

Door gebruik te maken van de inherente structuur van engineering-documenten (via HDNC) en het uitstellen van visuele analyse tot het moment van de vraag, bereikt DVI aanzienlijk betere resultaten met lagere kosten. De bevinding dat embedding-retrieval systematisch faalt bij homogene technische tekeningen, is een cruciaal inzicht voor de toekomst van RAG-systemen in industriële domeinen. De aanpak is schaalbaar, kostenefficiënt en biedt een robuust alternatief voor bestaande multimodale RAG-methoden.