Technische Samenvatting: RAGOCR

Probleemstelling

Retrieval-Augmented Generation (RAG) is essentieel geworden voor kennisintensieve vraagbeantwoording, maar het schalen van RAG-pipelines staat voor een kritieke bottleneck: de buitensporige computationele kosten van het verwerken van uitgebreide opgehaalde contexten. Naarmate het volume van de opgehaalde documenten groeit, hebben Large Language Models (LLM's) moeite om aandacht te besteden aan cruciale informatie die begraven ligt in lange inputs, wat leidt tot een verslechterde kwaliteit van de generatie.

Bestaande compressiemethoden kampen met een fundamentele afruil:

• Harde Compressie: Methoden die online op een query-bewuste wijze opereren (bijv. token pruning, zinsextractie) bereiken slechts bescheiden compressieratio's en vereisen vaak het finetunen van het generatieve model.
• Zachte Compressie: Methoden die hogere compressieratio's behalen (bijv. op embeddings gebaseerd) vertrouwen op kostbare offline codering die volledig agnostisch is voor de input-query.

Bovendien suggereert recent werk dat visuele tokens een aanzienlijk hogere informatiedichtheid bevatten dan tekstuele tokens. Het toepassen van visuele rendering op RAG zonder een query-bewuste strategie introduceert echter een nieuwe uitdaging: opgehaalde documenten variëren drastisch in relevantie. Het toepassen van een uniforme resolutie voor alle gerenderde afbeeldingen leidt ofwel tot verspilde token-uitgaven aan marginaal relevante passages, ofwel tot catastrofaal informatieverlies bij zeer relevante passages. Er is een gebrek aan een query-bewuste allocatiestrategie die de visuele resolutie dynamisch toewijst op basis van de semantische relevantie tussen elk document en de query.

Methodologie: RAGOCR

De auteurs stellen RAGOCR voor (Retrieval-Augmented Generation via Optical Character Rendering), een framework dat opgehaalde tekstdocumenten comprimeert tot compacte visuele representaties die geconditioneerd zijn op de input-query. De pipeline werkt in drie stadia:

1. Renderingsfase

Opgehaalde tekstdocumenten worden omgezet in afbeeldingen via tekstrasterisatie. Dit transformeert de eendimensionale token-sequentie in een tweedimensionale visuele representatie met een inherent hogere informatiedichtheid. Het renderingsproces is deterministisch en geparametriseerd door lettergrootte, maximale canvasbreedte en padding. Deze afbeeldingen kunnen offline worden voorbereid, wat een verwaarloosbare overhead bij inferentie introduceert.

2. Optische Compressiefase (De Kerninnovatie)

Een query-bewuste compressor onderzoekt alle gerenderde afbeeldingen gezamenlijk met de input-query en voorspelt een compressiefactor per afbeelding.

• Mechanisme: De compressor is een lichtgewicht vision-language model (specifiek Qwen3-VL-2B) getraind met Group Relative Policy Optimization (GRPO).
• Adaptieve Allocatie: De policy leert om een lagere compressie (hogere resolutie) toe te wijzen aan afbeeldingen die overeenkomen met zeer relevante documenten om fijnmazige details te behouden, terwijl minder relevante documenten agressiever wordt verkleind.
• Trainingsdoel: De GRPO-beloningsfunctie is een composiet van drie termen:
  1. Taakbeloning ($r_{task}$): Binaire beloning gebaseerd op de vraag of de downstream-generator het juiste antwoord produceert met behulp van de gecomprimeerde afbeeldingen.
  2. Compressiebeloning ($r_{comp}$): Moedigt agressieve compressie aan (het maximaliseren van de som van log-compressiefactoren), maar wordt alleen geactiveerd wanneer de taakbeloning positief is, om te voorkomen dat het model nauwkeurigheid opoffert voor compressie.
  3. Format-beloning ($r_{format}$): Zorgt ervoor dat het model een geldige gestructureerde template voor de compressiefactoren produceert.

3. Inferentiefase

Tijdens inferentie verwerkt de compressor de query en alle gerenderde afbeeldingen in één enkele forward pass om compressiefactoren te genereren. Elke afbeelding wordt vergroot met een factor $1/\sqrt{c_i}$ (waarbij $c_i$ de compressiefactor is), waardoor het aantal visuele tokens proportioneel wordt verminderd. De gecomprimeerde set afbeeldingen wordt vervolgens gevoed aan een vision-language generator om het uiteindelijke antwoord te produceren.

Emergente Reranking-capaciteit

Een belangrijke bevinding is dat de compressieratio's die door de compressor worden geleerd, dienen als een verrassend effectieve proxy voor passage-relevantie. Omdat de compressor lagere compressieratio's toewijst aan meer relevante passages, codeert de inverse van de compressiefactor ($1/c_i$) van nature een relevantie-ranking. Dit stelt de compressor in staat om te fungeren als een reranker zonder enige aanvullende trainingsdoelstelling of module.

Belangrijkste Bijdragen

1. RAGOCR-framework: Een nieuw systeem dat optische rendering combineert met dynamische, query-bewuste resolutie-allocatie om tekstgebaseerde RAG te comprimeren, waarbij een balans wordt gevonden tussen token-efficiëntie en antwoordkwaliteit.
2. GRPO-getrainde Compressor: Ontwikkeling van een lichtgewicht compressor getraind via GRPO die adaptief compressieratio's toewijst op basis van query-relevantie, waardoor de noodzaak voor aparte finetuning van het generatieve model wordt vermeden.
3. Verenigde Compressie-Reranking: De ontdekking dat optische compressie en relevantie-estimatie twee zijden van dezelfde medaille zijn. De compressor codeert inherent passage-relevantie, waardoor het beter presteert dan toegewijde reranking-modellen (zoals Qwen3-Reranker-4B) en fungeert als een verenigd compressie-reranker systeem.
4. Generaliseerbaarheid: Demonstratie dat de aanpak werkt over diverse kennisbronnen, inclusief vrije tekstpassages, kennisgrafen en visueel rijke, op afbeeldingen gebaseerde documenten (bijv. slide decks).

Experimentele Resultaten

Experimenten werden uitgevoerd op vijf kennisintensieve QA-benchmarks (MedQA, MedMCQA, PubMedQA, BioASQ, MMLU-Med) met gebruik van de MedOmniKB retrieval corpus.

• Prestaties vs. Naïeve RAG: RAGOCR overtreft naïeve RAG met meer dan 15% in nauwkeurigheid (61,47% vs. 44,63% gemiddeld) terwijl het slechts één achtste van het aantal input-tokens vereist (ongeveer 87% reductie in tokenaantal).
• Vergelijking met Baselines: RAGOCR presteert consistent beter dan zowel harde compressiemethoden (LongLLMLingua, Provence, EXIT, FaviComp) als zachte compressiemethoden (OSCAR) bij variërende retrieval-dieptes.
  • Het presteert bijna 3 punten beter in nauwkeurigheid dan de beste tekstgebaseerde compressie-baseline (Provence) terwijl het minder tokens gebruikt.
  • Het presteert beter dan toegewijde rerankers (Qwen3-Reranker-4B) wanneer deze als standalone reranker worden gebruikt (59,15% vs. 54,52%).
• Multimodale Evaluatie: Op de SlideVQA-benchmark (20-pagina tellende slide decks) behaalde RAGOCR de beste prestaties op het gebied van Exact Match, F1-score en ANLS-metrieken, wat het vermogen aantoont om documenten met verweven tekst en visuele elementen te verwerken.
• Ablatie-studies:
  • Uniform vs. Adaptief: Statische OCR-compressie (uniforme resolutie) degradeerde de prestaties vergeleken met volledige resolutie Visual RAG, wat bevestigt dat query-bewuste adaptatie essentieel is.
  • Pipeline Integratie: Het combineren van RAGOCR met een tekstgebaseerde reranker (R&R) leverde de hoogste nauwkeurigheid op (63,60%), wat suggereert dat tekstgebaseerde reranking en optische compressie complementaire aspecten van documentutiliteit vastleggen.

Betekenis en Claims

Het artikel claimt dat RAGOCR de kloof overbrugt tussen de hoge informatiedichtheid van visuele tokens en de noodzaak voor query-bewust contextbeheer in RAG. Door tekst als afbeeldingen te renderen en deze adaptief te comprimeren, stelt het framework modellen in staat om meer kennis te absorberen binnen vaste context-windows of om dezelfde informatie over te dragen met aanzienlijk minder tokens.

Cruciaal is dat de auteurs wijzen op de vereniging van compressie en ranking. Het feit dat een enkel model tegelijkertijd inhoud kan comprimeren en relevantie kan ranken, suggereert een nieuw paradigma waarbij "optische compressie en relevantie-estimatie twee zijden van dezelfde medaille zijn." Dit wijst naar een toekomst waarin retrieval-augmented systemen een enkel lichtgewicht model kunnen gebruiken om retrieval-filtering, contextcompressie en relevantie-estimatie te beheren, wat de computationele overhead van huidige RAG-pipelines aanzienlijk vermindert.