Technische Samenvatting: Post-hoc Selectieve Modale Escalatie voor Kostenbewuste Multimodale RAG

1. Probleemstelling

Multimodale Retrieval-Augmented Generation (RAG) systemen moeten Large Language Models (LLM's) funderen in heterogene bewijslast (tekst, tabellen, afbeeldingen). Een fundamentele uitdaging bij implementatie is de kostenasymmetrie tussen modaliteiten: het verwerken van tekst en tabellen is computationeel goedkoop, terwijl het verwerken van afbeeldingen dure Vision-Language Models (VLM's) vereist, wat hoge latentie en rekenkosten met zich meebrengt.

Huidige adaptieve systemen maken modale beslissingen doorgaans pre-retrieval (vóór de bewijslast wordt gelezen of een antwoord wordt opgesteld). Deze systemen gebruiken een vraag-geconditioneerde voorspeller om te beslissen of een VLM moet worden aangeroepen op basis van de schijnbare visuele relevantie van een vraag. De auteurs stellen dat dit het verkeerde beslissingspunt is. Zij betogen dat modale relevantie niet gelijkstaat aan modale utiliteit: een vraag kan topisch relevant zijn voor een afbeelding (relevantie), maar nog steeds volledig beantwoordbaar zijn met enkel tekst en tabellen (utiliteit). Pre-retrieval routers hebben daarom de neiging tot "over-escalatie": ze betalen voor visuele verwerking bij vragen die dat strikt genomen niet nodig hebben, terwijl ze potentieel gevallen missen waarbij visuele aanwijzingen subtiel maar noodzakelijk zijn.

2. Methodologie: Post-hoc Selectieve Modale Escalatie

Het paper stelt een raamwerk voor dat de modale beslissing uitstelt tot na een goedkope poging om de vraag te beantwoorden. Het systeem werkt in drie stadia:

A. Goedkope Conceptgeneratie (Draft Generation)

Het systeem probeert eerst de vraag te beantwoorden met enkel een tekst- en tabelcontext ($C_{tt}$). Dit produceert een conceptantwoord ($a_{tt}$) tegen lage computationele kosten.

B. Modale-Gap Verificatie

Een verifieerder inspecteert de tuple $(query, draft, evidence)$. In tegenstelling tot standaard toereikendheidscontroles die een binair "onvoldoende" signaal afgeven, bepaalt deze verifieerder de modale kloof (evidence gap) aan een specifieke modaliteit toe. Specifiek bepaalt het of de ontbrekende bewijslast die nodig is om het conceptantwoord te corrigeren of te valideren van visuele aard is.

• Cruciaal onderscheid: De verifieerder conditioneert op het conceptantwoord, niet alleen op de vraag. Als het conceptantwoord correct is op basis van tekst/tabellen, accepteert de verifieerder dit, waardoor een visuele call wordt vermeden, zelfs als de vraag visueel relevant is.

C. Gecalibreerde Value-of-Escalation Router

Om de afweging tussen nauwkeurigheid en kosten te optimaliseren, maakt het systeem gebruik van een gecalibreerde router in plaats van een eenvoudige binaire verifieerder.

• Mechanisme: De router leert gekalibreerde schattingen van juistheid voor twee acties: $\hat{p}_{KEEP}$ (nauwkeurigheid bij blijven met tekst/tabellen) en $\hat{p}_{ESC}$ (nauwkeurigheid bij escalatie naar VLM).
• Beslisregel: Escalatie vindt alleen plaats wanneer de verwachte winst in nauwkeurigheid een drempelwaarde $\tau$ overschrijdt:
  $$\hat{p}_{ESC}(q) - \hat{p}_{KEEP}(q) \geq \tau$$
• Kenmerken: Het model gebruikt post-draft signalen (bijv. onthouding in het conceptantwoord, lengte van het conceptantwoord, stem van de verifieerder, aantal beeldkandidaten), maar sluit gold-annotaties uit om datalekken te voorkomen.
• Resultaat: Dit stelt het systeem in staat om een nauwkeurigheid-escalatie-front te traceren, waardoor operators een specifiek werkpunt (budget) kunnen selecteren dat de nauwkeurigheid maximaliseert voor een gegeven visuele kost.

3. Belangrijkste Bijdragen

De Modale Relevantie–Utiliteit Kloof

Door middel van een oracle headroom analyse op de MultiModalQA dataset, tonen de auteurs aan dat:

• Een tekst+tabel pijplijn ~35,1% van de vragen correct beantwoordt.
• Een "Always-on VLM" pijplijn 44,6% bereikt, maar tegen 100% visuele kosten.
• Een Oracle (die precies weet welke vragen een afbeelding nodig hebben) 43,0% nauwkeurigheid bereikt terwijl hij slechts op 39% van de vragen escaleert.
• Dit impliceert dat ~61% van de vragen met geannoteerde afbeeldingen "modaal verzadigd" zijn (beantwoordbaar zonder afbeeldingen). Pre-relevance routers verspillen middelen aan deze verzadigde vragen.

Post-hoc Selectieve Escalatie

Het paper introduceert een methode die:

1. Eerst goedkoop antwoordt.
2. De bewijskloof lokaliseert tot de beeld-modaliteit via een verifieerder.
3. Escaleert naar VLM-bewijs waar de kloof daadwerkelijk visueel is.
4. Een gekalibreerd waardemodel gebruikt om te beslissen of de winst de kosten rechtvaardigt, wat een afstembaar nauwkeurigheid-kost front blootlegt.

Empirische Validatie

Onder een strikt, gematcht-budget, multi-seed held-out protocol op MultiModalQA:

• Prestaties: De post-hoc router presteert beter dan een versterkte pre-retrieval baseline (VOILA-stijl) over diverse escalatiebudgetten. Bijvoorbeeld, bij een escalatiebudget van 45%, bereikt de post-hoc methode 0,442 nauwkeurigheid versus 0,431 voor de pre-retrieval baseline.
• Nabijheid van Oracle: De methode benadert de prestaties van de modale oracle (0,430 bij 39% escalatie) met behulp van enkel geleerde signalen, terwijl zij aanzienlijk minder visuele calls uitvoert dan always-on VLMs.
• Externe Validiteit: Op WebQA, waar de relevantie-utiliteit kloof klein is (modaliteiten zijn disjoint), convergeert de post-hoc methode met de pre-retrieval baselines, wat bevestigt dat het nauwkeurigheidsvoordeel schaalt met de grootte van de relevantie-utiliteit kloof.

4. Kosten- en Latentieanalyse

Het paper rapporteert eerlijke online kosten:

• Overhead: De post-hoc methode vereist een extra 72B conceptgeneratie en een verifieerder-call per vraag (ongeveer 2,45 calls/vraag bij 45% escalatie) vergeleken met 1 call voor baselines.
• Latentie: End-to-end latentie is ~4,49s (gedomineerd door de verifieerder), vergeleken met ~0,91s voor tekst-alleen en ~1,40s voor always-on VLM.
• Afweging: De auteurs merken op dat hoewel de latentie hoger is, de methode superieur is voor scenario's die prioriteit geven aan gematchte-budget nauwkeurigheid of reductie van visuele calls. Zij suggereren dat toekomstig werk de latentie kan verlagen door de verifieerder aan een kleiner model te delegeren.

5. Betekenis en Claims

Het paper claimt de routing-signaal hiërarchie te hebben uitgebreid die in de RAG-literatuur is vastgesteld (waarbij beslissingen geconditioneerd op gedrafteerde antwoorden of specifieke redeneerstappen beter presteren dan query-alleen beslissingen) naar een derde as: modaliteit.

• Kernstelling: Modale beslissingen moeten worden genomen na een goedkope poging, niet ervoor.
• Verenigend Principe: De auteurs stellen een enkelvoudig principe voor van kostenbewuste selectieve escalatie die van toepassing is op retrieval-diepte, redeneerstappen en modaliteit: Antwoord goedkoop, verifieer tegen bewijslast, en escaleer selectief alleen waar het zichzelf terugbetaalt.
• Beperkingen: De auteurs erkennen dat de methode afhankelijk is van vooraf berekende visuele sidecars (offline VLM kosten) en mogelijk niet optimaal is als bijna alle vragen visie vereisen. Ze merken ook de afhankelijkheid op van offline counterfactual logs voor het trainen van de router.

Samenvattend demonstreert het paper dat het scheiden van modale relevantie van modale utiliteit via post-hoc verificatie en gekalibreerde routing, Multimodale RAG-systemen in staat stelt om nabij-oracle nauwkeurigheid te bereiken met een aanzienlijk verminderde visuele inferentie-kost.