Technische Samenvatting: MM-BizRAG

Probleemstelling

Recente ontwikkelingen in Multimodale Retrieval-Augmented Generation (MM-RAG) geven steeds vaker de voorkeur aan "minimal parsing"-strategieën. Deze benaderingen vertrouwen op pagina-niveau afbeeldingen om retriever-embeddings te genereren en dienen als directe input voor Vision-Language Models (VLM's) voor antwoordgeneratie. Hoewel efficiënt, stellen de auteurs dat deze trend de expliciete afhandeling van rijke, gestructureerde informatie die inherent is aan complexe enterprise-documenten (bijv. financiële rapporten, juridische documenten, slide decks) verwaarloost.

Huidige state-of-the-art methoden delegeren het begrip van documentstructuur vaak naar vooraf getrainde embeddings of VLM's, uitgaande van de aanname dat deze modellen lay-out en semantische relaties impliciet kunnen vatten. Echter, het artikel stelt dat vooraf getrainde modellen moeite hebben met het impliciet vatten van de gestructureerde informatie in complexe enterprise-documenten, die vaak aanzienlijk verschillen van hun trainingsdata. Bovendien ontbreekt het bestaande pipelines aan standaardisatie in documentrepresentatie en ingestie-ontwerp, wat leidt tot suboptimale prestaties op heterogene enterprise-data.

Methodologie: MM-BizRAG

MM-BizRAG is een multimodale RAG-framework ontworpen om documentstructuur proactief te extraheren en te representeren, in plaats van te vertrouwen op impliciet begrip. Het systeem werkt volgens een kernpremiss: de documentstructuur moet de ingestie-strategie dicteren.

1. Documentstructuur-bewuste Splitsing

De pipeline begint met het classificeren van documenten in twee categorieën met behulp van een LLM-gebaseerde classifier (of bestandsmetadata):

• Verticale Documenten ($D_V$): Rapporten, filings en tekstzware documenten met een lineaire leesvolgorde.
• Horizontale Documenten ($D_H$): Slide decks en presentaties waarbij de inhoud ruimtelijk is gerangschikt en de betekenis vaak holistisch is op paginaniveau.

2. Oriëntatie-specifieke Ingestie-pipelines

Op basis van de classificatie worden documenten door verschillende pipelines gerouteerd:

• Voor Verticale Documenten ($D_V$):

  • Lay-out-bewuste Parsing: Gebruikt tools zoals Docling om uitgelijnde tekstblokken, tabellen en intra-pagina afbeeldingen te extraheren.
  • Artefact Transformatie:
    • Tekst: Geliniariseerd met unieke placeholders voor tabellen en afbeeldingen om de leesvolgorde te behouden.
    • Tabellen: Omgezet naar Markdown en door een LLM behandeld om rij-voor-rij beschrijvingen te genereren.
    • Afbeeldingen: Verwerkt door een VLM om beschrijvingen te genereren, waarbij oninformatieve elementen (bijv. logo's) worden weggefilterd.
  • Positionele Uitlijning: Een uniforme LLM-gestuurde pipeline gebruikt placeholders om ervoor te zorgen dat tabellen en afbeeldingen zijn uitgelijnd met hun bijbehorende tekstposities.

• Voor Horizontale Documenten ($D_H$):

  • Holistische Representatie: Expliciete lay-out parsing wordt als ineffectief beschouwd voor slides. In plaats daarvan behandelt het systeem elke slide als een holistische semantische eenheid.
  • Pagina-niveau Verwerking: Een VLM genereert een uitgebreide tekstuele beschrijving ($\delta$) die alle semantische inhoud (tekst, visuals, relaties) voor de gehele pagina vastlegt.
  • Representatie: De eenheid is een paar bestaande uit de pagina-afbeelding en de gegenereerde beschrijving.

3. Adaptieve Retrieval en Generatie

Het framework introduceert drie varianten (TCTE, PCMHE, TCMIE) die verschillen in hoe ze doorzoekbare chunks en embeddings construeren, maar die een gemeenschappelijke inference stack delen:

• Ontkoppelde Representaties: Een cruciaal architecturaal onderscheid is de ontkoppeling van de representaties die worden gebruikt voor retrieval van de representaties die worden gebruikt voor generatie.
  • Retrieval: Chunks worden ge-embedded (met behulp van tekst of multimodale modellen) en geïndexeerd.
  • Generatie (Inference-Time Assemblage): Geëxtraheerde chunks worden dynamisch samengesteld tot een multimodale context. Voor verticale documenten houdt dit in dat tabel-markdown en afbeelding-artefacten terug worden geïnjecteerd in tekst-chunks op hun oorspronkelijke placeholder-posities. Voor horizontale documenten worden pagina-afbeeldingen samengevoegd met hun beschrijvingen.
• Geen Finetuning: Het systeem is ontworpen om te werken met out-of-the-box LLM's en encoder-modellen, zonder dat model-finetuning vereist is.

4. Evaluatiemetriek: FastRAGEval

De auteurs introduceren FastRAGEval (FRE), een single-call LLM Judge metriek voor fijnmazige generatieve recall. In tegenstelling tot RAGChecker, die antwoorden uiteentrekt in atomaire claims via twee opeenvolgende LLM-calls, berekent FRE precisie, recall en F1 in één enkele pass. Dit vermindert de kosten en latentie met de helft terwijl het een sterkere alignment met menselijke oordelen bereikt.

Belangrijkste Bijdragen

1. MM-RAG Framework: Een nieuw systeem dat documenten dynamisch routeert door oriëntatie-specifieke ingestie-pipelines (lay-out-bewust voor verticaal, holistisch voor horizontaal) om cross-modale alignment te bewaren.
2. Inference-Time Multimodale Assemblage: Een architecturale innovatie die retrieval-indexering ontkoppelt van de generatieve context, waardoor rijkere, gegronde antwoorden mogelijk zijn zonder de retrieval-index op te blazen.
3. Gecontroleerde Variantstudie: Een systematische evaluatie van drie MM-RAG varianten (TCTE, PCMHE, TCMIE) op een grote interne enterprise dataset en publieke benchmarks (SLIDEVQA, FINRAGBENCH-V), waarbij de impact van ingestie- en embedding-strategieën wordt geïsoleerd.
4. FastRAGEval (FRE): Een kostenefficiënte, single-call evaluatiemetriek die beter presteert dan bestaande multi-call metrieken wat betreft de alignment met menselijke oordelen.

Resultaten

Het artikel evalueert MM-RAG tegen state-of-the-art vision-gecentreerde baselines (ColPali, VisRAG) en een tekst-alleen RAG-baseline over drie datasets:

• SLIDEVQA: MM-RAG varianten presteerden beter dan ColPali en VisRAG met 3,6–11,1% op FRE-Recall.
• FINRAGBENCH-V: Het framework liet substantiële winst zien en presteerde tot wel 32 procentpunten beter dan vision-gecentreerde baselines. De auteurs merken op dat vision-only pipelines significant degraderen op dichte, verticaal gestructureerde rapporten, terwijl de lay-out-bewuste parsing van MM-RAG uitblinkt.
• Interne Enterprise Dataset: MM-RAG presteerde consistent beter dan de tekst-alleen baseline, met name op vragen die analyse van tabellen of afbeeldingen vereisen, waar de tekst-alleen baseline duidelijke degradatie vertoonde.
• Efficiëntie: De TCTE (token-level chunking, text embedding) variant wordt uitgelicht als de aanbevolen productieconfiguratie, die een recall bereikt binnen 1–3% van de beste configuratie, terwijl deze ongeveer de helft van de latentie heeft van de multimodale embedding varianten (PCMHE).

Betekenis en Claims

Het artikel claimt de waarde van direct, structuur-bewust documentbegrip in multimodale RAG te herstellen. Het stelt dat voor enterprise-toepassingen het uitsluitend vertrouwen op pagina-niveau afbeeldingen en het impliciete structurele begrip door VLM's onvoldoende is voor complexe, heterogene documenten.

De auteurs beweren dat MM-RAG een praktisch blauwdruk biedt voor het harmoniseren van parsing-gebaseerde en embedding-gebaseerde benaderingen. Door de documentstructuur expliciet te behandelen en retrieval te ontkoppelen van generatie, bereikt het systeem een hogere kwaliteit end-to-end prestaties zonder de noodzaak van finetuning. De introductie van FastRAGEval wordt ook gepresenteerd als een efficiëntere en menselijker gealigneerde methode voor het evalueren van generatieve recall in RAG-systemen.

Het artikel blijft bescheiden over de beperkingen en erkent dat publieke benchmarks (zoals SLIDEVQA) de complexiteit van industrie-waardige presentaties mogelijk niet volledig weerspiegelen en dat de evaluatie op FINRAGBENCH-V beperkt was tot een subset van Engelse PDF's vanwege computationele beperkingen. Daarnaast kan de propriëtaire enterprise dataset die gebruikt is voor de primaire evaluatie op dit moment niet worden vrijgegeven.