Technische Samenvatting: Doc-CoB

Probleemstelling

Documentbegrip omvat het uitvoeren van vragenbeantwoording (QA) en informatieverzameling (IE) over documentafbeeldingen, die worden gekenmerkt door een hoge informatiedichtheid en complexe lay-outs. Bestaande Multimodale Grootte Taalmodellen (MLLM's) hanteren doorgaans een "één-doorloop"-strategie, waarbij de volledige afbeelding uniform wordt verwerkt. Deze aanpak gaat impliciet uit van het feit dat alle regio's even belangrijk zijn, wat er vaak toe leidt dat modellen worden misleid door redundante visuele informatie en antwoorden afleiden uit onjuiste regio's. Omgekeerd grijpen bestaande grof-naar-fijn strategieën in algemene visuele QA vaak terug op direct bijsnijden of inzoomen op specifieke regio's. Hoewel dit visuele redundantie vermindert, worden kritieke lay-outinformatie die uniek is voor documenten, zoals ruimtelijke relaties, relatieve positionering en inter-regionale afhankelijkheden, weggegooid, wat leidt tot falen bij lay-outgevoelige queries.

De kernuitdaging die wordt aangepakt, is hoe een grof-naar-fijn redeneringsparadigma voor documentbegrip kan worden gevolgd terwijl de globale lay-outcontext, die noodzakelijk is voor accurate inferentie, behouden blijft.

Methodologie: Doc-CoB

De auteurs stellen Doc-CoB (Chain-of-Boxes) voor, een kader dat MLLM's in staat stelt documentbegrip te realiseren via grof-naar-fijn, lay-outbewuste visuele redenering zonder de onderliggende modelarchitectuur te wijzigen. Het kader werkt in twee distincte fasen, waarbij visuele prompting wordt gebruikt om aandacht te sturen:

1. Fase 1: Selectie van Sleutelvakken

   • Een lay-outanalist ($\Lambda$) extrahert een reeks kandidaat-lay-outvakken ($B$) uit de documentafbeelding ($x_I$).
   • Elk vak krijgt een unieke ID en wordt over de afbeelding gelegd om een visueel gepromptte afbeelding ($X^S_1$) te creëren.
   • De MLLM ($f$) wordt geprompt om het subset van vak-IDs ($I_{key}$) te selecteren dat het meest relevant is voor de query ($Q$). Dit wordt geformuleerd als een meerkeuzevoorspelling over kandidaat-vakken.

2. Fase 2: Gefocust Beantwoorden

   • De geselecteerde sleutelvakken ($B_{key}$) worden gemarkeerd met rode randen op de originele afbeelding om een tweede visueel gepromptte afbeelding ($X^S_2$) te creëren.
   • Cruciaal is dat de hele documentafbeelding behouden blijft in plaats van bij te snijden. Dit behoudt de globale context en ruimtelijke relaties terwijl de relevante regio's worden benadrukt.
   • De MLLM genereert het definitieve antwoord ($A$) geconditioneerd op deze gemarkeerde afbeelding en de query.

Redeneertaken en Dataconstructie

Om dit paradigma te ondersteunen, introduceren de auteurs twee specifieke redeneertaken om het lay-out- en semantisch begrip van het model te verbeteren:

• Vakherkenning: Het model leert een specifiek visueel vak te koppelen aan de corresponderende ID.
• Vakredenering: Het model leert de semantische rol van een specifiek vak-ID te beschrijven bij het beantwoorden van een gegeven query.

Om deze vaardigheden te trainen, is een automatisch data-generatiepijplijn geconstrueerd met GPT-4o als linguïstische annotator en MinerU als visuele lay-outanalist. Deze pijplijn verwerkte negen bestaande documentdatasets (waaronder DocVQA, DeepForm, SROIE, FUNSD, enz.) om te genereren:

• 249.601 trainingsstalen voor het Doc-CoB-kader.
• 126.970 stalen voor Vakherkenning.
• 269.108 stalen voor Vakredenering.
  Deze stalen bevatten intermediaire visuele supervisie, waarbij expliciet "hulpzame" vakken (met bewijs) en "verwarrende" vakken (die lijken op de query maar onjuist zijn) worden gelabeld.

Kernbijdragen

1. Doc-CoB Kader: Een nieuw tweefasenparadigma dat grof-naar-fijn, lay-outbewuste visuele redenering integreert in MLLM's via visuele prompting, waarbij een evenwicht wordt gevonden tussen focus op sleutelregio's en behoud van globale context.
2. Redeneertaken & Dataset: De voorstellen van Vakherkenning- en Vakredeneringstaken, ondersteund door een grootschalige dataset van meer dan 249k stalen met intermediaire visuele supervisie, specifiek op maat gemaakt voor documentlay-outredenering.
3. Prestaties en Generalisatie: Uitgebreide experimenten tonen aan dat Doc-CoB de prestaties aanzienlijk verbetert op zeven benchmarks en vier verschillende MLLM-architecturen (variërend van 2B tot 40B parameters), inclusief modellen die niet specifiek zijn voorgeprogrammeerd voor documenten.

Experimentele Resultaten

Het artikel evalueert Doc-CoB op zeven benchmarks (DocVQA, DUDE, DeepForm, FUNSD, SROIE, VRDU-Ad, VRDU-RF) met behulp van vier MLLM's: InternVL2 (2B/8B), Qwen2.5-VL en DocOwl 1.5.

• Prestatiewinst: Doc-CoB verbetert consistent de prestaties over alle modellen en datasets. Opmerkelijk is dat het InternVL2-8B-CoB-model state-of-the-art resultaten bereikt op zes datasets en de veel grotere InternVL2-40B en de gesloten-bron GPT-4o verslaat op alle zeven benchmarks. Bijvoorbeeld, op DeepForm bereikt InternVL2-8B-CoB 80,06%, een aanzienlijke verbetering ten opzichte van de SFT-basislijn van 36,33%.
• Ablatiestudies:
  • Het verwijderen van het tweefasenparadigma (alleen de CoB-dataset gebruiken voor één-doorloop-inferentie) levert verbeteringen op, maar blijft inferieur aan de volledige tweefasenbenadering, wat de waarde van het redeneringsparadigma zelf bevestigt.
  • Het verwijderen van de specifieke redeneertaken vermindert de prestaties, wat aangeeft dat huidige MLLM's de intrinsieke capaciteit missen om het kader volledig te benutten zonder gerichte supervisie.
  • Het vervangen van de invoer van de hele afbeelding in Fase 2 door bijgesneden afbeeldingen leidt tot aanzienlijke prestatiedalingen (5–15 punten), wat de noodzaak bevestigt van het behoud van globale lay-outcontext.
• Efficiëntie: Ondanks het verwerken van twee afbeeldingen, staat Doc-CoB toe om lagere effectieve resolutie-instellingen te gebruiken, wat resulteert in een vergelijkbaar of lager totaal tokenverbruik dan standaardinferentie, terwijl een hogere nauwkeurigheid wordt bereikt.
• Robuustheid: De methode blijft effectief bij gebruik van verschillende lay-outanalisten (bijv. OCR+K-means, Marker) en toont sterke zero-shot generalisatie naar ongezette domeinen zoals infografieken en meerpagina-documenten.

Betekenis en Beperkingen

Het artikel stelt dat Doc-CoB aantoont dat expliciete, lay-outbewuste visuele redenering de documentbegripscapaciteiten in MLLM's aanzienlijk kan versterken zonder architecturale wijzigingen. Het benadrukt dat de combinatie van een grof-naar-fijn redeneringsparadigma en gerichte intermediaire supervisie cruciaal is voor het hanteren van de unieke uitdagingen van documentlay-outs.

Beperkingen erkend door de auteurs:

• Ruisaccumulatie: Hoewel data-generatiestrategieën ruis van lay-outanalyse onderdrukken, kan ruis tijdens de inferentie niet volledig worden geëlimineerd en kan deze zich over de fasen ophopen.
• Eén-rondeselectie: De huidige pijplijn voert slechts één ronde van vakselectie uit. De auteurs suggereren dat een zelfverificatiemechanisme voor iteratieve verfijning de robuustheid verder zou kunnen verbeteren.
• Granulariteit: Het kader adresseert redenering op lay-outniveau, maar lost geen intra-vak ambiguïteiten op (bijv. OCR-fouten of ambiguïteit binnen een geselecteerd vak), wat een bron van falen blijft.