Technische Samenvatting: Een LMM voor Precieze Gronding van Elementen in Documenten

Probleemstelling

Visuele gronding—het vermogen van Large Multimodal Models (LMM's) om specifieke visuele regio's te lokaliseren op basis van natuurlijke taalinstructies—is cruciaal voor documentbegrip, diepgaand onderzoek en foutdetectie. Huidige LMM's worstelen echter met precieze gronding in tekstrijke documentafbeeldingen. In tegenstelling tot natuurlijke afbeeldingen presenteren documenten een hoge elementendichtheid, rijke template-diversiteit en complexe lay-outs. Huidige modellen falen vaak in het nauwkeurig lokaliseren van kritieke elementen (woorden, zinnen, regels), wat leidt tot "gehallucineerde" redeneringen waarbij het model zich concentreert op ongerelateerde regio's. Dit gebrek belemmert visuele gegronde redenering (visual grounded reasoning), een proces waarbij een LMM specifieke ruimtelijke coördinaten als bewijs moet aanvoeren voor zijn tekstuele redenering. Bovendien missen bestaande datasets de granulariteit en diversiteit (bijv. synthetische handgeschreven documenten) die vereist zijn om modellen voor deze uitdagende scenario's te trainen, en bestaat er geen volledige trainingspipeline die gronding en redenering gezamenlijk optimaliseert via reinforcement learning (RL).

Methodologie

Het artikel introduceert PreciseDoc, een LMM ontworpen voor precieze elementgronding, en PreciseDoc-Reasoner, de geoptimaliseerde variant voor visuele gegronde redenering. De methodologie is gestructureerd in drie kerncomponenten:

1. Hoogwaardige Datageneratie-pipelines

Om het tekort aan hoogwaardige grondingsdata aan te pakken, hebben de auteurs twee geautomatiseerde documentgeneratie-engines geconstrueerd:

• LaTeX-gebaseerde Engine: Compileert LaTeX-broncodes om native PDF's te generen. Tijdens de compilatie wordt een aangepaste opdracht (\marktext) ingevoegd om precieze ruimtelijke coördinaten (geconverteerd van punten naar pixels) te vangen voor de omwikkelde tekst. Deze engine ondersteunt de massaproductie van diverse cv-templates en andere documenttypen.
• Handgeschreven Data Engine: Synthetiseert handgeschreven documenten met camera-effecten (bijv. filters, degradatie) om realistische scanning te simuleren. Het assembleert individuele karakter-samples uit de NIST-dataset om coherente tekst te vormen, waarbij ruimtes worden vrijgehouden voor waarden gegenereerd door een VLM. Deze pipeline adresseert het gebrek aan datasets voor het gronding van handgeschreven documenten.
• Taakconstructie: Deze engines genereren gekoppelde documenten en metadata voor twee taken: Pure Grounding (het lokaliseren van specifieke zinnen of elementen) en Informatie-extractie (het lokaliseren van groepen elementen, zoals "Werkervaring" in een CV).

2. Trainingspipeline: Van Cold-Start naar Reinforcement Learning

De training van PreciseDoc-Reasoner volgt een tweestaps-paradigma:

• Fase 1: Cold-Start Initialisatie (SFT): Het model wordt gefinetuned op een gecureerde dataset van 27K VQA-voorbeelden (afgeleid van BBox-DocVQA en DOGR). Deze dataset bevat redeneertrajecten waarbij het model wordt geïnstrueerd om bounding box-coördinaten (op zowel token- als elementniveau) te generen naast zijn denkproces en definitieve antwoord. De data wordt geconstrueerd door token-niveau boxes uit te breiden naar element-niveau boxes en inhoud te annoteren om ervoor te zorgen dat de VLM de boxes actief gebruikt voor redenering in plaats van ze als aanvullende tags te behandelen.
• Fase 2: Reinforcement Learning (RL): Het model ondergaat gezamenlijke RL-training om zowel de redeneernauwkeurigheid als de intermediaire gronding te superviseren.
  • Beloningsontwerp: De totale beloning $R$ combineert een antwoordnauwkeurigheidsbeloning ($R_{acc}$) en een duale Intersection-over-Union (IoU) beloning ($R_{IoU}$).
  • Hongaarse Algoritme voor Matching: In tegenstelling tot eerdere methoden die gebruikmaken van many-to-many mapping (wat metrieken kan opblazen), gebruiken de auteurs het Hongaarse Algoritme om een optimale één-op-één toewijzing te vestigen tussen voorspelde en grondwaarheid (ground-truth) boxes. Dit maximaliseert de totale IoU terwijl strikte mapping-restricties worden gewaarborgd.
  • Lengtestraf: Een strikte straf wordt toegepast op niet-gematchte gegenereerde boxes om te voorkomen dat het model redundante of overmatige bounding boxes produceert om de IoU-score te "bespelen".

Belangrijkste Bijdragen

1. Documentgeneratie-engines: De introductie van twee pipelines die in staat zijn tot massaproductie van hoogwaardige documenten met gekoppelde, fijnmazige ruimtelijke metadata, inclusief synthetische handgeschreven documenten met camera-effecten.
2. PreciseDoc Model: Een LMM die State-of-the-Art (SOTA) prestaties bereikt in documenttekstgronding, in staat tot real-world functies zoals het lokaliseren van persoonlijke informatie in CV's, waarmee het bestaande gespecialiseerde modellen overtreft.
3. PreciseDoc-Reasoner & Trainingsparadigma: De eerste complete trainingspipeline (van SFT naar RL) voor visuele gegronde redenering in documenten. Het introduceert een nieuw RL-beloningsmechanisme met behulp van het Hongaarse Algoritme voor één-op-één box-matching en een lengtestraf om precieze, niet-redundante bewijslokalisatie te garanderen.

Experimentele Resultaten

De voorgestelde modellen werden geëvalueerd op meerdere benchmarks:

• DocLocal4K (Tekstgronding): PreciseDoc behaalde een algehele nauwkeurigheid van 81,79%, waarmee het sterke baselines zoals Doubao-Seed-2.0-Pro (54,45%) en DocOwl-1.5 (80,38%) overtreft. Het demonstreerde superieure prestaties op elementen met een kleine granulariteit (woorden, zinnen, regels).
• TRIG (Woord-niveau Gegronde Redenering): PreciseDoc-Reasoner behaalde een gemiddelde IoU van 46,42%, waarmee het alle andere open-source en propriëtaire modellen (bijv. Qwen3.5-27B met 20,03%, Gemini-3-Pro met 30,26%) aanzienlijk overtreft. Het toonde met name kracht in het begrijpen van grafieken, waarbij het de prestaties van het op één na beste model verdubbelde.
• BBox-DocVQA (Element-niveau Gegronde Redenering): Het model behaalde een grondingsnauwkeurigheid van 51,16% en een antwoordnauwkeurigheid van 75,97%. Het presteerde beter dan alle genoemde open-source LMM's (inclusclusief de 235B parameter Qwen3VL) en rangschikte als tweede na Gemini-3-Flash onder de propriëtaire modellen.
• Traditionele Benchmarks: Op DocVQA, ChartQA en TextVQA demonstreerde PreciseDoc-Reasoner concurrerende prestaties, met resultaten die vergelijkbaar zijn met of beter zijn dan grotere modellen zoals Qwen3.5-9B, ondanks het feit dat het niet is getraind op massale algemene VQA-datasets.

Betekenis en Claims

Het artikel claimt dat PreciseDoc er succesvol in is geslaagd de kloof tussen documentbegrip en precieze ruimtelijke lokalisatie te overbruggen. Door uitdagende, hoogwaardige trainingsdata te construeren en een rigoureus RL-trainingsparadigma met één-op-één box-matching te introduceren, laten de auteurs zien dat LMM's effectief getraind kunnen worden om verifieerbaar visueel bewijs te leveren. Het werk benadrukt dat nauwkeurige gronding niet louter een voorverwerkingsstap is, maar een kritiek onderdeel van het redeneerproces dat hallucinaties voorkomt en interpreteerbaarheid verhoogt. De auteurs positioneren hun aanpak als een fundamentele stap naar meer betrouwbare, op bewijs gebaseerde documentanalyse-systemen, waarbij zij opmerken dat de voorgestelde methoden en datageneratie-pipelines een schaalbare oplossing bieden voor toekomstige vooruitgang in document AI.