Technische Samenvatting: Khondo – Een Multimodale Benchmark voor het Splitsen van Documentenpakketten van Bengaalse Formulieren

1. Probleemdefinitie

In overheids- en administratieve workflows worden documenten frequent verwerkt als "pakketten" — enkelvoudige bestanden die meerdere samengevoegde documenten (formulieren en ondersteunend materiaal) bevatten die mogelijk niet in hun oorspronkelijke volgorde verschijnen. Het herstellen van de constituerende documenten vereist drie taken: clustering (pagina's groeperen per brondocument), typering (het classificeren van documentdomeinen) en ordening (het reconstrueren van de oorspronkelijke paginasequentie).

Hoewel eerder werk zich heeft gericht op het splitsen van documenten, concentreren bestaande benchmarks zich primair op Engelse zakelijke documenten en vertrouwen zij op via OCR geëxtraheerde tekst. Dit laat een kritieke kloof voor laag-resource talen zoals het Bengaals, waarbij optische tekenherkenning (OCR) vaak onbetrouwbaar is vanwege de complexiteit van het schrift en legacy-lettertypen. Bovendien behandelt huidig onderzoek segmentatie van paginastromen voornamelijk als een grensdetectieprobleem uitgaande van sequentiële aankomst, in plaats van een reconstructieprobleem waarbij pagina's gehusseld of door elkaar gehusseld zijn.

2. Methodologie

2.1 De Khondo-dataset

De auteurs introduceren Khondo (Bengaals voor "splits"), de eerste multimodale benchmark voor het splitsen van documentenpakketten van Bengaalse overheidsformulieren.

• Databron: 423 authentieke formulieren verzameld van het nationale e-formulierenportaal over 14 administratieve domeinen (bijv. landbouw, financiën, juridisch, registratie).
• Tweetalige aard: De dataset is inherent tweetalig (Bengaals–Engels), wat de real-world administratieve workflows weerspiegelt. Op paginaniveau bestaat de dataset voor 67% uit Bengaals, 26% Engels en 5% gemengde pagina's.
• Constructiepipeline:
  1. Verzameling & Filtering: Handmatige controle om niet-formulieren en scans van lage kwaliteit te verwijderen.
  2. Partitionering: Formulieren worden gesplitst in disjuncte train/validatie/test-sets (55:20:25) gestratificeerd per domein om content-lekken te voorkomen.
  3. Pakketassemblage: Pakketten worden gegenereerd door formulieren te samplen om een doelbreedte van 5–20 pagina's te bereiken.
  4. Concatenatieschema's: Vijf varianten zijn gemaakt om verschillende moeilijkheidsgraden te isoleren:
     • MonoSeq/PolySeq: Sequentiële concatenatie (geordend).
     • MonoRand: Pagina's gehusseld binnen elk documentblok.
     • PolyInt: Round-robin interleaving van pagina's uit verschillende documenten.
     • PolyRand: Globale husseling van alle pagina's over het gehele pakket.
• Schaal: 1.950 pakketten met in totaal 28.513 pagina's.

2.2 Taakformalisering

De taak wordt gedefinieerd als het herstellen van een partitie $\mathcal{D}$, een domeinkaart $t$, en pagina-permutaties $\sigma_i$ voor elk document $i$ uit een pakket van pagina-afbeeldingen $P = \langle p_1, \dots, p_n \rangle$. In tegen tegenstelling tot eerdere werken werkt Khondo vision-native, waarbij ruwe pagina-afbeeldingen worden verwerkt zonder afhankelijk te zijn van OCR-tekst.

2.3 Evaluatieprotocol

• Geëvalueerde Modellen:
  • Zero-Shot: Vijf vlaggenschip Multimodale Large Language Models (MLLMs): Gemini-3.5-Flash, GPT-5.4, Qwen 3.6 Plus, GLM-4.6V, en Kimi K2.5.
  • Fine-Tuned: Drie kleine open-weight modellen (Qwen3-VL-4B, InternVL3.5-4B, Gemma 4 E2B) aangepast via QLoRA.
• Metrics:
  • Clustering ($S_{clu}$): Gemiddelde van de V-measure en de Rand Index.
  • Ordering ($S_{ord}$): Gemiddelde van Kendall's $\tau_a$ over voorspelde subdocumenten.
  • Typing ($PgAcc$): Pagina-niveau domeinclassificatie nauwkeurigheid.
  • Algemene Score ($S_{pkt}$): Gelijk gewogen gemiddelde van clustering en ordening.
• Prompting: Experimenten vergelijken een Order-Aware (OAw) prompt (expliciet instructies voor hersequencing) met een Order-Agnostic (OAg) prompt.

3. Belangrijkste Resultaten

3.1 Zero-Shot Prestaties

• Clustering vs. Ordering: MLLMs vertonen robuuste clusteringcapaciteiten maar hebben aanzienlijke moeite met de ordening van pagina's wanneer pagina's gehusseld zijn.
  • Bij sequentiële varianten zijn de ordeningsscores hoog ($S_{ord} \approx 0.95$), maar dit is triviaal omdat de pagina's al geordend zijn.
  • Bij gehusselde varianten (MonoRand, PolyRand) dalen de ordeningsscores drastisch (bijv. Gemini-3.5-Flash daalt van 0.95 naar 0.68; zwakkere modellen dalen naar ~0.05).
  • Clustering blijft relatief stabiel ($S_{clu} \approx 0.55–0.85$), zelfs onder husseling.
• Modelvergelijking: Gemini-3.5-Flash en Qwen 3.6 Plus presteren beter dan andere modellen, met name bij het herstellen van de paginavolgorde in gehusselde pakketten.

3.2 Fine-Tuning Resultaten

• Het fine-tunen van kleine open-source modellen verbetert de prestaties ten opzichte van hun baselines, maar elimineert de bottleneck niet.
• Hoewel clustering aanzienlijk verbetert (bereikt $S_{clu} \approx 0.95$ op PolySeq), blijft de ordening op gehusselde varianten slecht ($S_{ord} \approx 0.32$ voor het beste model, Qwen3-VL-4B).
• Het schalen van de modelgrootte (van 4B naar 32B) levert monotone verbeteringen op voor gehusselde varianten, maar sluit het gat naar de vlaggenschip zero-shot modellen niet.

3.3 Gecontroleerde Analyses

• Prompt Sensitiviteit: Expliciete instructies om pagina's te herordenen (OAw) verbeteren de ordeningsscores op gehusselde varianten aanzienlijk (winsten van 0.43–0.67) vergeleken met OAg-prompts, die vaak simpelweg de invoerorde behouden. Er blijft echter een substantieel tekort bestaan, zelfs met expliciete instructies, wat suggerekt dat de moeilijkheid intrinsiek is aan de taak en niet slechts een artefact van prompting.
• Linguïstische Effecten: Wanneer getest op monolinguale pakketten, ordenen modellen Engelse pagina's aanzienlijk beter dan Bengaalse pagina's ($\Delta S_{ord} = 0.13–0.36$ op gehusselde varianten). Clustering wordt minder beïnvloed door taal. Dit geeft aan dat de ordeningsbottleneck deels linguïstisch is, verergerd door het laag-resource karakter van Bengaalse documentbegrip.

4. Bijdragen

1. Khondo Benchmark: De eerste multimodale benchmark voor het splitsen van documentenpakketten op laag-resource, Bengaals-dominante overheidsformulieren, bestaande uit 1.950 pakketten over 5 concatenatieschema's en 14 domeinen.
2. Empirische Bevindingen: Demonstratie dat hoewel MLLMs effectief pagina's kunnen clusteren, paginavolgorde-reconstructie de primaire bottleneck is, vooral onder husseling en voor laag-resource talen.
3. Fine-Tuning Inzichten: Bewijs dat hoewel kleine MLLMs de taak kunnen leren, er een aanzienlijk prestatiekloof blijft bestaan op gehusselde varianten vergeleken met vlaggenschipmodellen.
4. Isolatie van Factoren: Gecontroleerde studies die onthullen dat expliciete prompting de ordening helpt maar onvoldoende is, en dat taal (Bengaals vs. Engels) een secundaire maar consistente factor is die de ordeningsprestaties verslechtert.

5. Betekenis en Claims

Het artikel positioneert Khondo als een middel om paginavolgorde-reconstructie te vestigen als een belangrijk openstaand probleem in vision-gebaseerd, laag-resource documentbegrip. De auteurs beweren dat:

• Huidige MLLMs pakketsplitsing behandelen als een "opgelost" probleem voor sequentiële tekst, maar falen wanneer ze worden toegepast op vision-native, gehusselde, laag-resource documenten.
• De moeilijkheid in ordening intrinsiek is aan de taak (vereist redeneren over visuele continuïteit en logische flow) in plaats van louter een falen van prompt engineering.
• De prestatiekloof tussen Engels en Bengaals de specifieke uitdaging voor laag-resource talen in multimodale documentverwerking benadrukt, waarbij het gebrek aan betrouwbare OCR en linguïstische middelen de moeilijkheid van het afleiden van de documentstructuur vergroot.

Het werk concludeert dat hoewel fine-tuning en grotere modellen incrementele winsten bieden, het oplossen van de ordeningsbottleneck voor gehusselde, laag-resource documentenpakketten een aanzienlijke uitdaging blijft voor het vakgebied.