Riepilogo Tecnico: Khondo – Un Benchmark Multimodale per la Scomposizione di Pacchetti di Documenti in lingua Bangla

1. Definizione del Problema

Nei flussi di lavoro governativi e amministrativi, i documenti vengono spesso elaborati come "pacchetti": singoli file contenenti molteplici documenti concatenati (moduli e materiali di supporto) che possono apparire fuori dal loro ordine originale. Il recupero dei documenti costituenti comporta tre compiti: clustering (raggruppamento delle pagine per documento sorgente), typing (classificazione dei domini documentali) e ordinamento (ricostruzione della sequenza originale delle pagine).

Sebbene lavori precedenti abbiano affrontato la scomposizione dei documenti, i benchmark esistenti si concentrano principalmente su documenti commerciali in inglese e si affidano al testo estratto tramite OCR. Ciò lascia un vuoto critico per le lingue a basse risorse come il Bangla, dove l'Optical Character Recognition (OCR) è spesso inaffidabile a causa della complessità degli script e dei font legacy. Inoltre, la ricerca attuale tratta prevalentemente la segmentazione dello stream di pagine come un problema di rilevamento dei confini assumendo un arrivo sequenziale, piuttosto che come un problema di ricostruzione in cui le pagine sono rimescolate o intermezzate.

2. Metodologia

2.1 Il Dataset Khondo

Gli autori introducono Khondo (Bangla per "split"), il primo benchmark multimodale per la scomposizione di pacchetti di documenti su moduli governativi bengalesi.

• Fonte dei Dati: 423 moduli autentici raccolti dal portale nazionale dei moduli elettronici (e-forms) attraverso 14 domini amministrativi (es. agricoltura, finanza, legale, registrazione).
• Natura Bilingue: Il dataset è intrinsecamente bilingue (Bangla–Inglese), riflettendo i reali flussi di lavoro amministrativi. A livello di pagina, comprende il 67% di pagine in Bangla, il 26% in Inglese e il 5% di pagine miste.
• Pipeline di Costruzione:
  1. Raccolta e Filtraggio: Revisione manuale per scartare documenti non conformi e scansioni di bassa qualità.
  2. Partizionamento: I moduli sono suddivisi in set di addestramento, validazione e test disgiunti (55:20:25) stratificati per dominio per prevenire la fuga di dati (content leakage).
  3. Assemblaggio dei Pacchetti: I pacchetti sono generati campionando i moduli per raggiungere una lunghezza target di 5–20 pagine.
  4. Schemi di Concatenazione: Sono state create cinque varianti per isolare diverse difficoltà:
     • MonoSeq/PolySeq: Concatenazione sequenziale (ordinata).
     • MonoRand: Pagine rimescolate all'interno di ogni blocco di documento.
     • PolyInt: Intercalazione round-robin di pagine provenienti da documenti diversi.
     • PolyRand: Rimescolamento globale di tutte le pagine all'interno dell'intero pacchetto.
• Scala: 1.950 pacchetti per un totale di 28.513 pagine.

2.2 Formalizzazione del Compito

Il compito è definito come il recupero di una partizione $\mathcal{D}$, una mappa di dominio $t$ e permutazioni di pagina $\sigma_i$ per ogni documento $i$ da un pacchetto di immagini di pagine $P = \langle p_1, \dots, p_n \rangle$. A differenza dei lavori precedenti, Khondo opera in modalità vision-native, elaborando immagini di pagine grezze senza fare affidamento sul testo OCR.

2.3 Protocollo di Valutazione

• Modelli Valutati:
  • Zero-Shot: Cinque modelli linguistici di grandi dimensioni multimodali (MLLM): Gemini-3.5-Flash, GPT-5.4, Qwen 3.6 Plus, GLM-4.6V e Kimi K2.5.
  • Fine-Tuned: Tre piccoli modelli open-weight (Qwen3-VL-4B, InternVL3.5-4B, Gemma 4 E2B) adattati tramite QLoRA.
• Metriche:
  • Clustering ($S_{clu}$): Media di V-measure e Rand Index.
  • Ordinamento ($S_{ord}$): Media di Kendall's $\tau_a$ sui sottodocumenti predetti.
  • Typing ($PgAcc$): Accuratezza della classificazione del dominio a livello di pagina.
  • Punteggio Complessivo ($S_{pkt}$): Media ponderata equamente di clustering e ordinamento.
• Prompting: Gli esperimenti confrontano un prompt Order-Aware (OAw) (che istruisce esplicitamente il riordinamento) rispetto a un prompt Order-Agnostic (OAg) (che non tiene conto dell'ordine).

3. Risultati Chiave

3.1 Prestazioni Zero-Shot

• Clustering vs. Ordinamento: Gli MLLM dimostrano capacità di clustering robuste ma faticano significativamente con l'ordinamento delle pagine quando queste sono rimescolate.
  • Nelle varianti sequenziali, i punteggi di ordinamento sono elevati ($S_{ord} \approx 0.95$), ma questo è banale poiché le pagine sono già ordinate.
  • Nelle varianti rimescolate (MonoRand, PolyRand), i punteggi di ordinamento crollano drasticamente (es. Gemini-3.5-Flash scende da 0.95 a 0.68; i modelli più deboli scendono a ~0.05).
  • Il clustering rimane relativamente stabile ($S_{clu} \approx 0.55–0.85$) anche sotto rimescolamento.
• Confronto tra Modelli: Gemini-3.5-Flash e Qwen 3.6 Plus superano gli altri modelli, in particolare nel ripristinare l'ordine delle pagine nei pacchetti rimescolati.

3.2 Risultati del Fine-Tuning

• Il fine-tuning di piccoli modelli open-source migliora le prestazioni rispetto ai loro baseline, ma non elimina il collo di bottiglia.
• Sebbene il clustering migliori significativamente (raggiungendo $S_{clu} \approx 0.95$ su PolySeq), l'ordinamento sulle varianti rimescolate rimane scarso ($S_{ord} \approx 0.32$ per il miglior modello, Qwen3-VL-4B).
• La scalabilità della dimensione del modello (da 4B a 32B) produce miglioramenti monotoni sulle varianti rimescolate, ma non colma il divario con i modelli flagship zero-shot.

3.3 Analisi Controllate

• Sensibilità al Prompt: Le istruzioni esplicite per riordinare le pagine (OAw) migliorano significativamente i punteggi di ordinamento sulle varianti rimescolate (guadagni di 0.43–0.67) rispetto ai prompt OAg, che spesso si limitano a preservare l'ordine di input. Tuttavia, permane un deficit sostanziale anche con istruzioni esplicite, suggerendo che la difficoltà sia intrinseca al compito e non solo un artefatto del prompting.
• Effetti Linguistici: Quando testati su pacchetti monolingue, i modelli ordinano le pagine in inglese significativamente meglio di quelle in Bangla ($\Delta S_{ord} = 0.13–0.36$ nelle varianti rimescolate). Il clustering è meno influenzato dalla lingua. Ciò indica che il collo di bottiglia dell'ordinamento è in parte linguistico, esacerbato dalla natura a basse risorse della comprensione documentale in Bangla.

4. Contributi

1. Benchmark Khondo: Il primo benchmark multimodale per la scomposizione di pacchetti di documenti su moduli governativi dominanti in lingua Bangla, caratterizzato da 1.950 pacchetti attraverso 5 schemi di concatenazione e 14 domini.
2. Risultati Empirici: Dimostrazione del fatto che, sebbene gli MLLM possano raggruppare efficacementamente le pagine, la ricostruzione dell'ordine delle pagine rappresenta il principale collo di bottiglia, specialmente in presenza di rimescolamento e lingue a basse risorse.
3. Approfondimenti sul Fine-Tuning: Evidenza del fatto che, sebbene i piccoli MLLM possano apprendere il compito, persiste un significativo divario di prestazioni sulle varianti rimescolate rispetto ai modelli flagship.
4. Isolamento dei Fattori: Studi controllati che rivelano come il prompting esplicito aiuti l'ordinamento ma non sia sufficiente, e che la lingua (Bangla vs. Inglese) sia un fattore secondario ma costante che degrada le prestazioni di ordinamento.

5. Significato e Rivendicazioni

Il paper posiziona Khondo come lo strumento che stabilisce la ricostruzione dell'ordine delle pagine come un problema aperto fondamentale nella comprensione documentale basata sulla visione e a basse risorse. Gli autori sostengono che:

• Gli attuali MLLM trattano la scomposizione dei pacchetti come un problema "risolto" per il testo sequenziale, ma falliscono quando applicati a documenti vision-native, rimescolati e a basse risorse.
• La difficoltà nell'ordinamento è intrinseca al compito (richiede ragionamento sulla continuità visiva e sul flusso logico) piuttosto che essere un semplice fallimento del prompt engineering.
• Il divario di prestazioni tra l'inglese e il Bangla evidenzia una sfida specifica per le lingue a basse risorse nell'elaborazione documentale multimodale, dove la mancanza di OCR affidabile e di risorse linguistiche aggrava la difficoltà di inferire la struttura del documento.

Il lavoro conclude che, sebbene il fine-tuning e i modelli più grandi offrano guadagni incrementali, risolvere il collo di bottiglia dell'ordinamento per i pacchetti di documenti rimescolati e a basse risorse rimane una sfida significativa per il settore.