BaFCo: A Document Understanding Benchmark for Complex Bangla Form Comprehension

Sintesi Tecnica: BaFCo Benchmark per la Comprensione di Moduli Complessi in Bangla

Definizione del Problema
La comprensione dei documenti, specificamente l'Analisi del Layout dei Documenti (DLA) e l'Estrazione di Informazioni Chiave (KIE), è critica per le applicazioni reali nei settori bancario, educativo e della pubblica amministrazione. Sebbene i Modelli Linguistici Multimodali (MLLM) abbiano fatto avanzare questi compiti, il loro adozione in lingue a basse risorse come il bangla è ostacolata dalla scarsità di dati annotati di alta qualità. Nonostante il bangla sia la settima lingua più parlata al mondo, i benchmark esistenti (ad es., FUNSD, XFUND) si concentrano sull'inglese o su altre lingue ad alte risorse, e gli attuali dataset in bangla (ad es., BaDLA) mancano delle annotazioni granulari specifiche per i moduli richieste per l'elaborazione di complessi documenti governativi.

Metodologia
Per colmare questa lacuna, gli autori introducono BaFCo, un benchmark e un framework di valutazione per la comprensione di moduli in bangla.

• Raccolta e Cura dei Dati: Il dataset consiste in 200 moduli governativi bangladesi multi-pagina provenienti da diversi settori (agricoltura, istruzione, banca, gestione fondiaria, ecc.). Gli autori hanno dato priorità alla "qualità rispetto alla quantità", selezionando moduli con layout complessi, inclusi strutture multi-colonna, campi annidati, tabelle e regioni scritte a mano o con timbri.
• Schema di Annotazione:
  • Entità Granulari: È stata definita una tassonomia di 26 tipi di entità semantiche, che copre componenti strutturali (intestazioni, sezioni), campi funzionali (coppie chiave-valore, caselle di controllo, firme) ed elementi ausiliari.
  • Entità Grossolane: Per l'analisi comparativa, questi 26 tipi sono stati mappati in 5 categorie grossolane.
  • Relazioni: Il dataset include 8.771 relazioni annotate che collegano campi correlati (ad es., chiave-a-valore, chiave-a-chiave).
  • Livelli di Difficoltà: I moduli sono categorizzati in Facile, Medio e Difficile in base alla densità del layout, al disordine visivo e al accoppiamento semantico.
  • Sottoinsieme KIE: Un sottoinsieme specifico di 156 moduli (1.926 coppie chiave-valore) è stato curato per i compiti di Estrazione di Informazioni Chiave.
• Processo di Annotazione: 17 annotatori esperti, competenti in bangla, hanno etichettato i dati utilizzando Label Studio. Il processo ha previsto l'annotazione indipendente seguita da una revisione esperta, raggiungendo un coefficiente $\kappa$ di Cohen di 0,974.
• Framework di Valutazione: Gli autori hanno valutato cinque modelli MLLM di punta (GPT-5.2, Gemini 3 Pro, Claude Opus 4.6, Qwen 3.6 Plus, Kimi K2.5) utilizzando il prompting zero-shot e Chain-of-Thought (CoT). Gli esperimenti sono stati condotti sotto impostazioni di sforzo di ragionamento "Basso" e "Alto".
  • Metriche DLA: Precisione, Recall, F1 e media dell'Average Precision (mAP) utilizzando soglie di Intersection-over-Union (IoU) di 0,3 e 0,5.
  • Metriche KIE: Precisione, Recall, F1 e Normalized Edit Similarity (NES).

Risultati Chiave

• Prestazioni del Modello (DLA): Gli attuali MLLM faticano con la localizzazione granulare dei moduli in bangla. Gemini 3 Pro ha ottenuto la migliore prestazione in quasi tutte le configurazioni, con un mAP di 0,1177 sul set di entità granulari e 0,2646 su quello grossolano (a IoU@0.3, Alto Sforzo di Ragionamento, Zero-Shot). I modelli open-source (Kimi K2.5, Qwen 3.6 Plus) sono rimasti significativamente indietro, sebbene Kimi K2.5 abbia mostrato un miglioramento notevole con l'aumento dello sforzo di ragionamento.
• Prestazioni del Modello (KIE): I modelli si sono comportati sostanzialmente meglio nella KIE rispetto alla DLA. Gemini 3 Pro è stato il leader sui moduli in bangla (F1: 0,848), mentre GPT-5.2 ha guidato sui moduli in inglese (F1: 0,847). Il modello open-source Qwen 3.6 Plus ha dimostrato prestazioni competitive, riducendo il divario con i modelli proprietari.
• Impatto della Granularità: Le prestazioni sono migliorate sensibilmente passando dai set di entità granulari (26 tipi) a quelli grossolani (5 tipi), indicando che distinguere i tipi di entità granulari è una sfida primaria per gli attuali modelli.
• Ragionamento e Prompting: L'aumento dello sforzo di ragionamento e l'uso del prompting CoT hanno prodotto risultati misti o marginali. Il CoT è spesso risultato paragonabile al prompting zero-shot, e un maggiore sforzo di ragionamento non ha migliorato costantemente la precisione geometrica (IoU medio).
• Effetto della Lingua: Per la DLA, la differenza di prestazione tra i moduli in bangla e in inglese è stata minima ($\Delta$ mAP $\le$ 0,02), suggerendo che la rilevazione del layout sia ampiamente indipendente dalla lingua. Tuttavia, per la KIE, le differenze linguistiche sono state più pronunciate, con i modelli che generalmente performano meglio in inglese, tranne Gemini 3 Pro che favorisce il bangla.

Significatività e Contributi
L'articolo rivendica tre contributi primari:

1. Dataset BaFCo: L'introduzione del primo benchmark di alta qualità e granulare per i moduli governativi in bangla, caratterizzato da 26 tipi di entità e relazioni annotate, validato tramite revisione esperta.
2. Gap di Benchmarking: Stabilire il primo benchmark per DLA e KIE sui moduli in bangla, affrontando un vuoto critico nella ricerca sulla comprensione dei documenti a basse risorse.
3. Analisi Empirica: Fornire una valutazione sistematica dei principali MLLM pronti all'uso, rivelando che, sebbene questi modelli siano efficaci nell'estrazione semantica (KIE), affrontano limitazioni significative nella precisa localizzazione geometrica (DLA) degli elementi granulari del modulo.

Gli autori posizionano BaFCo non come un corpus generalista, ma come una risorsa specializzata e di alta qualità per stimolare la ricerca nell'analisi del layout dei documenti in bangla e nella comprensione dei moduli, evidenziando le sfide specifiche che le lingue a basse risorse affrontano nell'adottare l'IA multimodale avanzata.