MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios

1. Il Problema

Il campo dell'analisi e del parsing dei documenti ha fatto progressi significativi, ma la ricerca attuale soffre di due limitazioni fondamentali:

• Dominio ristretto: I benchmark esistenti (come OmniDocBench o olmOCR-Bench) si concentrano quasi esclusivamente su documenti digitali nativi o scansionati, privi di distorsioni, e su un numero limitato di lingue ad alta risorsa (principalmente inglese e cinese).
• Mancanza di scenari reali: Esiste un vuoto critico nella valutazione delle prestazioni dei modelli su documenti fotografati (reale mondo), che presentano sfide come deformazioni fisiche, illuminazione variabile, sfondi complessi e degradazione dell'immagine. Inoltre, le prestazioni su script non latini e lingue a bassa risorsa sono spesso trascurate o mostrano bias significativi.

Questo porta a modelli che non sono robusti né inclusivi, limitando la loro applicabilità nella digitalizzazione di archivi storici, ricevute, libri e appunti manoscritti presenti in tutto il mondo.

2. Metodologia: Costruzione di MDPBench

Gli autori hanno sviluppato MDPBench, il primo benchmark specifico per il parsing di documenti multilingue sia digitali che fotografati. La metodologia di costruzione si basa su tre pilastri: diversità, realismo e affidabilità.

• Raccolta Dati:
  • Sono stati raccolti 3.400 documenti che coprono 17 lingue (inclusi AR, DE, EN, ES, FR, HI, ID, IT, JP, KO, NL, PT, RU, TH, VI, ZH, ZH-T).
  • I documenti originali sono stati ottenuti da fonti digitali pubbliche (paper accademici, report aziendali, giornali, fumetti, ecc.).
• Generazione di Documenti Fotografati:
  • Per simulare condizioni reali, i documenti digitali sono stati stampati su carta o visualizzati su schermi e poi fotografati.
  • Sono state introdotte diverse condizioni di acquisizione: ambienti interni ed esterni, deformazioni fisiche (pieghe, increspature, bendature), diverse orientazioni della fotocamera, degradazione dell'immagine (sfocatura, ombre) e variazioni di sfondo.
  • Ogni documento digitale è stato trasformato in tre immagini fotografiche (due interne, una esterna).
• Pipeline di Annotazione Rigorosa:
  • Per garantire la qualità, è stato adottato un processo in tre fasi:
    1. Etichettatura con Modelli Esperti: Utilizzo di modelli OCR avanzati (dots.ocr, PaddleOCR-VL, Qwen3VL) per il rilevamento del layout e il riconoscimento. È stata applicata una logica di consenso: se la similarità tra i modelli era bassa (<0.7), è stato utilizzato un modello proprietario (Gemini-3-Pro) come riferimento.
    2. Correzione Manuale: Annotatori umani hanno verificato coordinate, tipi di elementi e ordine di lettura.
    3. Verifica Umana: Un revisore indipendente ha controllato le annotazioni corrette. Solo i dati che superavano gli standard di qualità venivano accettati.
• Separazione dei Dati: Per prevenire la fuoriuscita di dati (data leakage) e l'addestramento mirato, il dataset è diviso in un set pubblico (2.720 campioni) e un set privato (680 campioni) per la valutazione finale tramite un sito web ufficiale.
• Metriche di Valutazione: A differenza di altri benchmark che valutano a livello di elemento, MDPBench adotta una strategia di aggregazione a livello di pagina per mitigare gli squilibri nella distribuzione dei dati multilingue. Vengono utilizzati NED (Normalized Edit Distance) per il testo, CDM per le formule e TEDS per le tabelle.

3. Contributi Chiave

1. Primo Benchmark Multilingue e Realistico: Introduzione di MDPBench, l'unico benchmark esistente che valuta sistematicamente il parsing di documenti su 17 lingue e in condizioni fotografiche reali.
2. Pipeline di Annotazione di Alta Qualità: Un processo ibrido (AI + Umano) che garantisce annotazioni affidabili, superando i limiti delle annotazioni puramente automatiche.
3. Valutazione Completa: Analisi estesa di modelli VLM (Vision-Language Models) generici, modelli specializzati e pipeline tradizionali, fornendo una panoramica dettagliata dello stato dell'arte.

4. Risultati Sperimentali

L'evaluation su MDPBench ha rivelato risultati significativi e preoccupanti:

• Divario tra Modelli Proprietari e Open-Source:
  • Il modello proprietario Gemini-3-Pro si è dimostrato il più robusto, ottenendo un'accuratezza complessiva dell'86.4%.
  • Il miglior modello open-source, dots.mocr, ha raggiunto l'80.5%, mostrando un gap di circa 6 punti percentuali.
• Crollo delle Prestazioni sui Documenti Fotografati:
  • Tutti i modelli hanno subito un degrado significativo quando elaborano documenti fotografati rispetto a quelli digitali. La caduta media di prestazioni è stata del 17.8%.
  • Anche i modelli migliori hanno mostrato errori come contenuti mancanti, ordini di lettura errati e allucinazioni (hallucinations) su documenti fotografati.
• Prestazioni Inferiori su Script Non Latini:
  • I modelli hanno mostrato una difficoltà marcata con le lingue non latine (es. Arabo, Hindi, Russo, Thai), con una caduta media di prestazioni del 14.0% rispetto alle lingue latine.
  • Errori specifici includono la mancata gestione dei diacritici (Hindi), confusione visiva tra caratteri cirillici e latini (Russo) e la segmentazione errata degli spazi (Thai).
• Problemi di Ordine di Lettura e Allucinazioni:
  • I modelli faticano con gli script da destra a sinistra (RTL), spesso leggendo il testo da sinistra a destra.
  • Sono stati osservati fenomeni di "language drift" (es. riconoscimento del vietnamita come cinese) e output ripetitivi o mancanti.
• Limiti delle Pipeline Tradizionali:
  • I sistemi basati su pipeline multi-stadio (rilevamento layout + riconoscimento separato) hanno mostrato prestazioni inferiori rispetto ai modelli end-to-end, soffrendo di accumulo di errori.

5. Significato e Impatto

MDPBench rappresenta una svolta fondamentale per la ricerca nel campo dell'OCR e del parsing dei documenti:

• Standardizzazione: Fornisce una base di valutazione standardizzata e rigorosa per confrontare modelli in scenari reali e multilingue, colmando un vuoto critico nella letteratura scientifica.
• Indicazioni per il Futuro: I risultati evidenziano la necessità di addestrare modelli su dataset più diversificati, includendo esplicitamente condizioni di acquisizione fotografica e script non latini.
• Sviluppo di Sistemi Inclusivi: Il benchmark guida lo sviluppo di sistemi di parsing pronti per il deployment che siano equi e robusti, essenziali per l'accesso globale alla conoscenza e per l'addestramento di LLM su corpora di dati non strutturati di alta qualità.

In sintesi, il paper dimostra che, sebbene i modelli attuali siano promettenti, c'è ancora molta strada da fare per rendere l'analisi dei documenti affidabile in un contesto globale e realistico, specialmente per le lingue non latine e i documenti fotografati.