JaWildText: A Benchmark for Vision-Language Models on Japanese Scene Text Understanding

1. Il Problema

Il testo presente nell'ambiente reale (scene text) in giapponese presenta sfide uniche che i benchmark multilingue esistenti spesso non riescono a catturare adeguatamente. Le difficoltà specifiche includono:

• Scrittura mista: L'uso simultaneo di quattro sistemi di scrittura (Kanji, Hiragana, Katakana e caratteri latini/alfanumerici).
• Scrittura verticale: La frequente presenza di testo disposto verticalmente, oltre che orizzontalmente.
• Vocabolario vasto: Un inventario di caratteri molto più ampio rispetto all'alfabeto latino, con migliaia di Kanji distinti.
• Mancanza di diagnosi granulare: I benchmark attuali per il giapponese si concentrano principalmente su documenti scansionati o su compiti di comprensione del testo basati sulla conoscenza, trascurando il testo "in-the-wild" (reale). Inoltre, quando i modelli Vision-Language (VLM) falliscono, non è chiaro se l'errore derivi da un fallimento nel riconoscimento dei caratteri (OCR) o nel ragionamento sul testo correttamente riconosciuto.

2. Metodologia: JaWildText

Per colmare queste lacune, gli autori hanno introdotto JaWildText, un benchmark diagnostico progettato per valutare e separare le capacità di lettura da quelle di ragionamento. Il dataset è composto da 3.241 istanze estratte da 2.961 immagini nuove, catturate in Giappone, con 1,12 milioni di caratteri annotati (3.643 tipi unici).

Il benchmark si articola in tre compiti complementari che variano per organizzazione visiva, formato di output e stile di scrittura:

1. Dense STVQA (Dense Scene Text Visual Question Answering):

   • Obiettivo: Valutare la capacità di leggere e ragionare su testi densi e complessi (cartelli, manifesti, pacchi prodotti).
   • Metodologia: Le annotazioni sono a due livelli: prima si delimitano le regioni di testo e si trascrivono; poi si creano coppie domanda-risposta che richiedono di incrociare informazioni da più regioni.
   • Diagnosi: Collegando ogni domanda alle "regioni di evidenza" minime necessarie, è possibile determinare se un errore è dovuto al mancato riconoscimento di un testo o a un errore di ragionamento.

2. Receipt KIE (Key Information Extraction):

   • Obiettivo: Estrarre informazioni strutturate da scontrini fotografati in condizioni reali (pieghe, angolazioni, illuminazione variabile).
   • Metodologia: Si richiede l'estrazione di campi specifici (es. nome negozio, data, totale, tasse) con un formato JSON definito.
   • Sfida: Testa la capacità di comprendere layout complessi e abbreviazioni specifiche del dominio, distinguendo tra campi assenti e campi non riconosciuti.

3. Handwriting OCR:

   • Obiettivo: Valutare la trascrizione a livello di pagina di testo scritto a mano.
   • Metodologia: Include 51 scrittori diversi, vari supporti (carta rigata, lavagne, tablet) e direzioni (orizzontale/verticale).
   • Diagnosi: Questo compito è dominato dal riconoscimento puro, isolando la capacità del modello di leggere caratteri complessi senza la necessità di ragionamento logico complesso.

Controllo di qualità: Le immagini e le annotazioni sono state curate professionalmente, con verifiche incrociate per garantire l'accuratezza. Il dataset è stato rilasciato sotto licenza Apache 2.0.

3. Contributi Chiave

1. Primo Benchmark Specializzato: JaWildText è il primo benchmark dedicato specificamente alla comprensione del testo in scena giapponese per i VLM, coprendo tre compiti fondamentali basati su immagini reali.
2. Valutazione Estensiva: È stato testato un totale di 14 VLM open-weight (tra cui famiglie Qwen3-VL, InternVL3.5, Gemma3, Phi-4 e il modello giapponese Sarashina2.2-Vision), fornendo baseline riproducibili.
3. Analisi degli Errori Granulare: Il paper introduce un metodo per disaccoppiare gli errori di riconoscimento da quelli di ragionamento e analizza le prestazioni in base al tipo di script (Kanji, Hiragana, ecc.), rivelando colli di bottiglia specifici invisibili alle metriche aggregate.

4. Risultati Sperimentali

L'analisi su 14 modelli ha rivelato che la comprensione del testo giapponese "in-the-wild" è ancora una sfida significativa:

• Punteggio Complessivo: Il modello migliore, Qwen3-VL-8B, ha raggiunto un punteggio medio complessivo di soli 0.64 sui tre compiti.
• Disparità tra Compiti:
  • Handwriting OCR: La maggior parte dei modelli (10 su 14) ha ottenuto un punteggio di almeno 0.60, indicando una buona capacità di base, ma con un plateau intorno a 0.80.
  • Dense STVQA: Mostra la maggiore variabilità (da 0.008 a 0.62), differenziando efficacemente le capacità dei modelli.
  • Receipt KIE: I modelli faticano con campi che richiedono aggregazione spaziale (es. nome del negozio), mentre i campi vincolati da formato (es. ora) sono gestiti meglio.
• Impatto delle Dimensioni e del Training:
  • Non esiste una correlazione lineare perfetta tra numero di parametri e prestazioni (es. Sarashina2.2-Vision-3B, addestrato su dati giapponesi, supera modelli molto più grandi in alcuni compiti di riconoscimento, ma non in tutti).
  • I modelli basati su architetture diverse (es. Qwen vs. InternVL) mostrano performance diverse anche a parità di parametri.
• Confronto con Modelli OCR Specializzati: I modelli VLM generici (come Qwen3-VL-8B) superano i modelli specializzati in OCR (come olmOCR-2-7B) nel riconoscimento di testo scritto a mano in ambienti reali, suggerendo che l'addestramento generico multimodale sta diventando competitivo.

5. Analisi degli Errori e Colli di Bottiglia

L'analisi dettagliata ha identificato due scoperte fondamentali:

1. Il Riconoscimento è il Collo di Bottiglia Primario: Per la maggior parte dei modelli, l'errore principale non è il ragionamento, ma il mancato riconoscimento dei caratteri. Anche il modello migliore (Qwen3-VL-8B) fallisce nel riconoscere correttamente le regioni di evidenza nel 14,2% dei casi.
2. Difficoltà Specifica dei Kanji: L'analisi per categoria di script mostra che i Kanji hanno il tasso di errore più alto (CER - Character Error Rate), a causa del vasto inventario di caratteri e della necessità di disambiguare migliaia di classi. I modelli tendono a confondere Kanji visivamente simili o a sostituirli con caratteri non correlati.
3. Errori di Formato: Alcuni modelli (es. Phi-4-Multimodal) falliscono principalmente nel seguire il formato di output richiesto, dimostrando una scarsa capacità di allineamento alle istruzioni.

6. Significato e Impatto

JaWildText fornisce uno strumento essenziale per la diagnosi fine-granulare delle capacità dei VLM sul testo giapponese. Dimostra che:

• I benchmark multilingue generici non sono sufficienti per catturare le complessità specifiche del giapponese.
• La ricerca futura deve concentrarsi non solo sul miglioramento del ragionamento, ma soprattutto sul riconoscimento robusto dei caratteri complessi (in particolare i Kanji) e sulla gestione di layout irregolari.
• Il benchmark incoraggerà lo sviluppo di valutazioni diagnostiche simili per altre lingue tipologicamente diverse, spostando il focus dalla semplice accuratezza aggregata alla comprensione delle cause del fallimento.

In sintesi, JaWildText stabilisce un nuovo standard per la valutazione dei modelli multimodali in contesti reali non inglesi, evidenziando che la strada verso una comprensione completa del testo in natura è ancora lunga.