💬 NLP

Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions

Questo articolo dimostra che i Modelli Vision-Language (VLM) che eseguono l'OCR su testi in greco antico spesso si affidano a priori linguistici per generare errori fluenti ma non ancorati visivamente, una modalità di fallimento che persiste anche con interventi durante la decodifica e differisce significativamente dai modelli di rumore dei sistemi OCR tradizionali.

Autori originali: Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

Pubblicato 2026-05-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di leggere una lettera molto antica, scritta a mano in greco antico. L'inchiostro è sbiadito, le lettere sono strane e la pagina è coperta da appunti disordinati nei margini. Hai due aiutanti per leggerla per te:

Lo "Scanner Vecchia Scuola" (OCR tradizionale): È come un robot rigoroso e letterale. Guarda l'inchiostro sulla pagina e dice: "Vedo un graffio che sembra una 'A', quindi scriverò una 'A'". Se l'inchiostro è troppo sfocato, potrebbe scrivere un simbolo casuale o un errore di battitura. Non indovina; riferisce semplicemente ciò che vede, anche se il risultato sembra disordinato.
L'"Assistente AI Intelligente" (Modello Linguistico-Visivo): È come uno studente brillante che conosce perfettamente il greco antico ma è un po' pigro nel guardare attentamente la carta. Quando vede una macchia sfocata, pensa: "Hmm, basandomi sulla frase finora, la parola successiva dovrebbe essere 're'". Quindi scrive "re", anche se l'inchiostro sulla pagina sembrava in realtà più simile a "cane".

Questo articolo, intitolato "Leggere o Indovinare? Fallimenti di Grounding Visivo dei Modelli Linguistici-Visivi per l'OCR nelle Edizioni di Greco Antico", indaga cosa succede quando questi due aiutanti cercano di leggere testi difficili e a risorse limitate in greco antico.

Ecco cosa hanno scoperto i ricercatori, usando semplici analogie:

1. La "Bugia Fluida" contro la "Verità Disordinata"

Quando lo Scanner Vecchia Scuola commette un errore, di solito sembra un errore di battitura o un ammasso di lettere (ad esempio "kng"). È ovvio che qualcosa sia andato storto.

Tuttavia, quando l'Assistente AI Intelligente commette un errore, spesso scrive una parola greca antica perfettamente reale e fluida che semplicemente non è ciò che era scritto sulla pagina.

L'Analogia: Immagina che l'AI stia leggendo una ricetta. Se l'elenco degli ingredienti è macchiato e dice "farina", ma l'AI sa che questa ricetta richiede solitamente "zucchero", potrebbe scrivere con sicurezza "zucchero". A una rapida occhiata, la frase sembra perfetta. Ma in realtà è una bugia. L'AI si affida alla sua memoria di come le ricette solitamente procedono (il suo "prior linguistico") piuttosto che guardare la carta specifica davanti a sé.

2. Il Test dell'"Inchiostro Magico"

Per dimostrarlo, i ricercatori hanno giocato un trucco. Hanno preso il testo, mescolato le lettere all'interno delle parole (trasformando parole vere in nonsense incomprensibile) e poi mostrato questo nonsense agli aiutanti.

Lo Scanner Vecchia Scuola: Ha guardato il nonsense e ha scritto il nonsense. È rimasto fedele all'evidenza visiva, anche se il risultato era spazzatura.
L'Assistente AI Intelligente: Ha guardato il nonsense, si è confuso e poi l'ha "aggiustato". Ha riscritto il nonsense trasformandolo di nuovo in parole greche vere e fluide. Ha ignorato l'evidenza visiva (le lettere mescolate) e si è affidato interamente alla sua conoscenza interna della lingua.

3. Non Tutte le AI "Intelligenti" Sono Uguali

I ricercatori hanno scoperto una svolta sorprendente. Non tutti gli assistenti AI si comportano allo stesso modo.

L'AI Generalista: Questi sono i grandi modelli famosi usati per molti compiti. Anche quando sbagliavano, stavano ancora "guardando" l'immagine. Stavano cercando di leggere l'inchiostro, ma il loro cervello era semplicemente troppo ansioso di indovinare la parola giusta.
L'AI Specialista: C'era un modello costruito specificamente per leggere documenti (chiamato OlmOCR). Questo era il peggior trasgressore. Quando commetteva un errore, era quasi come se non guardasse affatto l'immagine. Indovinava puramente basandosi su ciò che pensava che il testo dovesse dire. Era come uno studente che chiude gli occhi e recita il libro di testo a memoria, ignorando il foglio d'esame reale.

4. Possiamo Correggere l'AI?

I ricercatori hanno provato diverse "patch" per costringere l'AI a guardare l'immagine invece di indovinare:

La "Recinzione del Vocabolario": Hanno provato a dire all'AI: "Puoi scrivere solo lettere greche". Risultato: Questo ha reso le cose molto peggiori. L'AI si è confusa e ha iniziato a scrivere nonsense perché non poteva usare i suoi soliti trucchi.
Il "Test di Contrasto": Hanno provato a mostrare all'AI l'immagine e una versione sfocata dell'immagine contemporaneamente per costringerla a concentrarsi sui dettagli. Risultato: Questo ha aiutato un po' per alcuni modelli, ma non per quello specialista.
La "Modifica Post-Partita": Hanno lasciato che l'AI scrivesse prima la sua risposta, e poi hanno fatto correggere gli errori a una seconda AI (un editor solo testo). Risultato: Questo ha funzionato bene per pulire il testo, ma non ha risolto il problema di fondo. La prima AI ha ancora ignorato l'immagine; la seconda AI ha semplicemente corretto la bugia dopo che era stata detta.

La Grande Lezione

La lezione principale è che il fatto che la risposta di un'AI suoni perfetta e fluida non significa che abbia effettivamente letto il documento.

Nel mondo della storia antica e dei documenti rari, questo è pericoloso. Se una biblioteca digitale utilizza questi modelli AI per scansionare vecchi libri greci, l'AI potrebbe sostituire silenziosamente una parola rara e oscura con una comune e "plausibile". Uno storico che legge la versione digitale non saprebbe mai che il cambiamento è avvenuto perché la frase sembra ancora grammaticalmente perfetta.

L'articolo conclude che abbiamo bisogno di nuovi modi per testare l'AI, non solo controllando se il punteggio finale è alto, ma verificando se l'AI è effettivamente "radicata" nell'evidenza visiva, o se sta semplicemente indovinando basandosi su ciò che pensa dovrebbe esserci.

Riepilogo Tecnico: Lettura o Indovinello? Fallimenti di Grounding Visivo nei Modelli Linguistici Visivi per l'OCR nelle Edizioni del Greco Antico

Enunciato del Problema

Recenti Modelli Linguistici Visivi (VLM) hanno raggiunto prestazioni quasi umane nel Riconoscimento Ottico dei Caratteri (OCR) su benchmark standard. Tuttavia, evidenze emergenti suggeriscono che questi modelli potrebbero fare affidamento prevalentemente su priors linguistici piuttosto che su evidenze visive, generando testi semanticamente plausibili ma privi di supporto visivo quando il contesto linguistico viene perturbato. Sebbene questo fenomeno sia stato studiato in contesti ad alta risorsa, il suo comportamento nei documenti storici a bassa risorsa rimane poco esplorato.

Questo studio indaga tale questione utilizzando edizioni critiche del greco antico, un dominio complesso caratterizzato da:

Priors a bassa risorsa: Supporto limitato per i pattern lessicali e di formattazione appresi durante il pre-addestramento generale.
Layout complessi: Testo denso, script politonici (accenti e spiriti), annotazioni marginali e numerali alfabetici.
Alto rischio: Errori nella digitalizzazione di edizioni accademiche possono corrompere silenziosamente la ricerca a valle.

Le domande di ricerca principali sono:

I VLM e i sistemi OCR tradizionali falliscono in modo diverso?
In quale misura i VLM fanno affidamento sui priors linguistici rispetto alle evidenze visive?
È possibile ripristinare il grounding visivo mediante interventi al momento dell'inferenza?

Metodologia

Gli autori hanno valutato cinque VLM a pesi aperti (inclusi specialisti OCR come OlmOCR-2-7B e DeepSeek-OCR, e modelli generici come Qwen3-VL-2B/8B) rispetto a due baseline OCR tradizionali (Tesseract-grc e Kraken-CLLG) su un dataset di 90 pagine scansionate tratte da edizioni critiche del greco antico.

Lo studio adotta un framework analitico multifaccettato:

1. Analisi della Distribuzione degli Errori

Gli autori hanno stabilito una tassonomia degli errori a livello di parola (otto categorie mutualmente esclusive) includendo errori di accento/diacritico, confusione di caratteri, sostituzione tra script, sostituzione di parole, sovrapproduzione e omissione. Hanno analizzato il Tasso di Errore dei Caratteri (CER) e il Tasso di Errore delle Parole (WER) per distinguere tra errori di riconoscimento "rumorosi" e allucinazioni "fluide".

2. Esperimenti di Perturbazione Controfattuale

Per isolare l'affidamento sui priors linguistici, gli autori hanno generato stimoli sintetici in cui il testo sulla pagina è stato corrotto prima del rendering. La verità fondamentale era la stringa perturbata.

Logica: Un sistema con grounding visivo dovrebbe trascrivere i glifi corrotti anche se formano nonsensi. Un sistema che fa affidamento sui priors dovrebbe "riparare" il testo verso un greco plausibile, aumentando il suo tasso di errore rispetto alla verità fondamentale perturbata.
Perturbazioni: Includevano riordinamento a livello di parola (sintattico) e mescolamento a livello di carattere (lessicale/ortografico).

3. Analisi del Guadagno Immagine a Livello di Token

Per misurare il grounding meccanicisticamente, gli autori hanno calcolato il guadagno immagine per ogni token:
$\text{guadagno}(t) = \log p(t \mid \text{immagine}, \text{prompt}) - \log p(t \mid \text{prompt})$
Questa metrica quantifica di quanto l'immagine aumenti la probabilità di un token rispetto a una baseline basata solo sul testo. Hanno confrontato questo valore tra classi di token: token corretti, errori percettivi (confusione di glifi), errori tra script e errori lessicali (sostituzioni fluide di parole).

4. Interventi al Momento dell'Inferenza

Lo studio ha testato tre famiglie di interventi per ripristinare il grounding:

Vincoli di Output: Mascheramento dello script (limitando l'output ai caratteri greci) e astensione dalla lunghezza (sopprimendo output con lunghezze errate).
Decodifica Contrastiva: Decodifica Contrastiva Visiva (VCD) e Decodifica Contrastiva senza Immagine (M3ID) per penalizzare i token che rimangono probabili senza input visivo.
Correzione Post-OCR: Utilizzo di un modello linguistico solo testo per riscrivere il testo riconosciuto dopo la generazione.

Risultati Chiave

1. Modalità di Fallimento Divergenti

OCR Tradizionale: Gli errori sono principalmente rumore di riconoscimento locale (es. punteggiatura, elementi di pagina, confusione di caratteri) e rimangono strettamente legati ai glifi visibili.
VLM: Gli errori sono dominati da errori di ortografia superficiale percettiva (accenti/diacritici) e sostituzioni lessicali fluide. I VLM sostituiscono frequentemente parole errate con parole valide, nel vocabolario, del greco antico, portando a un rapporto WER/CER significativamente più alto rispetto ai sistemi tradizionali.

2. Evidenza di Affidamento sui Priors

Risposta alla Perturbazione: Sotto perturbazioni a livello di carattere, i tassi di errore dei VLM sono aumentati bruscamente (divergendo dalla verità fondamentale perturbata), mentre l'OCR tradizionale è rimasto comparabilmente fedele.
Grounding Specifico del Modello: L'analisi a livello di token ha rivelato che l'affidamento sui priors non è universale:
- OlmOCR (Specialista OCR): Ha mostrato una firma di "basso guadagno immagine" per errori lessicali fluidi (guadagno mediano 0,17), indicando che questi errori sono stati prodotti con scarso affidamento sull'immagine (sovrascrittura dei priors).
- Qwen3-VL (Generico): È rimasto coinvolto con l'immagine anche quando sbagliava. I loro errori lessicali avevano un alto guadagno immagine (es. 1,97 per Qwen3-VL-8B), suggerendo che erano condizionati dall'input visivo ma lo interpretavano erroneamente, piuttosto che ignorare l'immagine per indovinare.
- Errori tra script: In tutti i modelli, gli errori di mescolamento degli script (Greco $\to$ Latino) hanno mostrato il più alto guadagno immagine, confermando che erano innescati visivamente.

3. Inefficacia degli Interventi

Vincoli di Output: Il mascheramento dello script ha causato un degrado catastrofico delle prestazioni (il CER è aumentato di 7-10 volte), e l'astensione dalla lunghezza non ha offerto alcun guadagno riducendo al contempo la copertura.
Decodifica Contrastiva: La VCD non ha avuto effetti significativi. La M3ID ha migliorato i VLM generici (Qwen) ma non ha aiutato lo specialista OCR (OlmOCR), indicando che non esiste una soluzione agnostica rispetto al modello.
Correzione Post-OCR: Questa ha fornito i guadagni più ampi, riducendo significativamente gli errori per cinque dei sette sistemi. Tuttavia, questo miglioramento è avvenuto dopo la generazione, riparando il testo piuttosto che prevenire la perdita di grounding visivo durante la decodifica.

Significato e Affermazioni

Lo studio afferma che output OCR fluidi non garantiscono il grounding visivo. La capacità dei VLM di produrre un greco antico grammaticalmente e lessicalmente corretto può mascherare una disconnessione fondamentale dalle evidenze visive, specialmente in contesti storici complessi a bassa risorsa.

I contributi chiave includono:

Estensione del Lavoro Precedente: Dimostrare che l'affidamento sui priors linguistici si estende oltre i contesti ad alta risorsa fino ai documenti storici a bassa risorsa e a un insieme più ampio di modelli.
Analisi del Grounding Sfumata: Mostrare che la "sovrascrittura dei priors" è specifica del modello. È una modalità di fallimento distinta nei modelli specialisti OCR (ignorare l'immagine per indovinare) ma non necessariamente nei VLM generici (che possono ancora prestare attenzione all'immagine ma fallire nell'interpretarla correttamente).
Limiti delle Soluzioni Attuali: Stabilire che vincoli di decodifica semplici e metodi contrastivi sono insufficienti per ripristinare il grounding, suggerendo un disallineamento più profondo tra evidenza visiva e decodifica generativa in queste architetture.

Gli autori concludono che la valutazione dei modelli multimodali nei domini storici deve andare oltre le metriche aggregate di accuratezza (CER/WER) verso valutazioni guidate dall'interpretabilità che testino se gli output del modello siano genuinamente radicati nelle evidenze di input pertinenti. Avvertono contro il dispiegamento di VLM su materiale del patrimonio culturale sottorisorsa senza verifica umana, poiché errori fluidi ma non radicati potrebbero corrompere silenziosamente i corpora digitalizzati.