🤖 AI

Do VLMs Read or Rewrite? On Transcription Faithfulness in Vision-Language Models

Questo articolo introduce il benchmark FaithC4 per dimostrare che i modelli Vision-Language spesso riscrivono testi imperfetti in forme plausibili invece di trascriverli fedelmente, rivelando distinti modelli di degradazione tra le tipologie di modelli e identificando specifiche rappresentazioni di strati e lunghezze delle parole che innescano questo comportamento di riscrittura.

Autori originali: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Pubblicato 2026-07-27

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gwang Gook Lee, Kenan Emir Ak, Jay Mohta, Yan Xu, Dimitrios Dimitriadis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a leggere un appunto scritto a mano da tua nonna. Ti aspetti che il robot agisca come una fotocopiatrice super accurata, catturando ogni scarabocchio, macchia o parola scritta male esattamente come appare. Questo è il compito dell'Optical Character Recognition (OCR), una tecnologia che esiste da decenni per trasformare le immagini di testo in parole digitali. Ma recentemente, è arrivato un nuovo tipo di robot: il Vision-Language Model (VLM). Immaginali come robot che non si limitano a "vedere" le lettere, ma anche a "pensare" a ciò che la frase dovrebbe significare, combinando una telecamera con un cervello molto intelligente addestrato su l'intero internet.

La grande domanda è: quando questi robot intelligenti vedono una parola disordinata, la copiano fedelmente o cercano di "correggerla"? È un po' come l'effetto della "typoglycemia" che gli esseri umani sperimentano, dove siamo ancora in grado di leggere una frase anche se le lettere centrali delle parole sono rimescolate, perché i nostri cervelli indovinano la parola intesa. Sebbene questo sia utile per gli umani, può essere un disastro per un robot se serve una copia perfetta e letterale di un contratto legale o di una lettera storica. Se il robot decide di "correggere" un errore di battitura che faceva parte del documento originale, ha riscritto la storia invece di registrarla. Questo articolo esplora se questi nuovi robot AI siano scribi fedeli o editori troppo zelanti.

I VLM leggono o riscrivono?

In questo studio, i ricercatori di Amazon hanno voluto testare un'abitudine specifica di questi Vision-Language Models (VLM): quando vedono una parola che sembra un po' strana, la leggono esattamente così com'è o la riscrivono segretamente in qualcosa che abbia più senso?

Per scoprirlo, il team ha creato un parco giochi speciale chiamato FaithC4. Immaginate che abbiano preso migliaia di pagine pulite e normali di testo in inglese, cinese e coreano. Poi, hanno giocato al gioco del "telefono senza fili" con le parole prima di trasformarle in immagini. Hanno preso l'8% delle parole idonee e le hanno rovinate in tre modi creativi:

Scramble (Rimescolamento): Hanno rimescolato le lettere interne (come trasformare "standard" in "sdanartd").
Random (Casuale): Hanno sostituito le lettere con altre completamente casuali (come "xkpmewqi").
Visual (Visivo): Hanno sostituito le lettere con altre che sembrano quasi identiche (come trasformare una 'a' in una 'c' o una 'o' in uno '0').

Hanno poi mostrato queste immagini "rotte" a 15 sistemi diversi. Questi sistemi appartengono a tre gruppi:

La Vecchia Guardia: Strumenti OCR tradizionali (come Tesseract) che guardano solo i pixel e dicono "questo sembra una 'a'".
Gli Specialisti: VLM addestrati specificamente per leggere documenti.
I Generalisti: I grandi e potenti VLM (come Qwen, GPT-4V e Gemini) che sono bravi in tutto, dalla matematica alla poesia.

I Risultati: I robot "intelligenti" sono troppo intelligenti

Le scoperte sono state sorprendenti e un po' preoccupanti per chiunque abbia bisogno di copie perfette. I ricercatori hanno scoperto che più il robot è "intelligente", più è probabile che riscriva il testo.

La Vecchia Guardia (OCR tradizionale): Questi sono stati i più fedeli. Quando il testo era rovinato, cambiavano appena la loro risposta. Il loro tasso di errore è aumentato di meno dello 0,6%. Vedevano semplicemente il disordine e copiavano il disordine.
Gli Specialisti: Si sono comportati un po' meglio dei generalisti, ma hanno comunque apportato alcune modifiche. I loro errori sono aumentati dallo 0,2% al 2%.
I Generalisti: Sono stati i peggiori nel mantenere la fedeltà. Quando il testo era rimescolato o alterato visivamente, i loro tassi di errore sono balzati fino al 4,5%.

Perché? Perché questi modelli generalisti sono così bravi a prevedere come dovrebbe apparire una frase che spesso ignorano ciò che è effettivamente scritto. Se vedono "prbolem", output con sicurezza "problem", anche se l'immagine dice chiaramente "prbolem". È come uno studente che conosce così bene la risposta a un problema di matematica da ignorare l'errore scarabocchiato dal professore sulla lavagna e scrivere semplicemente la risposta corretta.

Il Meccanismo Nascosto: Quando avviene la riscrittura?

Per capire perché accade questo, i ricercatori hanno guardato dentro il cervello di uno di questi modelli, Qwen3-VL-4B, livello per livello. Volevano vedere se il robot fosse "cieco" all'errore o se decidesse semplicemente di ignorarlo.

Hanno scoperto una regola affascinante: il robot riscrive la parola solo quando "pensa" che la parola sembri ancora familiare.

Se la rappresentazione interna della parola rimescolata rimane molto vicina alla parola originale (come una foto sfocata che sembra ancora un gatto), il robot dice: "Oh, questo è sicuramente un 'gatto'!" e la riscrive.
Ma se il rimescolamento è così grave che la rappresentazione interna si allontana molto dall'originale (la foto è ora solo una macchia), il robot smette di indovinare e finalmente legge ciò che vede.

Questo spiega perché la lunghezza della parola conta così tanto. Le parole brevi (4 a 6 lettere) vengono riscritte fino al 10% delle volte perché è facile per il robot indovinare l'originale. Ma una volta che una parola raggiunge gli 8 caratteri o più, la riscrittura scende allo 0%. Il rimescolamento è troppo grande perché il "cervello da indovino" del robot possa recuperare l'originale, quindi si arrende e trascrive fedelmente.

L'Effetto a Cascata

Ecco la parte più sorprendente: rovinare solo poche parole non danneggia solo quelle specifiche parole. I ricercatori hanno scoperto che corrompere solo il 5% delle parole in un documento ha causato un aumento di 5 o 10 volte degli errori sulle parole perfette e intatte per i modelli generalisti.

È come se il robot rimanesse confuso da un singolo errore di battitura e iniziasse a leggere male l'intero paragrafo circostante. I sistemi OCR tradizionali non avevano questo problema; rimanevano calmi e accurati anche quando circondati dal caos.

Cosa Significa Questo

L'articolo conclude che, sebbene questi nuovi modelli AI siano incredibili nel comprendere i documenti e rispondere a domande, non sono affidabili per compiti che richiedono una copia letterale e perfetta del testo. Se state digitalizzando un manoscritto storico, controllando un contratto legale o analizzando cartelle cliniche dove ogni errore di battitura conta, dovreste attenervi all'OCR tradizionale o a strumenti specializzati. I VLM generalisti sono troppo desiderosi di "aiutare" correggendo cose che non dovrebbero essere corrette.

I ricercatori suggeriscono che dobbiamo essere cauti su come utilizziamo questi modelli. Solo perché un modello sa leggere un documento, non significa che lo leggerà fedelmente. Per ora, se avete bisogno della verità esattamente come è stata scritta, i vecchi robot sono ancora gli scribi più onesti.

Sintesi Tecnica: I VLM Leggono o Riscrivono? Sulla Fedeltà di Trascrizione nei Modelli Vision-Language

Definizione del Problema

I modelli Vision-Language (VLM) stanno sostituendo sempre più le pipeline tradizionali di OCR (Optical Character Recognition) per la comprensione dei documenti grazie alla loro capacità di gestire il riconoscimento del testo, l'analisi del layout e i compiti a valle all'interno di un unico modello. Tuttavia, i benchmark OCR standard, che si basano su testi puliti, non riescono a catturare un difetto comportamentale critico: i VLM spesso agiscono come "riscrittori silenziosi" piuttosto che come trascrittori fedeli. Quando presentati con input imperfetti (errori di battitura, artefatti visivi o caratteri poco chiari), i VLM tendono a produrre ciò che si aspettano di vedere sulla base dei prior linguistici, invece di ciò che è effettivamente scritto. Questo comportamento, che ricorda l'effetto della tipoglicemia nella lettura umana, pone rischi significativi per domini che richiedono la trascrizione letterale, come documenti legali, cartelle cliniche e manoscritti storici. La ricerca esistente non ha investigato sistematicamente questo comportamento di riscrittura, poiché gli attuali benchmark si concentrano sul riconoscimento di testi puliti.

Metodologia

Per affrontare questa lacuna, gli autori introducono FaithC4, un benchmark multilingue di perturbazione progettato per misurare la fedeltà della trascrizione sotto input imperfetti.

Costruzione del Dataset: Gli autori hanno prelevato testo grezzo dal Colossal Clean Crawled Corpus (C4) e lo hanno renderizzato in immagini di pagine singole. Hanno applicato perturbazioni controllate all'8% delle parole idonee (quelle con $\ge$ 4 caratteri) attraverso tre lingue: inglese (EN), cinese (ZH) e coreano (KO). Le famiglie di perturbazione includono:
- Scramble (Mescolamento): I caratteri interni sono rimescolati preservando la prima e l'ultima lettera (es. "standard" $\to$ "sdanartd").
- Random Substitution (Sostituzione Casuale): I caratteri sono sostituiti con lettere casuali dello stesso script.
- Visual Substitution (Sostituzione Visiva): I caratteri sono sostituiti con alternative visivamente simili (es. "standard" $\to$ "stsndord").
- Il testo perturbato funge da ground truth; l'output del modello viene confrontato con esso per determinare se abbia trascritto fedelmente l'errore o se lo abbia "riscritto" tornando all'originale.
Sistemi Valutati: Lo studio valuta 15 sistemi appartenenti a tre categorie:
1. VLM general-purpose: Modelli open-weight (es. Qwen3-VL, InternVL, Gemma) e closed-weight (es. GPT-5.4-mini, Gemini).
2. VLM specializzati in OCR: Modelli sottoposti a fine-tuning per l'estrazione di documenti (es. MinerU, DeepSeek-OCR).
3. OCR Tradizionale: Pipeline a livello di carattere (Tesseract, docTR).
Metriche di Valutazione:
- Word Error Rate (WER): Misura l'accuratezza a livello di parola sensibile all'ordine (o Character Error Rate, CER, per il cinese).
- Edit Distance Similarity (EDS): Misura la somiglianza a livello di carattere.
- Classificazione degli Errori: Gli errori sulle parole perturbate sono categorizzati come Riscritti (corrispondenti alla parola originale non perturbata), Vicini (modifiche minori), Moderati o Sbagliati.
Probing Meccanicistico: Gli autori eseguono un probing layer-per-layer su Qwen3-VL-4B per identificare l'origine della riscrittura. Analizzano la similarità del coseno degli output delle reti Feed-Forward Network (FFN) tra input originali e perturbati e misurano i pesi dell'attenzione sulle patch di parole evidenziate.

Risultati Chiave

1. Degradazione delle Prestazioni e Gerarchia di Robustezza

Lo studio rivela un ordine coerente di tre livelli di robustezza in tutte e tre le lingue, che correla con la forza del prior linguistico di un modello:

OCR Tradizionale: Più robusto, con una degradazione $< 0,6$ punti percentuali (pp) in WER/CER. Trascrivono carattere per carattere senza sovrascrivere l'evidenza visiva.
VLM specializzati in OCR: Mostrano una degradazione moderata (0,2–2,0 pp), mantenendo alcuni prior linguistici ma meno dei modelli general-purpose.
VLM general-purpose: Soffrono la degradazione maggiore (fino a 4,5 pp). Ad esempio, InternVL3.5-4B è degradato di 4,45 pp sotto perturbazione visiva in inglese, mentre Gemini-3-Flash è un'eccezione con degradazione inferiore (0,23–0,60 pp).

2. Comportamento di Riscrittura

Tassi di Riscrittura: I VLM general-purpose riscrivono una frazione sostanziale di parole perturbate. Ad esempio, sotto perturbazione scramble, Gemini-2.5-Flash ha riscritto il 64,6% degli errori, mentre Qwen3-VL ha riscritto il 29,2%. L'OCR tradizionale ha riscritto lo 0%.
Propagazione dell'Errore Non Locale: Perturbare solo circa il 4,7% delle parole ha causato un aumento di 5–10 $\times$ dei tassi di errore sul resto del testo non perturbato per i VLM general-purpose, mentre l'OCR tradizionale ha mostrato un'amplificazione di soli 1,7–3,1 $\times$ . Ciò suggerisce che la riscrittura sia una modalità di fallimento non locale.
Consistenza Cross-Linguale: La gerarchia di degradazione si mantiene per inglese, cinese e coreano, sebbene il tipo di perturbazione più dannoso vari per script (es. la sostituzione casuale è la più dannosa per i VLM general-purpose cinesi).

3. Approfondimenti Meccanicistici (Qwen3-VL-4B)

Il probing dei layer interni di Qwen3-VL-4B ha rivelato che la riscrittura non è causata da un fallimento nel notare la perturbazione:

Attenzione vs Rappresentazione: Il modello alloca più attenzione alle patch d'immagine della parola perturbata nei layer iniziali e finali, indicando che "vede" la corruzione.
Il Meccanismo di Gating: La riscrittura avviene solo quando la rappresentazione interna FFN della parola perturbata al layer finale rimane vicina alla codifica originale.
- Se la rappresentazione diverge sufficientemente (bassa similarità del coseno), il modello trascrive fedelmente.
- Se la rappresentazione rimane vicina (alta similarità), il prior linguistico sovrascrive l'evidenza visiva per "correggere" la parola.
Effetto della Lunghezza della Parola: La riscrittura dipende fortemente dalla lunghezza della parola. Le parole brevi (4–6 caratteri) vengono riscritte fino al 10% delle volte. Esiste un netto punto di interruzione a 8 caratteri, dove il tasso di riscrittura scende allo 0%. Le parole più brevi causano meno disturbo alla rappresentazione interna, permettendo al prior linguistico di riconoscerle e "correggerle".

Significato e Rivendicazioni

L'articolo sostiene che FaithC4 espone un limite sistematico nei VLM che i benchmark su testi puliti non possono rilevare: la tendenza a riscrivere silenziosamente il testo imperfetto basandosi sui prior linguistici. Gli autori sostengono che per applicazioni che richiedono la trascrizione letterale (legali, mediche, storiche), l'OCR tradizionale o i VLM specializzati in OCR accuratamente selezionati rimangono la scelta più sicura, poiché i VLM general-purpose introducono errori di riscrittura sistematici.

Lo studio stabilisce che il comportamento di "riscrittura" non è un'allucinazione nel senso tradizionale di generazione di oggetti inesistenti, ma una specifica modalità di fallimento in cui il prior linguistico del modello sovrascrive l'evidenza visiva quando la perturbazione è abbastanza sottile da lasciare la rappresentazione interna riconoscibile. Questo comportamento è regolato dall'entità dello spostamento nella rappresentazione interna del modello, non dalla quantità di attenzione allocata all'input.