Sintesi Tecnica: Oltre il paradigma "Un Lingua, Un Sistema di Scrittura"

Definizione del Problema

Gli attuali Modelli Visivo-Linguistici (VLM) operano sotto un presupposto errato noto come paradigma "Un Lingua, Un Sistema di Scrittura" (OLOS - One Language, One Script). Questo paradigma tratta l'ortografia come una funzione deterministica della lingua, assumendo che un singolo idioma corrisponda a un unico sistema di scrittura. Di conseguenza, i benchmark esistenti (ad es. XM3600, MaXM) trascurano miliardi di utenti che navigano nel mondo attraverso sistemi multi-scrittura, come il punjabi (Gurmukhi, Shahmukhi, Roman), il serbo (Cirillico, Latino) e il curdo (Arabo, Latino, Cirillico).

Il documento sostiene che questo divario di valutazione crei un "Gap tra Script e Realtà". Se le capacità di ragionamento di un modello fluttuano quando lo stesso contenuto semantico viene presentato in script diversi, la sua "multilinguità" potrebbe dipendere più dal riconoscimento di pattern ortografici che da un reale radicamento semantico. Ciò produce un divario di equità in cui i modelli vengono giudicati capaci in uno script ma inaffidabili in un altro per lo stesso gruppo di utenti.

Metodologia: Il Benchmark PuMVR

Per quantificare questo bias, gli autori introducono PuMVR (Punjabi Multimodal Visual Reasoning), il primo benchmark progettato per isolare lo script come variabile indipendente nel ragionamento multimodale.

• Composizione del Dataset: PuMVR consiste in 375 compiti di ragionamento visivo su immagini, curati da esperti e culturalmente radicati. Ogni compito esiste in perfetta equivalenza semantica attraverso i tre script attivi del punjabi:
  1. Gurmukhi (scrittura indiana, dominante nel Punjab indiano).
  2. Shahmukhi (scrittura perso-araba, dominante nel Punjab pakistano).
  3. Roman (traslitterazione latina, utilizzata dalle comunità della diaspora e digitali).
• Categorie di Compito: Le 375 istanze sono distribuite in sei categorie di ragionamento: Analogie Visive, Riconoscimento di Oggetti Culturali, Ragionamento su Festival e Celebrazioni, Riconoscimento di Architetture e Monumenti, Ragionamento Testo-nell'Immagine (OCR) e Ragionamento Visivo-Linguistico Astratto.
• Design Sperimentale: Lo studio valuta 10 VLM allo stato dell'arte (inclusi modelli proprietari di frontiera come GPT-4o, Gemini 2.5 e Claude Sonnet 4, e modelli open-weights come Qwen2-VL e Llama-3.2-Vision) attraverso cinque indagini complementari:
  1. Quantificazione del Gap di Script: Misurazione dei delta di accuratezza e dei Tassi di Consistenza dello Script (SCR) tra gli script.
  2. Ablazione della Modalità: Confronto tra input Solo-Testo vs Multimodali per determinare se l'ancoraggio visivo compensi il bias dello script.
  3. Trasferimento Cross-Script: Test dell'efficienza nell'apprendimento few-shot quando gli esempi e le query di test utilizzano script diversi.
  4. Robustezza al Mismatch OCR: Misurazione delle penalità di prestazione quando i testi nell'immagine e gli script delle query sono disallineati (Indice di Disparità dello Script).
  5. Divergenza del Ragionamento: Analisi degli output di Chain-of-Thought (CoT) per vedere se la scelta dello script altera i percorsi di ragionamento.

Contributi Chiave

1. Il Benchmark PuMVR: Un framework di valutazione ortografica controllato a tre vie che va oltre la ampiezza linguistica verso la profondità ortografica.
2. Quantificazione del Bias di Script: L'introduzione del Tasso di Consistenza dello Script (SCR) come metrica core per la valutazione agnostica rispetto allo script. Lo studio rivela che i modelli attuali mostrano gap di prestazione sostanziali, con delta di accuratezza che raggiungono il 16% e SCR bassi come il 24,8% per alcuni modelli.
3. Evidenza della Divergenza del Ragionamento: Il documento dimostizza che la scelta dello script funge da trigger latente, causando ai modelli di adottare strategie di ragionamento divergenti (ad es. concentrarsi su diverse caratteristiche visive) per coppie immagine-testo identiche, basandosi esclusivamente sullo script utilizzato.

Risultati Chiave

• Gap di Script Universale: Tutti i 10 modelli valutati hanno mostrato un degrado delle prestazioni dipendente dallo script. Anche i modelli di frontiera come GPT-4o hanno mostrato gap significativi (ad es. un delta del 4,26% tra Gurmukhi e Shahmukhi).
• Frammentazione Ortografica: I Tassi di Consistenza dello Script elevati sono stati rari. Ad esempio, mentre GPT-4o ha raggiunto il 90,93% di accuratezza in Gurmukhi, il suo SCR era solo del 78,13%, indicando che il 12,8% della sua conoscenza è bloccato ortograficamente. I modelli open-weights si sono comportati peggio, con Llama-3.2-11B-Vision che mostrava un SCR del 27,47%.
• L'Ancoraggio Visivo è Additivo, non Compensativo: Sebbene l'input visivo abbia aumentato le prestazioni assolute in tutti gli script (il Guadagno Visivo variava dal 7,5% al 36,1%), non ha colmato il gap di script. Il bias relativo è persistito, suggerendo che la frammentazione ortografica sottostante sia sistematica.
• Trasferimento Cross-Script Limitato: I pattern di ragionamento hanno mostrato una trasferibilità limitata. In contesti few-shot, alcuni modelli hanno subito crolli di prestazione catastrofici (ad es. Qwen2-VL-72B-Instruct è sceso dall'83,5% al 33,6% quando riceveva esempi in Gurmukhi per un test in Gurmukhi), e l'Efficienza di Trasferimento (TE) variava significativamente, indicando che la conoscenza è spesso specifica per lo script piuttosto che concettualmente astratta.
• OCR e Mismatch di Script: Sono state osservate penalità di prestazione significative (Indice di Disparità dello Script) quando il testo nell'immagine e lo script della query erano disallineati, in particolare per lo Shahmukhi e nei modelli con capacità OCR più deboli.
• Divergenza CoT: L'analisi della Chain-of-Thought ha rivelato che il prompting strutturato può destabilizzare i percorsi specifici dello script. Ad esempio, l'accuratezza di GPT-4o nello Shahmukhi è scesa del 20,4% sotto CoT, mentre le sue prestazioni in Gurmukhi sono rimaste stabili, suggerendo che il ragionamento in Shahmukhi si basi su euristiche implicite che collassano sotto l'articolazione esplicita.

Significato e Rivendicazioni

Il documento sostiene di aver esposto un punto cieco critico nella valutazione dei VLM multilingue: l'assunto che la ampiezza linguistica equivalga alla capacità multilingue. Dimostrando che i modelli allo stato dell'arte non sono veramente multi-script, gli autori sfidano il paradigma OLOS.

La significatività di questo lavoro risiede in:

• Riformulazione della Valutazione: Proporre il Tasso di Consistenza dello Script (SCR) come metrica essenziale per passare dai conteggi linguistici alla robustezza ortografica.
• Equità nell'IA: Evidenziare che per gli utenti multi-script (oltre un miliardo di persone nel mondo), un modello che ha successo in uno script ma fallisce in un altro non è "parzialmente capace", ma "inaffidabile".
• Blueprint Metodologico: Fornire un framework replicabile per diagnosticare il bias di script in altre lingue multi-script (ad es. Hindi-Urdu, Serbo, Curdo) per raggiungere l'equità ortografica nell'IA globale.

Gli autori concludono che raggiungere un'IA equa richiede di andare oltre la ampiezza linguistica verso la profondità ortografica, assicurando che l'ancoraggio visivo e il ragionamento semantico non siano fratturati dalla scelta del sistema di scrittura.