Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

Sintesi Tecnica: Diagnostica della percezione dei modelli linguistici-visivi attraverso l'utilizzo di metodi umani per le deficienze della visione dei colori

Problema
I modelli linguistici-visivi (LVLM) su larga scala sono sempre più impiegati in contesti del mondo reale come la navigazione, l'istruzione e le tecnologie assistive. Un'ipotesi critica, sebbene poco esplorata, in questi impieghi è che gli utenti condividano un'esperienza visiva uniforme. In realtà, la percezione visiva varia significativamente a causa di fattori biologici, in particolare le deficienze della visione dei colori (CVD), che colpiscono circa l'8% dei maschi e lo 0,5% delle femmine. Gli attuali LVLM sono addestrati su corpora su scala web che presuppongono implicitamente una visione del colore tipica. Sebbene questi modelli possiedano una sostanziale conoscenza linguistica riguardante le CVD e gli strumenti diagnostici clinici, rimane da chiarire se essi possano simulare esperienze percettive alternative. Questo divario crea un rischio di esclusione: un LVLM che fornisce istruzioni basate sul colore (ad esempio, "prendi la linea verde") può non fornire informazioni azionabili per un utente con deuteranopia o protanopia, evidenziando una disconnessione tra la conoscenza linguistica e l'ancoraggio percettivo.

Metodologia
Gli autori utilizzano il Test di Ishihara, uno strumento clinicamente validato per la diagnosi delle CVD umane, come sonda diagnostica per gli LVLM. Invece di utilizzare il test esclusivamente per lo screening, lo riutilizzano per valutare se i modelli possano riprodurre gli esiti percettivi sperimentati dagli individui con specifiche CVD. Lo studio valuta sei LVLM (Phi-3.5, Qwen2.5-VL, mPLUG-Owl3, LLaVA-NeXT, Llama-3.2 e GPT-4o) attraverso quattro condizioni visive simulate: Normale, Protanopia, Deuteranopia e Tritanopia.

La valutazione è condotta attraverso tre prospettive complementari:

1. Livello di Generazione: Il modello viene istruito per identificare la cifra su una piastra di Ishihara simulando un tipo di visione specifico (ad esempio, "Tu sei Protanope"). L'accuratezza è misurata rispetto alle cifre reali associate a quella condizione di visione.
2. Livello di Confidenza: Gli autori analizzano la perplessità per token per le risposte a decodifica forzata. Ciò misura se l'incertezza del modello si allinea con l'ambiguità percettiva sperimentata dagli esseri umani con CVD.
3. Livello di Rappresentazione Interna: Utilizzando un metodo di probing layer-wise LogitLens, gli autori esaminano se le attivazioni interne codificano le distinzioni tra i tipi di visione, anche se l'output finale non le riflette.

Per garantire la robustezza, lo studio impiega molteplici strategie di prompting (Base, Supporto Linguistico, Supporto Visivo) e include esperimenti di controllo utilizzando un modello specializzato in ambito medico (MedVLM-R1) e un modello addestrato su pattern di punti sintetici (Qwen-DotPattern) per escludere che la memorizzazione di pattern o la conoscenza del dominio siano le uniche spiegazioni per le prestazioni.

Risultati Chiave

• Conoscenza Linguistica vs. Simulazione Percettiva: Tutti i modelli valutati hanno dimostrato una forte conoscenza linguistica, definendo correttamente il Test di Ishihara e le varie CVD. Tuttavia, non sono riusciti a tradurre questa conoscenza in simulazione percettiva.
• Fallimento della Generazione: In condizioni di CVD simulata (Protanopia e Deuteranopia), l'accuratezza dei modelli è crollata. Nessun modello ha superato il 24% di accuratezza in queste condizioni. Invece di generare la cifra percepita da un individuo con deficit di visione cromatica, i modelli sono tornati alla risposta "normativa" (visione Normale) o hanno prodotto output allucinati.
• Inefficacia dei Prompt: Fornire descrizioni linguistiche dell'impairment o esempi visivi few-shot (Supporto Visivo) non ha migliorato significativamente le prestazioni. I modelli sono costantemente tornati alla percezione normativa indipendentemente dal framing del prompt.
• Disallineamento della Confidenza: L'analisi della perplessità ha rivelato un marcato bias verso la visione normale. I modelli hanno mostrato una bassa perplessità (alta confidenza) nelle condizioni Normal e Tritanopia, ma una perplessità significativamente più alta per Protanopia e Deuteranopia, indicando una confusione fondamentale nel tentativo di simulare la visione alterata dei colori.
• Rappresentazioni Interne: Il probing layer-wise ha mostrato che le attivazioni interne non codificano costantemente le distinzioni tra i tipi di visione. I modelli spesso elaborano le immagini come "Normali" nei livelli intermedi, cambiando solo nell'ultimo livello, suggerendo una mancanza di stati percettivi alternativi profondi nello spazio latente.
• Addestramento Specializzato: I modelli addestrati su dati medici o pattern di punti sintetici hanno mostrato prestazioni migliorate nella visione Normale, ma non sono riusciti a riprodurre le distorsioni percettive delle CVD, confermando che l'addestramento specifico del dominio non abilita intrinsecamente la simulazione di esperienze percettive alternative.

Contributi Chiave

• Framework Diagnostico: Il documento stabilisce una metodologia per valutare la capacità degli LVLM di simulare la diversità percettiva umana utilizzando il Test di Ishihara, andando oltre il semplice riconoscimento visivo per puntare all'allineamento percettivo.
• Evidenza Empirica di Limitazione: Lo studio fornisce prove sistematiche del fatto che gli attuali LVLM mancano di meccanismi per rappresentare esperienze percettive alternative, nonostante possiedano la conoscenza fattuale su di esse.
• Analisi Multi-livello: Combinando le analisi di generazione, confidenza e rappresentazione interna, gli autori dimostrano che il fallimento della simulazione delle CVD non è solo un errore di generazione, ma un disallineamento fondamentale nel modo in cui i modelli elaborano e ancorano le informazioni visive.

Significato e Rivendicazioni
Gli autori affermano che i loro risultati indicano che gli attuali LVLM tendono a un'esperienza visiva "standard", silenziando di fatto gli utenti con diverse caratteristiche percettive nelle interazioni multimodali. Il documento sostiene che la capacità di spiegare le CVD in linguaggio è distinta dalla capacità di percepire i colori come farebbe un utente con CVD. Di conseguenza, l'impiego di questi sistemi in domini critici per l'accessibilità (ad esempio, la navigazione per i non vedenti/ipovedenti) solleva preoccupazioni riguardo all'equità e all'inclusione. Gli autori concludono che i futuri sistemi multimodali richiedono nuovi meccanismi per rappresentare e accomodare la diversità percettiva, poiché le architetture attuali sono insufficienti per un dispiegamento centrato sull'uomo e inclusivo. Lo studio dichiara esplicitamente di essere diagnostico piuttosto che prescrittivo, mirando a evidenziare la necessità di ulteriori ricerche sugli LVLM consapevoli delle CVD piuttosto che offrire immediate strategie di mitigazione.