Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

Technische Samenvatting: Het diagnosticeren van de perceptie van Vision Language Models door gebruik te maken van menselijke methoden voor kleurenvisiedeficiënties

Probleemstelling
Grootschalige Vision-Language Models (LVLMs) worden steeds vaker ingezet in real-world omgevingen zoals navigatie, onderwijs en ondersteunende technologieën. Een kritische, maar nog onvoldoende onderzochte aanname bij deze implementaties is dat gebruikers een uniforme visuele ervaring delen. In werkelijkheid varieert de visuele perceptie aanzienlijk door biologische factoren, met name kleurenvisiedeficiënties (Color Vision Deficiencies, CVDs), die ongeveer 8% van de mannen en 0,5% van de vrouwen treffen. Huidige LVLMs worden getraind op web-schaal corpora die impliciet uitgaan van een typische kleurvisie. Hoewel deze modellen over aanzienlijke linguïstische kennis beschikken over CVDs en klinische diagnostische instrumenten, blijft het onduidelijk of zij alternatieve visuele percepten kunnen simuleren. Deze kloof creëert een risico op uitsluiting: een LVLM die kleurgebaseerde instructies geeft (bijv. "neem de groene lijn") kan er niet voor zorgen dat deze bruikbare informatie is voor een gebruiker met rood-groen kleurenblindheid, wat wijst op een discrepantie tussen linguïstische kennis en perceptuele gronding.

Methodologie
De auteurs maken gebruik van de Ishihara-test, een klinisch gevalideerd instrument voor het diagnosticeren van menselijke CVDs, als een diagnostische sonde voor LVLMs. In plaats de test enkel te gebruiken voor screening, hergebruiken zij deze om te evalueren of modellen de perceptuele uitkomsten kunnen reproduceren die individuen met specifieke CVDs ervaren. De studie evalueert zes LVLMs (Phi-3.5, Qwen2.5-VL, mPLUG-Owl3, LLaVA-NeXT, Llama-3.2 en GPT-4o) over vier gesimuleerde visuele condities: Normaal, Protanopie, Deuteranopie en Tritanopie.

De evaluatie wordt uitgevoerd vanuit drie complementaire perspectieven:

1. Generatieniveau: Het model wordt gepromptt om het cijfer op een Ishihara-plaat te identificeren terwijl een specifieke visietype wordt gesimuleerd (bijv. "Je bent Protanopisch"). De nauwkeurigheid wordt gemeten tegen de grondwaarheid-cijfers die geassocieerd zijn met die visieconditie.
2. Confidentieniveau: De auteurs analyseren de per-token perplexiteit voor gedwongen decodering van antwoorden. Dit meet of de onzekerheid van het model overeenkomt met de perceptuele ambiguïteit die mensen met CVDs ervaren.
3. Intern Representatieniveau: Met behulp van een layer-wise LogitLens-proberingsmethode onderzoeken de auteurs of interne activaties onderscheid tussen visietypes coderen, zelfs als de uiteindelijke output dit niet reflecteert.

Om robuustheid te garanderen, hanteert de studie meerdere promptstrategieën (Base, Linguistic Support, Visual Support) en bevat het controle-experimenten met een medisch gespecialiseerd model (MedVLM-R1) en een model dat is gefinetuned op synthetische dot-patronen (Qwen-DotPattern) om uit te sluiten dat prestaties louter gebaseerd zijn op patroonmemorizatie of domeinkennis.

Belangrijkste Resultaten

• Linguïstische Kennis versus Perceptuele Simulatie: Alle geëvalueerde modellen vertoonden sterke linguïstische kennis en konden de Ishihara-test en diverse CVDs correct definiëren. Ze faalden echter in het vertalen van deze kennis naar perceptuele simulatie.
• Generatiefalen: Onder gesimuleerde CVD-condities (Protanopie en Deuteranopie) stortte de nauwkeurigheid van de modellen in. Geen enkel model overschreed 24% nauwkeurigheid in deze condities. In plaats van het cijfer te genereren dat een kleurenblinde persoon waarneemt, vervielen de modellen naar het "normatieve" (Normale visie) antwoord of produceerden zij gehallucineerde outputs.
• Ineffectiviteit van Prompts: Het verstrekken van linguïstische beschrijvingen van de beperking of visuele few-shot voorbeelden (Visual Support) verbeterde de prestaties niet significant. Modellen keerden consequent terug naar de normatieve perceptie, ongeacht de framing van de prompt.
• Misalignment van Confidentie: Perplexiteitsanalyse onthulde een uitgesproken bias naar normale visie. Modellen vertoonden lage perplexiteit (hoge confidentie) voor Normale en Tritanopie condities, maar aanzienlijk hogere perplexiteit voor Protanopie en Deuteranopie, wat duidt op fundamentele verwarring bij het proberen te simuleren van gewijzigde kleurvisie.
• Interne Representaties: Layer-wise probing toonde aan dat interne activaties niet consistent onderscheid tussen visietypes codeerden. Modellen verwerkten afbeeldingen vaak als "Normaal" in de middenlagen, waarbij ze pas in de laatste laag verschoven, wat suggereert dat er een gebrek is aan diepe, alternatieve perceptuele staten in de latente ruimte.
• Gespecialiseerde Training: Modellen die getraind zijn op medische data of synthetische dot-patronen vertoonden verbeterde prestaties in Normale visie, maar slaagden er niet in om CVD-perceptuele verstoringen te reproduceren, wat bevestigt dat domeinspecifieke training niet inherent de simulatie van alternatieve perceptuele ervaringen mogelijk maakt.

Belangrijkste Bijdragen

• Diagnostisch Kader: Het artikel vestigt een methodologie voor het evalueren van het vermogen van LVLMs om menselijke perceptuele diversiteit te simuleren met behulp van de Ishihara-test, waarbij verder wordt gegaan dan eenvoudige visuele herkenning naar perceptuele afstemming.
• Empirisch Bewijs van Beperking: De studie levert systematisch bewijs dat huidige LVLMs geen mechanismen bezitten voor het representeren van alternatieve perceptuele ervaringen, ondanks het bezit van feitelijke kennis daarover.
• Multi-level Analyse: Door generatie-, confidentie- en interne representatie-analyses te combineren, tonen de auteurs aan dat het falen om CVDs te simuleren niet louter een generatiefout is, maar een fundamentele mismatch in hoe modellen visuele informatie verwerken en gronderen.

Betekenis en Claims
De auteurs beweren dat hun bevindingen erop wijzen dat huidige LVLMs standaardiseren op een "standaard" visuele ervaring, waardoor gebruikers met verschillende perceptuele kenmerken effectief worden verstomd in multimodale interacties. Het artikel betoogt dat het vermogen om CVDs in taal uit te leggen verschillend is van het vermogen om kleuren waar te nemen zoals een CVD-gebruiker dat zou doen. Bijgevolg roept de inzet van deze systemen in toegankelijkheids-kritieke domeinen (bijv. navigatie voor visueel beperkten) vragen op over eerlijkheid en inclusie. De auteurs concluderen dat toekomstige multimodale systemen nieuwe mechanismen vereisen om perceptuele diversiteit te representeren en te accommoderen, aangezien huidige architecturen onvoldoende zijn voor mensgerichte, inclusieve inzet. De studie stelt expliciet dat het diagnostisch is en niet voorschrijvend, met als doel de noodzaak voor verder onderzoek naar CVD-bewuste LVLMs te benadrukken in plaats van directe mitigatiestrategieën aan te bieden.