Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

Resumo Técnico: Diagnosticando a Percepção de Modelos de Linguagem-Visão através do Aproveitamento de Métodos Humanos para Deficiências de Visão de Cores

Declaração do Problema
Modelos de Linguagem-Visão (LVLMs) de larga escala estão sendo cada vez mais implantados em configurações do mundo real, como navegação, educação e tecnologias assistivas. Uma suposição crítica, porém subexplorada, nessas implantações é que os usuários compartilham uma experiência visual uniforme. Na realidade, a percepção visual varia significativamente devido a fatores biológicos, particularmente as Deficiências de Visão de Cores (CVDs), que afetam aproximadamente 8% dos homens e 0,5% das mulheres. Os atuais LVLMs são treinados em corpora de escala web que assumem implicitamente uma visão de cores típica. Embora esses modelos possuam conhecimento linguístico substancial sobre CVDs e ferramentas de diagnóstico clínico, permanece incerto se eles podem simular perceptos visuais alternativos. Essa lacuna cria um risco de exclusão: um LVLM que fornece instruções baseadas em cores (ex: "pegue a linha verde") pode falhar em fornecer informações acionáveis para um usuário com daltonismo de tipo protanopia ou deuteranopia, destacando um descompasso entre o conhecimento linguístico e o ancoramento perceptual.

Metodologia
Os autores utilizam o Teste de Ishihara, uma ferramenta clinicamente validada para diagnosticar CVDs humanas, como uma sonda diagnóstica para LVLMs. Em vez de usar o teste apenas para triagem, eles o reconfiguram para avaliar se os modelos conseguem reproduzir os resultados perceptuais experimentados por indivíduos com CVDs específicas. O estudo avalia seis LVLMs (Phi-3.5, Qwen2.5-VL, mPLUG-Owl3, LLaVA-NeXT, Llama-3.2 e GPT-4o) através de quatro condições de visão simuladas: Normal, Protanopia, Deuteranopia e Tritanopia.

A avaliação é conduzida através de três perspectivas complementares:

1. Nível de Geração: O modelo é instruído a identificar o dígito em uma placa de Ishihara enquanto simula um tipo de visão específico (ex: "Você é um Protanope"). A precisão é medida em relação aos dígitos de verdade fundamental associados àquela condição de visão.
2. Nível de Confiança: Os autores analisam a perplexidade por token para respostas de decodificação forçada. Isso mede se a incerteza do modelo se alinha com a ambiguidade perceptual experimentada por humanos com CVDs.
3. Nível de Representação Interna: Usando um método de sondagem camada a camada via LogitLens, os autores examinam se as ativações internas codificam distinções entre tipos de visão, mesmo que o output final não as reflita.

Para garantir robustez, o estudo utiliza múltiplas estratégias de prompting (Base, Suporte Linguístico, Suporte Visual) e inclui experimentos de controle usando um modelo especializado em medicina (MedVLM-R1) e um modelo treinado em padrões de pontos sintéticos (Qwen-DotPattern) para descartar a memorização de padrões ou o conhecimento de domínio como únicas explicações para o desempenho.

Principais Resultados

• Conhecimento Linguístico vs. Simulação Perceptual: Todos os modelos avaliados demonstraram forte conhecimento linguístico, definindo corretamente o Teste de Ishihara e várias CVDs. No entanto, eles falharam em traduzir esse conhecimento em simulação perceptual.
• Falha de Geração: Sob condições de CVD simuladas (Protanopia e Deuteranopia), a precisão dos modelos colapsou. Nenhum modelo excedeu 24% de precisão nessas condições. Em vez de gerar o dígito percebido por um indivíduo daltônico, os modelos retornaram ao padrão "normativo" (Visão Normal) ou produziram outputs alucinados.
• Ineficácia de Prompts: Fornecer descrições linguísticas da deficiência ou exemplos visuais de poucos disparos (few-shot) não melhorou significativamente o desempenho. Os modelos consistentemente retornavam à percepção normativa, independentemente do enquadramento do prompt.
• Desalinhamento de Confiança: A análise de perplexidade revelou um viés pronunciado para a visão normal. Os modelos exibiram baixa perplexidade (alta confiança) nas condições Normal e Tritanopia, mas perplexidade significativamente maior para Protanopia e Deuteranopia, indicando confusão fundamental ao tentar simular a visão de cores alterada.
• Representações Internas: A sondagem camada a camada mostrou que as ativações internas não codificam consistentemente as distinções entre tipos de visão. Os modelos frequentemente processam as imagens como "Normais" nas camadas intermediárias, mudando apenas na camada final, sugerindo uma falta de estados perceptuais alternativos profundos no espaço latente.
• Treinamento Especializado: Modelos treinados em dados médicos ou padrões de pontos sintéticos mostraram melhor desempenho na visão Normal, mas falharam em reproduzir distorções perceptuais de CVD, confirmando que o treinamento de domínio específico não habilita inerentemente a simulação de experiências perceptuais alternativas.

Principais Contribuições

• Estrutura Diagnóstica: O artigo estabelece uma metodologia para avaliar a capacidade dos LVLMs de simular a diversidade perceptual humana usando o Teste de Ishihara, indo além do simples reconhecimento visual para o alinhamento perceptual.
• Evidência Empírica de Limitação: O estudo fornece evidência sistemática de que os atuais LVLMs carecem de mecanismos para representar experiências perceptuais alternativas, apesar de possuírem conhecimento factual sobre elas.
• Análise Multinível: Ao combinar análises de geração, confiança e representação interna, os autores demonstram que a falha em simular CVDs não é meramente um erro de geração, mas um desalinhamento fundamental na forma como os modelos processam e ancoram informações visuais.

Significância e Alegações
Os autores alegam que seus achados indicam que os atuais LVLMs adotam por padrão uma experiência visual "padrão", silenciando efetivamente usuários com características perceptuais distintas em interações multimodais. O artigo argumenta que a capacidade de explicar CVDs em linguagem é distinta da capacidade de perceber cores como um usuário com CVD faria. Consequentemente, a implantação desses sistemas em domínios críticos de acessibilidade (ex: navegação para deficientes visuais) levanta preocupações quanto à equidade e inclusão. Os autores concluem que futuros sistemas multimodais requerem novos mecanismos para representar e acomodar a diversidade perceptual, pois as arquiteturas atuais são insuficientes para um deployment centrado no ser humano e inclusivo. O estudo declara explicitamente que é diagnóstico, e não prescritivo, visando destacar a necessidade de mais pesquisas sobre LVLMs conscientes de CVD, em vez de oferecer estratégias de mitigação imediatas.