Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies

Resumen Técnico: Diagnóstico de la percepción de los Modelos de Lenguaje-Visión mediante el aprovechamiento de métodos humanos para las deficiencias de visión cromática

Planteamiento del problema
Los Modelos de Lenguaje-Visión (LVLM, por sus siglas en inglés) a gran escala se están desplegando cada vez más en entornos del mundo real, tales como la navegación, la educación y las tecnologías de asistencia. Un supuesto crítico, aunque poco explorado, en estos despliegues es que los usuarios comparten una experiencia visual uniforme. En realidad, la percepción visual varía significativamente debido a factores biológicos, particularmente las deficiencias de visión cromática (CVD), que afectan aproximadamente al 8% de los hombres y al 0.5% de las mujeres. Los LVLM actuales son entrenados con corpus a escala web que asumen implícitamente una visión de color típica. Si bien estos modelos poseen un conocimiento lingüístico sustancial sobre las CVD y las herramientas de diagnóstico clínico, sigue sin estar claro si pueden simular percepciones visuales alternativas. Esta brecha crea un riesgo de exclusión: un LVLM que proporciona instrucciones basadas en el color (por ejemplo, "tome la línea verde") puede no proporcionar información accionable para un usuario con daltonismo de tipo rojo-verde, lo que resalta una desconexión entre el conocimiento lingüístico y el anclaje perceptual.

Metodología
Los autores utilizan la Prueba de Ishihara, una herramienta clínicamente validada para diagnosticar las CVD humanas, como una sonda diagnóstica para los LVLM. En lugar de utilizar la prueba únicamente para el cribado, la reorientan para evaluar si los modelos pueden reproducir los resultados perceptuales experimentados por individuos con CVD específicas. El estudio evalúa seis LVLM (Phi-3.5, Qwen2.5-VL, mPLUG-Owl3, LLaVA-NeXT, Llama-3.2 y GPT-4o) a través de cuatro condiciones de visión simuladas: Normal, Protanopia, Deuteranopia y Tritanopia.

La evaluación se lleva a cabo desde tres perspectivas complementarias:

1. Nivel de Generación: Se solicita al modelo que identifique el dígito en una placa de Ishihara mientras simula un tipo de visión específico (por ejemplo, "Eres un protanope"). La precisión se mide frente a los dígitos de verdad de campo asociados con esa condición de visión.
2. Nivel de Confianza: Los autores analizan la perplejidad por token para respuestas de decodificación forzada. Esto mide si la incertidencia del modelo se alinea con la ambigüedad perceptual experimentada por los humanos con CVD.
3. Nivel de Representación Interna: Utilizando un método de sondeo de LogitLens por capas, los autores examinan si las activaciones internas codifican distinciones entre tipos de visión, incluso si el resultado final no las refleja.

Para garantizar la robustez, el estudio emplea múltiples estrategias de prompting (Base, Soporte Lingüístico, Soporte Visual) e incluye experimentos de control utilizando un modelo especializado en medicina (MedVLM-R1) y un modelo ajustado con patrones de puntos sintéticos (Qwen-DotPattern) para descartar que la memorización de patrones o el conocimiento de dominio sean las únicas explicaciones del rendimiento.

Resultados Clave

• Conocimiento Lingüístico vs. Simulación Perceptual: Todos los modelos evaluados demostraron un sólido conocimiento lingüístico, definiendo correctamente la Prueba de Ishihara y diversas CVD. Sin embargo, fallaron al traducir este conocimiento en una simulación perceptual.
• Fallo de Generación: Bajo condiciones de visión simulada de CVD (Protanopia y Deuteranopia), la precisión del modelo colapsó. Ningún modelo superó el 24% de precisión en estas condiciones. En lugar de generar el dígito percibido por un individuo con daltonismo, los modelos volvieron al resultado "normativo" (visión Normal) o produjeron salidas alucinadas.
• Ineficacia de los Prompts: Proporcionar descripciones lingüísticas del impedimento o ejemplos visuales de pocos disparos (Soporte Visual) no mejoró significamente el rendimiento. Los modelos revertían consistentemente a la percepción normativa independientemente del encuadre del prompt.
• Desalineación de la Confianza: El análisis de perplejidad reveló un sesgo pronunciado hacia la visión normal. Los modelos exhibieron una baja perplejidad (alta confianza) en las condiciones de Visión Normal y Tritanopia, pero una perplejidad significativamente mayor para Protanopia y Deuteranopia, lo que indica una confusión fundamental al intentar simular la visión de color alterada.
• Representaciones Internas: El sondeo por capas mostró que las activaciones internas no codificaron consistentemente las distinciones entre tipos de visión. Los modelos a menudo procesaban las imágenes como "Normales" en las capas intermedias, cambiando solo en la capa final, lo que sugiere una falta de estados perceptuales alternativos y profundos en el espacio latente.
• Entrenamiento Especializado: Los modelos entrenados con datos médicos o patrones de puntos sintéticos mostraron un rendimiento mejorado en la visión Normal, pero fallaron al reproducir las distorsiones perceptuales de las CVD, confirmando que el entrenamiento de dominio específico no habilita inherentemente la simulación de experiencias perceptuales alternativas.

Contribuciones Clave

• Marco de Diagnóstico: El artículo establece una metodología para evaluar la capacidad de los LVLM para simular la diversidad perceptual humana utilizando la Prueba de Ishihara, yendo más allá del simple reconocimiento visual hacia el alineamiento perceptual.
• Evidencia Empírica de Limitación: El estudio proporciona evidencia sistemática de que los LVLM actuales carecen de mecanismos para representar experiencias perceptuales alternativas, a pesar de poseer conocimiento fáctico sobre ellas.
• Análisis Multinivel: Al combinar análisis de generación, confianza y representación interna, los autores demuestran que el fallo en la simulación de las CVD no es meramente un error de generación, sino un desalineamiento fundamental en cómo los modelos procesan y anclan la información visual.

Significancia y Reivindicaciones
Los autores afirman que sus hallazgos indican que los LVLM actuales revierten a una experiencia visual "estándar", silenciando efectivamente a los usuarios con características perceptuales diferentes en las interacciones multimodales. El artículo argumenta que la capacidad de explicar las CVD en lenguaje es distinta de la capacidad de percibir los colores como lo haría un usuario con CVD. Por consiguiente, el despliegue de estos sistemas en dominios críticos para la accesibilidad (por ejemplo, la navegación para personas con discapacidad visual) plantea preocupaciones respecto a la equidad y la inclusión. Los autores concluyen que los futuros sistemas multimodales requieren nuevos mecanismos para representar y acomodar la diversidad perceptual, ya que las arquitecturas actuales son insuficientes para un despliegue humano-céntrico e inclusivo. El estudio declara explícitamente que es diagnóstico en lugar de prescriptivo, con el objetivo de resaltar la necesidad de más investigación sobre los LVLM conscientes de las CVD en lugar de ofrecer estrategias de mitigación inmediatas.