Resumen Técnico: HueManity – Sonda de la Percepción Visual de Grano Fino en MLLMs

Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han demostrado capacidades impresionantes en el razonamiento visual de alto nivel, como la respuesta visual a preguntas (VQA) y el subtitulado de imágenes, los benchmarks existentes pasan por alto en gran medida su capacidad para capturar detalles perceptivos de grano fino. Los paradigmas de evaluación actuales suelen confundir la percepción con el razonamiento semántico, lo que permite a los modelos apoyarse en sesgos lingüísticos en lugar de en la entrada visual pura. A medida que los MLLMs se despliegan cada vez más en dominios críticos para la seguridad (por ejemplo, conducción autónoma, imágenes médicas), la falta de una agudeza perceptiva fundamental —específicamente la capacidad de extraer señales coherentes de entornos visualmente saturados— plantea un riesgo significativo. El artículo sostiene que la capacidad de discernir patrones a partir de señales sutiles y de bajo nivel (color, luminancia, textura) es un prerrequisito para una inteligencia visual robusta, pero esta capacidad sigue sin ser sondeada por los benchmarks estándar.

Metodología: El Benchmark HueManity

Para abordar esta brecha, los autores presentan HueManity, un benchmark escalable y automatizado diseñado para aislar y evaluar la percepción visual de grano fino.

Construcción del Conjunto de Datos

• Escala y Contenido: El benchmark comprende 83.850 imágenes, cada una con una cadena alfanumérica de dos caracteres incrustada en un patrón de puntos estilo Ishihara.
• Pipeline de Generación:
  1. Enmascaramiento de Texto: Se genera una máscara binaria de 900x900 píxeles para cadenas de dos caracteres utilizando la librería Pygame con una fuente bold, italic de DejaVu Sans.
  2. Selección de Color: Se seleccionaron 25 pares de colores de primer plano y fondo distintos mediante un proceso de múltiples etapas. Esto implicó un análisis cuantitativo mediante la fórmula de diferencia de color CIEDE2000 ($\Delta E_{2000}$) para asegurar una dificultad perceptual equilibrada, seguido de una verificación manual para garantizar la legibilidad humana.
  3. Renderizado de Patrones: Un generador iterativo puebla la imagen con círculos no superpuestos (4–15 píxeles). Los círculos dentro de la región del carácter reciben un color de primer plano, mientras que los demás reciben un color de fondo. Estos colores se someten a transformaciones aleatorias (desplazamientos de gradiente, desplazamientos de RGB y escalado de luminosidad) para crear patrones densos y desafiantes.
• Diseño de Tareas: El benchmark incluye dos tareas de reconocimiento:
  • Tarea Numérica: Números de dos dígitos (por ejemplo, "17"), con un espacio de etiquetas de 90 posibilidades.
  • Tarea Alfanumérica: Cadenas de dos caracteres (por ejemplo, "A7", "9b"), con un espacio de etiquetas de 3.364 posibilidades (excluyendo caracteres visualmente ambiguos como 'l', 'I', 'J', 'O').
• Condiciones de Control: Para desvincular la agrupación perceptual del reconocimiento de caracteres, los modelos también se evalúan en las Máscaras de Texto binarias (tarea de control) junto con los Patrones Ishihara.

Configuración Experimental

• Modelos Evaluados: Se probaron nueve MLLMs de última generación, incluyendo modelos comerciales basados en API (GPT-4.1, GPT-4.1 mini, Claude 3.7 Sonnet, Qwen VL Max, Pixtral) y modelos de código abierto (variantes de LLaVA-v1.6, Mistral-small3.1).
• Baselines:
  • Desempeño Humano: 16 voluntarios con visión de color normal evaluaron 100 imágenes por tarea.
  • Visión Computacional Tradicional: Un modelo ResNet50 ajustado (entrenado con 2.000 muestras) sirvió como baseline de visión por computadora.
• Protocolo de Evaluación: Se instó a los modelos a producir el texto exacto en un formato estricto. El desempeño se midió mediante la precisión de coincidencia exacta. El estudio también incluyó estudios de ablación sobre la resolución de la imagen e investigaciones sobre el aprendizaje en contexto y la capacidad de ajuste fino (fine-tuning).

Resultados Clave

Brecha de Desempeño

La evaluación revela un déficit de desempeño estrepitoso en los MLLMs en comparación con los humanos y los baselines de visión por computadora tradicional:

• Baseline Humano: Logró un desempeño cercano al techo (99.37% en numérico, 93.25% en alfanumérico).
• Baseline ResNet50: Logró una alta precisión (96.5% en numérico, 94.5% en alfanumérico), demostrando que la tarea es resoluble para arquitecturas capaces de aprender características de grano fino.
• Desempeño de MLLM:
  • Tarea Numérica: El modelo con mejor desempeño (GPT-4.1) logró solo un 33.6% de precisión. Otros modelos oscilaron entre un 19.0% y casi el 0%.
  • Tarea Alfanumérica: El desempeño colapsó aún más. GPT-4.1 logró solo un 3.0%, mientras que la mayoría de los otros modelos puntuaron 0% o cerca de cero.
  • OCR vs. Percepción: Mientras que los modelos mantuvieron una alta precisión (>80%) en las Máscaras de Texto binarias (demostrando un OCR funcional), su desempeño cayó drásticamente en los Patrones Ishihara. Esto indica que el fallo radica en la agrupación perceptual y la extracción de características del desorden, no en el reconocimiento de caracteres en sí mismo.

Modos de Fallo

El análisis cualitativo identificó tres patrones de fallo distintos en los MLLMs:

1. Alucinación: Generar texto no relacionado y excesivamente complejo (por ejemplo, frases como "MUST SEE") cuando el procesamiento visual se ve abrumado.
2. Evasión: Describir la imagen como una "prueba de color" o declarar explícitamente la incapacidad para realizar la tarea, en lugar de intentar una suposición.
3. Salidas Erráticas: Producir cadenas aleatorias, patrones repetitivos o números sin sentido, lo que indica una falta de extracción estable de características visuales.

Hallazgos Adicionales

• Aprendizaje en Contexto (In-Context Learning): Proporcionar ejemplos de pocos disparos (few-shot) no mejoró el desempeño; en muchos casos, degradó los resultados, sugiriendo que la complejidad visual de los ejemplos introduce ruido.
• Ajuste Fino (Fine-Tuning): Ajustar un modelo (Gemma-3-4B) en las imágenes con patrones no mejoró el desempeño y, de hecho, destruyó su capacidad para resolver la tarea de la máscara simple, indicando que los modelos aprendieron a producir cadenas plausibles en lugar de aprender la habilidad perceptual.
• Ablación de Resolución: Reducir la resolución de la imagen (submuestreo) mejoró inesperadamente el desempeño para el mejor modelo (GPT-4.1), sugiriendo que el submuestreo actúa como un filtro de paso bajo que suaviza el ruido de alta frecuencia, haciendo que las formas de los caracteres sean más prominentes.
• Correlación con el Mundo Real: Se encontró una fuerte correlación positiva ($\rho = 0.82$) entre el desempeño en HueManity y los rankings en el benchmark Vision Arena, sugiriendo que los déficits de percepción de grano fino se correlacionan con el desempeño general en tareas multimodales del mundo real.

Significado y Reivindicaciones

El artículo afirma que HueManity expone una debilidad crítica en el anclaje perceptual de los MLLMs actuales. Los autores argumentan que:

1. Limitaciones Arquitectónicas: El fallo se debe probablemente a cuellos de botella arquitectónicos (por ejemplo, los Vision Transformers que dividen las imágenes en parches, las capas de proyección que actúan como cuellos de botella de información) y objetivos de pre-entrenamiento optimizados para la semántica de alto nivel en lugar de para el detalle de bajo nivel.
2. Utilidad Diagnóstica: El benchmark sirve como una potente herramienta de diagnóstico. La fuerte correlación con benchmarks del mundo real implica que mejorar la percepción de grano fino es esencial para desplegar MLLMs en aplicaciones críticas para la seguridad.
3. Dirección de Investigación: Los hallazgos sugieren que los modelos actuales no pueden simplemente "aprender" estas habilidades mediante el ajuste fino estándar o el aprendizaje en contexto. El trabajo futuro debe centrarse en nuevas arquitecturas que preserven la información visual de bajo nivel y en objetivos de entrenamiento que fomenten explícitamente una agudeza visual robusta independiente del razonamiento semántico.

Los autores liberan el conjunto de datos y el código de generación para facilitar la investigación reproducible y las extensiones impulsadas por la comunidad en este dominio.