💻 computer science

Human-AI Perceptual Alignment by Playing Hues and Cues

Este artículo introduce un novedoso marco de evaluación que utiliza el juego de mesa Hues and Cues para evaluar la alineación perceptiva humano-IA en el color, revelando que, si bien los Modelos de Lenguaje-Visión Contrastivos replican los sesgos humanos para objetos concretos, fallan sistemáticamente en dominios abstractos debido a la clasificación semántica errónea y al colapso de la incertidumbre, un problema mitigado más eficazmente por conjuntos de datos de preentrenamiento curados que por corpus masivos no curados.

Autores originales: Nuria Alabau-Bosque, Jorge Vila-Tomás, Paula Daudén-Oliver, Pablo Hernández-Cámara, Valero Laparra, Jesús Malo

Publicado 2026-08-10

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nuria Alabau-Bosque, Jorge Vila-Tomás, Paula Daudén-Oliver, Pablo Hernández-Cámara, Valero Laparra, Jesús Malo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a ver el mundo, no solo reconociendo formas, sino comprendiendo el sentimiento de las cosas. En el mundo de la inteligencia artificial, existe un tipo especial de cerebro llamado "Modelo de Visión y Lenguaje". Piensa en estos modelos como estudiantes superinteligentes que han leído miles de millones de libros y han visto miles de millones de fotos de internet. Son excelentes diciendo: "Eso es un perro" o "Eso es un coche". Pero, ¿pueden entender el color de un perro? ¿Pueden saber que un plátano suele ser amarillo, no porque sea físicamente amarillo en cada una de las fotos, sino porque nuestro cerebro tiene un "recuerdo" de que los plátanos son amarillos? Esta es la parte complicada: el color humano no se trata solo de la luz golpeando nuestros ojos; se trata de nuestra cultura, nuestros recuerdos y nuestras historias compartidas. Los científicos quieren saber si estos estudiantes de IA están aprendiendo a ver como los humanos, o si solo están adivinando basándose en los extraños patrones que encontraron en sus enormes pilas de datos.

Para averiguarlo, un equipo de investigadores decidió jugar un juego. No usaron gráficos aburridos o pruebas matemáticas complejas. En su lugar, usaron un juego de mesa llamado "Hues and Cues" (Tonos y Pistas). Imagina un tablero gigante con 480 pequeños cuadrados, cada uno de un color ligeramente diferente, dispuestos como un mapa del arcoíris. El juego funciona así: alguien dice una palabra (como "Plátano" o "Esperanza") y tú tienes que señalar el cuadrado en el tablero que mejor coincida con esa palabra. Suena simple, pero revela cómo nuestros cerebros conectan las palabras con los colores. Los investigadores usaron este juego para probar 162 modelos de IA diferentes, pidiéndoles que jugaran junto con 325 humanos reales. Querían ver si las "conjeturas" de la IA coincidían con la "memoria" de la multitud, o si la IA se estaba perdiendo en su propia cabeza.

Esto es lo que pasó cuando los robots se sentaron a jugar.

La Configuración: Un Juego de Mesa Digital
Los investigadores construyeron una versión digital del tablero "Hues and Cues". Este tablero tenía 480 cuadrados de colores distintos, mapeados de modo que pudieran medirse científicamente. Reunieron a un grupo masivo de 325 personas para jugar al juego en sus propios teléfonos y computadoras. Se le pidió a cada persona que asociara 100 palabras diferentes con el mejor color del tablero. Algunas palabras eran fáciles y físicas, como "Plátano" o "Sangre". Otras eran complicadas y abstractas, como "Esperanza", "Feminismo" o "Cultura Pop".

Para asegurar que la IA no se desviara del protocolo, los investigadores dieron a los modelos exactamente el mismo tablero digital. El trabajo de la IA era mirar una palabra y elegir los 5 mejores cuadrados de color que creía que encajaban mejor. Los investigadores luego compararon las elecciones de la IA con el "Consenso Humano", el promedio de las respuestas dadas por las personas reales. Incluso calcularon una "Tasa de Error Humano", que es básicamente cuánto discrepan los humanos entre sí. Esto les dio una base perfecta: si una IA es tan buena como un humano, debería cometer aproximadamente la misma cantidad de "errotes" que una persona.

El Gran Descubrimiento: El "Colapso Azul"
Los resultados fueron una mezcla de victorias impresionantes y un fallo sistemático muy extraño.

Primero, las buenas noticias: Cuando las palabras trataban sobre objetos reales y físicos, la IA era sorprendentemente buena. Para cosas concretas como "Plátano", "Calabaza" o "Cerdo", los modelos de IA a menudo elegían los mismos colores que los humanos. Entendían que los plátanos son amarillos y los cerdos son rosas. De hecho, para algunos de estos objetos físicos, la IA fue tan precisa que incluso coincidió con el color de la memoria "idealizada" que tienen los humanos, en lugar de solo el color literal de una foto específica. Esto sugiere que, cuando hay una realidad física clara, la IA puede aprender la "vibra" humana.

Sin embargo, cuando el juego pasó a conceptos abstractos o culturales, la IA chocó contra un muro. Para palabras como "Esperanza", "Rabia", "Feminismo" o incluso "Tractor" (que tiene un significado cultural específico en España), la IA dejó de tener sentido. En lugar de elegir un color que coincidiera con el sentimiento o la cultura, los modelos empezaron a hacer algo extraño: todos colapsaron en un único color predeterminado.

Los investigadores descubrieron que, cuando la IA no sabía la respuesta, no adivinaba al azar. En su lugar, casi siempre elegía un tono específico de azul (una coordenada que llaman "I18" en el tablero). Era como si el cerebro de la IA sufriera un cortocircuito y dijera: "No sé qué significa esto, así que elegiré el azul". Esto sucedía una y otra vez, independientemente de si la palabra era "Invierno", "Stitch" (de la película) o "Axolote".

¿Por qué sucedió esto?
El equipo investigó más a fondo para descubrir por qué la IA estaba tan obsesionada con el azul. Probaron los modelos con palabras "sin sentido", cosas que no tienen significado alguno, como letras aleatorias o palabras de parada como "el" y "y". Descubrieron que alrededor del 42% de los modelos tenían un sesgo incorporado. Cuando veían palabras sin sentido, no adivinaban al azar; por defecto, elegían colores específicos, a menudo ese mismo azul o a veces amarillo.

Esto reveló un fallo crítico: la IA no estaba realmente "entendiendo" la palabra "Esperanza". Simplemente estaba siguiendo un patrón que aprendió de sus datos de entrenamiento. Debido a que internet tiene muchas imágenes del cielo y el agua (que son azules), la IA aprendió que cuando está confundida, el "azul" es una apuesta segura. Es como un estudiante que, cuando no sabe la respuesta a una pregunta de historia, simplemente escribe "Azul" porque vio esa palabra muchas veces en su libro de texto.

El Papel de la Calidad de los Datos
Los investigadores también analizaron cómo fue entrenada la IA. Compararon modelos entrenados con pilas masivas y desordenadas de datos de internet (como el conjunto de datos LAION) con modelos entrenados con conjuntos de datos más pequeños, cuidadosamente limpios y curados.

Descubrieron que los conjuntos de datos masivos y desordenados no hacían que la IA fuera más inteligente con los colores. De hecho, los modelos entrenados con los datos de alta calidad, cuidadosamente seleccionados, eran mucho mejores para coincidir con los colores humanos. El tamaño de los datos no importaba tanto como la calidad. Es como estudiar para un examen: leer un millón de publicaciones de blogs aleatorias y sin editar puede darte muchos hechos, pero leer un libro de texto bien editado te ayuda a comprender mejor los conceptos. Los modelos "limpios" cometían menos errores y eran menos propensos a colapsar en ese color azul predeterminado.

La Conclusión
Entonces, ¿qué significa todo esto? El artículo muestra que, si bien la IA se está volviendo muy buena reconociendo objetos físicos y sus colores, todavía lucha con el lado desordenado, cultural y emocional de la percepción humana. Cuando la IA se confunde, no admite la incertidumbre; simplemente recurre a un color "seguro", generalmente el azul, basado en lo que vio con más frecuencia en sus datos de entrenamiento.

Los investigadores sugieren que, para que la IA nos entienda verdaderamente, no podemos simplemente alimentarla con más datos. Necesitamos enseñarle a manejar la incertidumbre sin colapsar, y necesitamos usar datos mejores y más limpios para ayudarla a aprender las reglas sutiles y culturales del color que los humanos seguimos de forma natural. El juego de "Hues and Cues" demostró que, incluso los modelos de IA más inteligentes, todavía tienen un largo camino por recorrer antes de que puedan ver realmente el mundo de la misma manera que nosotros.

Resumen Técnico: Alineación Perceptual Humano-IA mediante el juego Hues and Cues

Planteamiento del Problema
Los actuales Modelos de Visión y Lenguaje Contrastivos (CVLM), como CLIP y sus variantes, han demostrado capacidades robustas de cero disparos (zero-shot) y fuertes vínculos semánticos entre características visuales y lenguaje natural. Sin embargo, persisten brechas fundamentales en su fundamentación perceptiva fina, particularmente en lo que respecta al color. Los bancos de pruebas tradicionales suelen pasar por alto la naturaleza matizada, anclada culturalmente y con sesgos cognitivos de la percepción del color humano (por ejemplo, los "colores de la memoria"). Además, aunque se sabe que los CVLM sufren de alucinaciones semánticas o colapsos de distribución al enfrentarse a conceptos abstractos, la literatura aún no ha conectado estos fenómenos para explorar cómo la ambigüedad semántica desencadena colapsos cromáticos sistemáticos dentro de un espacio fundamentado psicofísicamente. Los métodos de evaluación existentes, que dependen de cuadros delimitadores rígidos o selectores de color continuos, no logran capturar los matices subjetivos y centrados en el ser humano de la asociación de colores.

Metodología
Los autores proponen un nuevo marco de evaluación que aprovecha el espacio de color discreto y gamificado del juego de mesa Hues and Cues para evaluar la alineación perceptual de 162 CVLM frente a una base de referencia humana robusta.

Entorno Experimental: El estudio utiliza el tablero de Hues and Cues, una cuadrícula de $16 \times 30$ que contiene 480 colores únicos discretos. Estas celdas se mapean al diagrama de cromaticidad CIE $xy$, transformando las coordenadas subjetivas de la cuadrícula en un espacio colorimétrico objetivo y medible. Este espacio discreto supera los problemas del espacio de búsqueda infinito de los selectores de color continuos.
Adquisición de la Base de Referencia Humana: Se utilizó una interfaz digital personalizada para recolectar asociaciones de color para un vocabulario curado de 100 palabras (que abarca siete categorías semánticas: Animal, Alimento, Mineral, Planta, Entorno, Subjetivo y Cultura Pop) de 325 observadores humanos. El conjunto de datos se filtró para excluir a participantes con Deficiencia de Visión de Color (CVD), resultando en una cohorte validada de 316 tricrómatas normales. Para establecer un límite inferior empírico para el error, los autores calcularon una base de "Consistencia Humana" utilizando validación cruzada de dejar uno fuera (Leave-One-Out, LOO), cuantificando el ruido inherente y el desacuerdo semántico dentro de la propia población humana.
Evaluación del Modelo: El estudio evaluó 162 modelos a través de varias familias arquitectónicas (OpenAI, SigLIP, EVA, MobileCLIP, CoCa, etc.) y conjuntos de datos de preentrenamiento (que van desde masivos raspados de la web no curados como LAION hasta altamente curados como DataComp y DFN). Para cada palabra, se le pidió a los modelos que recuperaran los 5 parches de color más semánticamente similares del tablero de 480 celdas.
Métricas:
- Distancia de Mahalanobis: Utilizada para detectar valores atípicos midiendo la distancia de la predicción Top-1 de un modelo respecto a la distribución del consenso humano (modelada como una distribución normal bivariante).
- Prueba de $T^2$ de Hotelling: Utilizada para evaluar la alineación de la distribución entre la "nube de confianza" Top-5 del modelo y el conjunto de respuestas humanas.
- Base de Referencia de Sin Sentido (Nonsense Baseline): Para distinguir entre la clasificación errónea semántica y el colapso de incertidumbre, los modelos fueron probados con 16 entradas sin sentido semántico (números, palabras de parada, pseudopalabras, cadenas aleatorias). Este protocolo identifica si los modelos recurren a un prior cromático específico (por ejemplo, un "sesgo azul") cuando se enfrentan a la ambigüedad.
Categorización: El tablero de 480 celdas fue teselado en ocho categorías de color fundamentales (Marrón, Rojo, Naranja, Amarillo, Verde, Azul, Púrpura, Rosa) para permitir el análisis cualitativo de la severidad semántica (por ejemplo, distinguir un error menor de coordenadas de un fallo categórico).

Resultados Clave

Divergencia entre Concreto vs. Abstracto: Los CVLM replican con éxito los sesgos cognitivos humanos para referentes físicos concretos (por ejemplo, Banana, Calabaza, Cerdo), igualando o incluso superando la consistencia humana en las predicciones Top-1. Sin embargo, divergen sistemáticamente en los dominios abstractos, subjetivos y de cultura pop (por ejemplo, Esperanza, Feminismo, Tractor).
Modos de Fallo: Se identificaron dos modos de fallo distintos en conceptos severamente desalineados:
1. Clasificación Semántica Errónea: El modelo asocia un concepto con una categoría de color completamente incorrecta (por ejemplo, predecir Verde para Trigo o Rosa para Rubí).
2. Colapso de Incertidumbre: Ante la ambigüedad semántica, los modelos no muestrean de forma aleatoria, sino que colapsan sistemáticamente en una coordenada azul por defecto (específicamente I18, un gris-azul acromático), ignorando las propiedades visuales reales del concepto.
Curación de Datos vs. Escala: La calidad de los datos de preentrenamiento resultó ser más crítica que el volumen bruto. Los modelos entrenados con conjuntos de datos altamente curados o propietarios (por ejemplo, DataComp, DFN, WebLI) demostraron distribuciones de error significativamente más ajustadas y menores tasas de fallo en comparación con aquellos entrenados con raspados masivos y no curados de la web (por ejemplo, LAION, YFCC).
Incertidumbre y Sesgo: Aproximadamente el 42% de los modelos evaluados exhibieron comportamientos sesgados bajo la "Base de Referencia de Sin Sentido", ya sea colapsando en un color focal específico o en una coordenada acromática neutra. Esto indica un riesgo de falsos positivos donde la aparente alineación semántica de un modelo puede ser un artefacto de su prior cromático intrínseco en lugar de una comprensión genuina.
Diferencias Arquitectónicas: Mientras que las arquitecturas más nuevas como CoCa y EVA mostraron distribuciones de error de cola larga, las arquitecturas compactas como MobileCLIP exhibieron distribuciones más estrechas, acercándose a menudo a las bases de referencia humanas en categorías concretas.

Significancia y Reivindicaciones
El artículo sostiene que, a pesar de sus capacidades de categorización amplia, los CVLM actuales no logran capturar el consenso matizado y localizado de la memoria de color humana, particularmente en dominios abstractos. El estudio destaca que:

Las tareas gamificadas son herramientas efectivas para exponer los sesgos subyacentes de los modelos y los fallos de abstracción que las estrategias de prueba tradicionales pasan por alto.
La curación de datos es un mecanismo más efectivo para mitigar desalineaciones perceptivas severas que aumentar la complejidad del modelo o el volumen de datos de entrenamiento.
El colapso de incertidumbre hacia coordenadas cromáticas por defecto es un problema sistémico en los CVLM, análogo a las alucinaciones en otros dominios, lo que puede conducir a evaluaciones engañosas de la comprensión semántica.
El marco propuesto proporciona un método riguroso y reproducible para establecer un límite inferior empírico para el rendimiento de los modelos, distinguiendo entre la fundamentación semántica genuina y la coincidencia estadística.

Los autores enfatizan que sus hallazgos subrayan la necesidad de desplegar tareas centradas en el ser humano para revelar deficiencias cognitivas latentes en los CVLM modernos, en lugar de depender únicamente de bancos de pruebas de categorización amplia. Todos los datos y el código se han puesto a disposición pública para facilitar la prueba de métricas adicionales.

Más como este