Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space

Resumen Técnico: Comparación Sistemática de Representaciones de Color entre Humanos y Redes Neuronales Profundas

Planteamiento del Problema
La estructura representacional de la percepción del color humana a gran escala aún no se comprende completamente. Aunque los estudios psicofísicos clásicos han medido numerosos pares de colores, estos experimentos están limitados por los costos de tiempo, lo que restringe su alcance a comparaciones de colores similares. En consecuencia, explorar las relaciones globales entre miles de colores ha sido inviable. Aunque las redes neuronales profundas (DNN, por sus siglas en inglés) han surgido como herramientas prometedoras para servir como sustitutos de la percepción humana más allá de los límites de los experimentos tradicionales, persisten dos brechas críticas:

1. No está claro qué arquitecturas específicas de DNN poseen embeddings que se alinean geométricamente con la percepción del color humana.
2. Se desconoce qué paradigma de aprendizaje permite a las DNN adquirir representaciones de color que coincidan estructuralmente con la percepción humana.

Metodología
Para abordar estas brechas, los autores llevaron a cabo una investigación sistemática comparando los embeddings de las DNN frente a juicios de similitud humanos. El estudio se centró en tres paradigmas de aprendizaje distintos:

• Aprendizaje Auto-supervisado (SSL): Entrenado únicamente con imágenes.
• Aprendizaje Supervisado (SL): Entrenado con imágenes y etiquetas de categoría.
• Preentrenamiento de Contraste Lenguaje-Imagen (CLIP): Entrenado con pares imagen-texto.

La evaluación utilizó un método no supervisado riguroso conocido como Transporte Óptimo de Gromov-Wasserstein (GWOT) para comparar las estructuras geométricas de los embeddings de las DNN frente a los datos de similitud humana para 93 colores. Además, aprovechando la escalabilidad de las DNN, los autores extendieron el análisis para investigar la estructura representacional de 4,096 colores, una escala que supera ampliamente el alcance de los experimentos psicofísicos actuales.

Resultos Clave

• Alineación por Capas: A nivel de ítems finos, las capas tempranas de las DNN en los tres paradigmas (SSL, SL y CLIP) demostraron una fuerte alineación con los datos de color humanos.
• Divergencia de Paradigmas: Se observó una divergencia crítica en las capas de salida. Mientras que los modelos SSL y SL perdieron esta alineación en las capas más profundas, solo CLIP mantuvo una representación estructuralmente congruente con los datos humanos en la capa de salida.
• Estructuras a Gran Escala: Al analizar 4,096 colores, las capas tempranas de todos los paradigmas y la salida de CLIP convergieron consistentemente en estructuras características. Estas estructuras ofrecen predicciones plausibles para la representación del color humano a gran escala.

Significancia y Reivindicaciones
El artículo afirma proporcionar un enfoque validado para explorar "territorios desconocidos" de la percepción humana mediante el uso de modelos computacionales que han sido verificados dentro de un espacio empírico limitado (el conjunto de datos de 93 colores). Al identificar a CLIP como el paradigma que mejor preserva la estructura del color similar a la humana en la salida, el trabajo ofrece predicciones específicas para las relaciones globales entre miles de colores. Estas predicciones están destinadas a guiar e informar futuros experimentos psicofísicos a gran escala, cerrando la brecha entre las pruebas humanas factibles y la vastedad del espacio del color.