An extremely coarse feedback signal is sufficient for learning human-aligned visual representations

Resumen Técnico: Una Señal de Retroalimentación Extremadamente Gruesa es Suficiente para Aprender Representaciones Visuales Alineadas con el Ser Humano

Enunciado del Problema
Un descubrimiento fundamental en neurociencia computacional es que las redes neuronales profundas entrenadas en tareas visuales desarrollan representaciones internas que se asemejan al sistema visual de los primates. Sin embargo, el campo ha evolucionado progresivamente hacia señales de supervisión cada vez más finas, que van desde la clasificación de objetos en mil categorías hasta objetivos auto-supervisados contrastivos que distinguen imágenes individuales. Persiste una pregunta crítica e inexplorada: ¿qué tan complejo debe ser un objetivo de optimización para producir representaciones similares al cerebro? Aunque el desarrollo biológico procede a través de distinciones gruesas (por ejemplo, animado vs. inanimado) antes de la categorización subordinada, no está claro si la retroalimentación fina utilizada en la IA moderna es necesaria o incluso óptima para lograr una alineación con la percepción humana y las respuestas neuronales.

Metodología
Para investigar sistemáticamente el papel de la granularidad de la señal de supervisión, los autores desarrollaron un procedimiento impulsado por datos y agnóstico a la modalidad para generar etiquetas de categorías gruesas directamente a partir de la estructura estadística de las entradas visuales, evitando la anotación manual.

• Procedimiento de Granulación: Utilizando una red fuente preentrenada (por ejemplo, CLIP, AlexNet, ViT, DINOv3), los autores extrajeron representaciones de características para todas las imágenes de entrenamiento de ImageNet. Calculó los componentes principales (CP) de este espacio de representación. Se creó una partición binaria mediante una división mediana a lo largo del primer componente principal (CP1). Divisiones posteriores a lo largo del CP2, CP3, etc., redujeron a la mitad las particiones de forma recursiva, obteniendo $2^n$ categorías (2, 4, 8, 16, 32, 64).
• Diseño Experimental: Se entrenaron cientos de redes neuronales desde cero en diversas arquitecturas (CNN, ResNet-50, ConvNeXt, Transformadores de Visión) en estas tareas de clasificación gruesa. Todas las variables de entrenamiento (conjunto de datos, aumento, hiperparámetros) se mantuvieron constantes, aislando la granularidad de la supervisión como el único factor experimental.
• Métricas de Evaluación: La alineación representacional se midió utilizando Análisis de Similitud Representacional (RSA). Las representaciones internas de los modelos entrenados se compararon con:
  1. Electrofisiología de Macacos: Respuestas de disparo de múltiples unidades del conjunto de datos de disparos de la vía ventral THINGS (TVSD).
  2. fMRI Humana: Respuestas de fMRI de 7T del Conjunto de Datos de Escenas Naturales (NSD).
  3. Juicios Conductuales Humanos: Incrustaciones de similitud perceptual derivadas de aproximadamente 4,7 millones de ensayos de "el que no encaja" en el conjunto de datos THINGS.

Resultados Clave

1. Alineación Neuronal: Las redes entrenadas con señales extremadamente gruesas (tan pocas como 2 a 8 categorías amplias) lograron una alineación neuronal con la corteza visual tanto de macacos como de humanos que igualó o superó a los modelos entrenados con el objetivo estándar de ImageNet de 1.000 clases. Esto se mantuvo tanto para regiones visuales de bajo nivel (V1) como de alto nivel (IT).
2. Alineación Conductual: Las redes entrenadas de forma gruesa superaron sustancialmente a todos los demás modelos evaluados, incluidos los modelos supervisados de granularidad fina, los modelos auto-supervisados (por ejemplo, DINOv3) y los modelos de visión-lingüística a gran escala (por ejemplo, CLIP), en la alineación con los juicios de similitud perceptual humana. El rendimiento máximo se observó con 4–8 categorías gruesas.
3. Diferencias Cualitativas: La visualización de las geometrías representacionales reveló que la supervisión gruesa no produce simplemente una versión de baja resolución de las representaciones de granularidad fina. En cambio, crea una geometría cualitativamente distinta con un agrupamiento categórico claro de dominios amplios (por ejemplo, animales, alimentos, vehículos) que refleja la percepción humana, mientras que los modelos de 1.000 clases exhiben espacios de similitud más difusos.
4. Eficiencia de Datos: En un régimen de bajos datos, un modelo grueso entrenado con solo ~1% del conjunto de datos de ImageNet logró una mayor alineación conductual que un modelo de 1.000 clases entrenado con el conjunto de datos completo.
5. Generalización: La ventaja de la supervisión gruesa persistió en arquitecturas modernas (ResNet, ConvNeXt, ViT) y no dependió de la red fuente específica utilizada para derivar las etiquetas (los resultados fueron consistentes entre CLIP, AlexNet y divisiones basadas en píxeles, aunque las divisiones basadas en píxeles no lograron alinearse, lo que indica la necesidad de una estructura semántica de alto nivel).

Significado y Afirmaciones
El artículo afirma que las representaciones visuales similares a las humanas emergen de una retroalimentación notablemente gruesa, desafiando la suposición predominante de que se requiere una optimización de granularidad fina para la alineación cerebral.

• Reencuadre de las Señales de Aprendizaje: Los resultados sugieren que los objetivos de optimización necesarios para aprender representaciones alineadas con el cerebro pueden ser mucho más rudimentarios de lo que se pensaba anteriormente. Un objetivo grueso que involucra solo cuatro a ocho dominios amplios puede producir una alineación superior con la percepción humana en comparación con el reconocimiento de granularidad fina.
• Ruta Principiada hacia la IA: La retroalimentación categórica gruesa ofrece una ruta principista y libre de anotaciones para construir sistemas de IA con representaciones internas mejor alineadas con la percepción humana. Este enfoque no requiere optimización directa sobre grandes conjuntos de datos conductuales humanos.
• Plausibilidad Biológica: Los hallazgos se alinean con la evidencia del desarrollo de que la categorización visual temprana depende de distinciones gruesas. Los autores sugieren que mecanismos biológicos, como la retroalimentación desde la corteza prefrontal, señales de recompensa dopaminérgicas o proyecciones talámicas, podrían proporcionar tales señales de supervisión gruesa durante el desarrollo.
• Direcciones Futuras: Este trabajo abre un camino hacia currículos jerárquicos donde la retroalimentación gruesa establece un andamiaje representacional para el aprendizaje de granularidad fina posterior, y sugiere que la supervisión a escala gruesa podría servir como base para modelos de visión de propósito general.