Resumen Técnico: Emergencia de Representaciones Visuales Semánticas a partir del Aprendizaje Auto-supervisado Corpóreo

Planteamiento del Problema

Los principios que impulsan el desarrollo de la percepción visual humana, particularmente la adquisición del reconocimiento de objetos semánticos con una supervisión mínima, siguen siendo insuficientemente comprendidos. Si bien existen sistemas de visión artificial de alto rendimiento, estos dependen de datos de entrenamiento y mecanismos (por ejemplo, recorte agresivo, enmascaramiento) que difieren drásticamente del aprendizaje humano. Por el contrario, los modelos bioinspirados de la visión humana suelen fallar en capturar capacidades de reconocimiento semántico ricas. Existe una brecha crítica en la comprensión de cómo los humanos cierran la división entre el rendimiento de nivel humano y los principios de aprendizaje similares a los humanos. Específicamente, no está claro si la estructura estadística de las señales visuales y motoras concurrentes durante la interacción corpórea es suficiente para impulsar la emergencia de representaciones visuales similares a las humanas sin etiquetas semánticas explícitas o entrada de lenguaje.

Metodología

Los autores introducen el Aprendizaje Auto-supervisado Corpóreo (E-SSL, por sus siglas en inglés), un marco computacional diseñado para modelar el aprendizaje visual humano utilizando dos principios no supervisados fundamentales: Consistencia Temporal (TC) y Contingencias Sensoriomotoras (SMC).

Datos y Entrada

El marco se entrena con Nymeria, un conjunto de datos a gran escala que comprende 300 horas de video naturalista en primera persona (egocéntrico) grabado con cámaras montadas en la cabeza (gafas ARIA). El conjunto de datos incluye:

• Entrada Visual: Recortes de 224 × 224 centrados en la ubicación de la mirada del participante.
• Señales Motoras: Movimientos oculares (traslación de la mirada) y movimientos de la cabeza (rotación y traslación derivadas de IMU y seguimiento ocular).
• Preprocesamiento: Se muestrean pares de imágenes temporalmente adyacentes ($x_t, x_{t+\delta t}$). Para simular condiciones de iluminación diversas y consistentes en el tiempo, se aplican transformas de color idénticas a ambas imágenes en un par.

Objetivos de Aprendizaje

El modelo aprende mediante dos funciones de pérdida complementarias implementadas utilizando arquitecturas SSL estándar (MoCoV3, SimCLR, VICReg):

1. Consistencia Temporal (TC): Fomenta embeddings similares ($z_t, z_{t+\delta t}$) para entradas visuales temporalmente adyacentes, asumiendo que los objetos y las escenas permanecen estables durante intervalos de tiempo cortos.
2. Contingencias Sensoriomotoras (SMC): Alinea un vector de movimiento parametrizado ($m'_{t, t+\delta t}$) con un embedding de la transición visual ($m_{t, t+\delta t}$) derivado de la concatenación de las representaciones visuales antes y después del movimiento. Esto obliga al modelo a aprender la relación entre las acciones motoras y sus consecuencias visuales.

Protocolo de Evaluación

Las representaciones aprendidas se evalúan mediante linear probing en una variedad de tareas posteriores sin etiquetas semánticas adicionales durante el pre-entrenamiento:

• Reconocimiento de Objetos/Escenas: ImageNet-1k, Cifar10, Places365.
• Segmentación Semántica/de Instancia: PascalVOC, DAVIS.
• Estimación de Profundidad: NYUv2.
• Estimación de Pose: MVImgNet.
• Benchmarks del Desarrollo: Reconocimiento de pocos ejemplos (few-shot) de atributos (color, textura, tamaño) y caricaturas de formas para comparar con niños pre-verbales.
• Alineación Neurobiológica: Análisis de Similitud Representacional (RSA) contra datos de fMRI de la corteza visual ventral de lactantes (2 meses, 9 meses) y adultos.

Contribuciones Clave y Resultados

1. Emergencia de Representaciones Semánticas

E-SSL, entrenado únicamente con la experiencia humana sin lenguaje ni supervisión explícita, logra un 71.04% de precisión Top-5 en ImageNet-1k. Esto supera sustancialmente a los modelos bioinspirados establecidos como Prednet (por hasta un 58.73%) y otros modelos de vanguardia no supervisados (LPL, SH, SCFF), a pesar de que estos últimos fueron evaluados con datos in-distribution mientras que E-SSL fue pre-entrenado con datos egocéntricos out-of-distribution. El modelo reduce la brecha de rendimiento con los humanos adultos en aproximadamente 10–20 puntos porcentuales.

2. Alineación con el Desarrollo Pre-verbal

Las representaciones aprendidas por E-SSL exhiben propiedades similares a las de los niños pre-verbales:

• Prototipos de Atributos: El modelo forma con éxito prototipos fiables de color, textura y tamaño.
• Sesgo de Forma: Mientras que la TC por sí sola favorece la codificación de la textura, la adición de SMC potencia la codificación de la forma, reflejando el cambio de desarrollo en niños pequeños (alrededor de los 18 meses) que comienzan a priorizar la forma sobre la textura.
• Alineación Neural: Las representaciones de E-SSL muestran una correlación significativamente mayor con los datos de fMRI de la corteza visual ventral de lactantes de 9 meses ($\rho = 0.289$) en comparación con las líneas base aleatorias o Prednet, lo que sugiere que captura la geometría visual del cerebro infantil.

3. El Rol de la Locomoción Auto-inducida

Los experimentos que simulan diferentes condiciones corpóreas revelan que la alineación visuomotora es crítica:

• Corpóreo vs. Marioneta (Puppet): Los agentes con señales motoras y visuales alineadas ("Corpóreos") superan consistentemente a aquellos con señales no correlacionadas ("Marionetas").
• Movimiento de la Cabeza: Eliminar las señales de movimiento de la cabeza dificulta significativamente el aprendizaje, mientras que eliminar las señales de movimiento ocular tiene un impacto menor.
• Tiempo: El acceso temprano a señales visuomotoras alineadas (simulando la locomoción temprana) produce un mejor rendimiento que la alineación tardía, prediciendo que el inicio de la locomoción propia mejora sustancialmente la percepción visual.

4. Especialización Funcional (Vía Ventral vs. Dorsal)

El estudio demuestra que la TC y la SMC inducen naturalmente una organización funcional que se asemeja a la arquitectura de doble vía de la corteza visual humana:

• Vía Ventral (Semántica): Las tareas como el reconocimiento de objetos y escenas funcionan mejor con un peso de SMC intermedio y escalas temporales intermedias ($\Delta T \approx 2s$).
• Vía Dorsal (Acción/Geometría): Las tareas que requieren razonamiento espacial y estimación de pose se benefician de un peso de SMC más fuerte y escalas temporales más cortas ($\Delta T \approx 0.2s$).
• Divergencia de Gradiente: El análisis de gradientes muestra que las neuronas y los pesos involucrados en la optimización de TC y SMC divergen progresivamente en las capas más profundas de la red, reflejando la separación anatómica de las vías ventral y dorsal.

Significado y Reivindicaciones

El artículo postula que la Consistencia Temporal y las Contingencias Sensoriomotoras constituyen principios fundamentales que subyacen al desarrollo visual humano. La principal significación de este trabajo reside en:

1. Cerrar la Brecha: Demostrar que los principios de aprendizaje bioinspirados, cuando se aplican a la experiencia humana a gran escala, pueden producir representaciones visuales semánticas que rivalizan con los modelos bioinspirados actuales y se acercan al rendimiento humano.
2. Perspectivas del Desarrollo: Proporcionar un marco computacional para probar rigurosamente hipótesis sobre cómo experiencias específicas (por ejemplo, el inicio de la locomoción) moldean el desarrollo visual, prediciendo que la locomoción propia facilita tanto el aprendizaje espacial como el semántico.
3. Orígenes Neuroanatómicos: Sugerir que la especialización funcional de las vías ventral y dorsal puede emerger de la dinámica de aprendizaje no supervisado general (TC y SMC) en lugar de estar rígidamente especificada por restricciones arquitectónicas innatas.
4. IA Bioinspirada: Ofrecer una alternativa a los enfoques estándar de aprendizaje automático que dependen de transformaciones artificiales, proponiendo que la estructura estadística de la interacción corpórea es una vía viable para el aprendizaje de representaciones visuales robustas.

Los autores reconocen que, aunque E-SSL reduce la brecha, persiste una diferencia de rendimiento en comparación con los niños pequeños (particularmente en el sesgo de forma y el reconocimiento de formas abstractas), probablemente debido a la ausencia de lenguaje, la interacción social y el uso de datos de adultos en lugar de lactantes para el entrenamiento.