Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

Resumen Técnico: Desalineación entre la Retropropagación y la Jerarquía de las Respuestas Cerebrales a las Imágenes

Enunciado del Problema
Aunque las redes neuronales profundas (DNN) y el sistema visual de los mamíferos comparten similitudes notables en sus jerarquías representacionales hacia adelante, la plausibilidad biológica de la retropropagación —el algoritmo de aprendizaje central del aprendizaje profundo— sigue siendo una pregunta fundamental sin resolver en la neurociencia computacional. La retropropagación estándar requiere simetría sináptica (transporte de pesos) y un cálculo descendente de los gradientes, mecanismos que se consideran biológicamente implausibles. Aunque trabajos previos han establecido que las activaciones hacia adelante de las DNN se alinean con la jerarquía cortical, sigue siendo desconocido si la jerarquía descendente de los gradientes retropropagados exhibe una correspondencia similar con las respuestas neuronales. Este estudio aborda si el cerebro implementa un mecanismo funcionalmente equivalente a la retropropagación, probando si los gradientes retropropagados se mapean sobre la actividad cerebral humana y si su organización espacial y temporal se alinea con las predicciones algorítmicas de la retropropagación.

Metodología
Los autores emplearon un enfoque de neuroimagen multimodal combinado con análisis de codificación avanzados:

• Fuentes de Datos: El estudio utilizó el conjunto de datos THINGS-MEG (magnetoencefalografía, 4 participantes, 22.500 imágenes) para alta resolución temporal y el Natural Scenes Dataset (fMRI 7T, 8 participantes, 10.000 imágenes) para alta resolución espacial.
• Modelos: El análisis principal se centró en DINOv3 (un Transformer de Visión auto-supervisado de última generación), elegido por su objetivo de aprendizaje no supervisado, que se alinea con la posible dependencia del cerebro en la codificación predictiva. Para garantizar la generalización, los resultados se reprodujeron en ocho modelos de visión diversos, incluyendo CNNs supervisadas, ViTs supervisados y modelos de visión-idioma (CLIP, SigLIP2, etc.).
• Análisis de Codificación: Los autores adaptaron los análisis de codificación lineal estándar para mapear las características del modelo a los datos neuronales.
  • Activaciones hacia adelante: Se extrajeron las activaciones por capa.
  • Gradientes retropropagados: Se calcularon los gradientes utilizando la retropropagación estándar entre redes de profesor y estudiante (para DINOv3) o funciones de pérdida nativas para otros modelos.
  • Retropropagación residual: Para aislar señales específicas de los gradientes, los autores calcularon una puntuación de "Retropropagación residual" restando la puntuación de codificación de las activaciones hacia adelante de la puntuación de codificación de las señales combinadas hacia adelante y hacia atrás.
• Reducción de dimensionalidad: Debido a la alta dimensionalidad de los vectores de gradiente (~4 millones), las señales se proyectaron sobre matrices aleatorias y posteriormente se redujeron mediante Análisis de Componentes Principales (PCA) a 300 dimensiones antes de la codificación.
• Dinámicas de entrenamiento: Un subconjunto de experimentos implicó entrenar DINOv3-S desde cero para observar la evolución de las puntuaciones de codificación a través de las iteraciones de entrenamiento.

Contribuciones Clave

1. Extensión de los análisis de codificación: El estudio extiende la codificación estándar de activaciones hacia adelante para mapear los gradientes retropropagados sobre datos neuronales, proporcionando una prueba directa de los correlatos de la señal de aprendizaje en el cerebro.
2. Mapeo de gradientes residuales: Mediante la introducción de un análisis residual conservador, los autores demuestran que los gradientes retropropagados explican la varianza neuronal que no puede ser accounted por las activaciones hacia adelante por sí solas.
3. Disociación sistemática: El artículo proporciona evidencia empírica de que, mientras que las activaciones hacia adelante se alinean con la jerarquía ascendente del cerebro, los gradientes retropropagados no siguen la organización temporal y espacial descendente esperada predicha por las teorías de retropropagación biológicamente plausible.

Resultados

• Poder predictivo de los gradientes: Los gradientes retropropagados de DINOv3 y otros modelos predicen de manera fiable tanto las señales de fMRI como de MEG, particularmente en la corteza visual de nivel superior y en latencias posteriores. Este mapeo se mantiene a través de arquitecturas diversas y objetivos de aprendizaje.
• Varianza residual: La retropropagación residual (gradientes independientes de las activaciones hacia adelante) predice significativamente la actividad cerebral, codificando específicamente representaciones en la corteza visual tardía (por ejemplo, corteza ventromedial y latero-occipitotemporal) y durante ventanas de tiempo posteriores (0,5 s–1,7 s post-estímulo).
• Desalineación espacial:
  • Paso hacia adelante: Las capas superficiales predicen áreas visuales tempranas (V1), mientras que las capas profundas predicen la corteza asociativa, reflejando una jerarquía ascendente.
  • Paso hacia atrás: Contrario a la predicción descendente de la retropropagación, los gradientes profundos se alinean mejor con las áreas sensoriales tempranas, y los gradientes superficiales se alinean con regiones asociativas. Esto indica una correlación espacial negativa, invirtiendo efectivamente la jerarquía esperada.
• Desalineación temporal:
  • Paso hacia adelante: La codificación alcanza su punto máximo secuencialmente, con las capas superficiales alcanzando el pico antes y las capas profundas después.
  • Paso hacia atrás: Todas las capas de los gradientes retropropagados alcanzan su punto máximo simultáneamente con la capa final del paso hacia adelante. No hay un retraso descendente secuencial; los gradientes no exhiben la jerarquía temporal esperada si las señales de error se propagaran secuencialmente a través de las capas corticales.
• Dinámicas de entrenamiento: Las puntuaciones de paso hacia adelante y de retropropagación aumentan logarítmicamente durante el entrenamiento, expandiéndose hacia regiones de nivel superior y latencias posteriores. En contraste, la retropropagación residual sigue una trayectoria no monótona, alcanzando un pico en 10.000 iteraciones antes de disminuir a medida que las redes de profesor y estudiante convergen.

Significado y Afirmaciones
Los autores concluyen que, aunque las redes profundas y el cerebro pueden compartir un contenido representacional similar (como lo demuestra la alineación de las activaciones hacia adelante), es probable que dependan de mecanismos fundamentalmente diferentes para aprender estas representaciones. El estudio afirma que la organización espacial y temporal observada de los gradientes retropropagados en el cerebro se desvía significativamente de los patrones esperados bajo un mecanismo de retropropagación biológicamente plausible (por ejemplo, propagación secuencial descendente de señales de error).

El artículo postula que estos hallazgos proporcionan restricciones empíricas sobre las teorías del aprendizaje biológico. Si bien los resultados no descartan por completo el aprendizaje basado en gradientes, sugieren que si tales mecanismos existen en el cerebro, no se manifiestan con las firmas espaciales y temporales específicas de la retropropagación estándar. Los autores sugieren que marcos alternativos, como reglas hebbianas locales, aprendizaje contrastivo o arquitecturas de codificación predictiva que no requieren una propagación explícita de gradientes de error, podrían explicar mejor las dinámicas neuronales observadas. El trabajo destaca una brecha potencial entre la eficiencia del aprendizaje biológico y los algoritmos actuales de aprendizaje profundo, sugiriendo que comprender la estrategia de aprendizaje real del cerebro podría inspirar enfoques de aprendizaje automático más eficientes y robustos.