Bidirectional representational alignment between biological and artificial neural networks

Resumen Técnico: Alineación Representacional Bidireccional entre Redes Neuronales Biológicas y Artificiales

Planteamiento del Problema
Investigaciones recientes en neurociencia computacional y aprendizaje automático han establecido que la alineación representacional entre redes neuronales biológicas y artificiales es inherentemente asimétrica. Específicamente, las representaciones de los modelos artificiales predicen las respuestas neuronales biológicas (predictividad hacia adelante o forward predictivity) significativamente mejor de lo que las respuestas biológicas predicen las representaciones del modelo (predictividad inversa o reverse predictivity). Si bien la optimización de tareas puede recuperar principios fundamentales de la representación neuronal, las mejoras en el rendimiento de la tarea no siempre se correlacionan con una mejora en la alineación. Esta asimetría plantea una pregunta crítica: ¿contribuye la geometría representacional de las características aprendidas a esta desalineación bidireccional? Los autores hipotetizan que la geometría espectral de las representaciones puede ser dirigida sistemáticamente durante el entrenamiento para modular esta alineación.

Metodología
Para probar esta hipótesis, los autores desarrollaron un marco computacional que integra la regularización espectral con análisis de predictividad bidireccional.

• Modelo y Conjunto de Datos: El marco se implementó utilizando modelos de visión contrastiva autosupervisada (SimCLR con un codificador ResNet-50). El entrenamiento utilizó un subconjunto de ImageNet-1k, mientras que la evaluación empleó un referente de la corteza temporal inferior (IT) de macaco para las respuestas neuronales a 3,200 estímulos visuales.
• Direccionamiento Espectral (Spectral Steering): La innovación central consiste en añadir un término de regularización espectral a la pérdida contrastiva estándar InfoNCE. Este término penaliza las desviaciones de un exponente de decaimiento espectral objetivo ($\hat{\alpha}$) en el espectro de autovalores de las representaciones aprendidas.
  • La regularización se aplica a las activaciones de encoder.layer4.0.bn1, una capa conocida por su fuerte predictividad hacia adelante.
  • El exponente espectral $\alpha$ se estima mediante mínimos cuadrados ordinarios sobre el espectro log-log de la varianza explicada normalizada (componentes principales 5–15).
  • La función de pérdida total es $L_{total} = L_{InfoNCE} + \lambda|\alpha - \hat{\alpha}|$, donde $\lambda$ controla la fuerza de la regularización.
• Métricas de Evaluación:
  • Predictividad hacia adelante (Forward Predictivity): Mide qué tan bien las activaciones del modelo predicen las respuestas neuronales (regresión de Ridge del modelo hacia la neurona).
  • Predictividad inversa (Reverse Predictivity): Mide qué tan bien las respuestas neuronales predicen las activaciones del modelo (regresión de Ridge de la neurona hacia el modelo).
  • Predictividad Bidireccional (BPI): Una métrica compuesta ($BPI = \frac{2R_{fwd}R_{rev}}{R_{fwd} + R_{rev}}$) que cuantifica la alineación penalizando la asimetría.
  • Dimensionalidad Efectiva: Calculada mediante la razón de participación del espectro de varianza explicada.
• Diseño Experimental: Los modelos fueron entrenados con variaciones en los exponentes espectrales objetivo ($\hat{\alpha}$) y en la fuerza de la regularización ($\lambda$). El análisis se realizó basándose en el exponente espectral medido ($\alpha$) en lugar del objetivo, para dar cuenta de los casos en los que la fuerza de la regularización no logró alcanzar el objetivo exacto.

Resultados Clave
Los experimentos demostraron que el direccionamiento de la geometría representacional influye sistemáticamente en la alineación bidireccional:

1. Control de la Geometría Espectral: La regularización espectral dirigió con éxito el exponente espectral medido de las representaciones aprendidas. Una mayor regularización ($\lambda$) produjo una mayor concordancia entre los exponentes medidos y los objetivos.
2. Reducción de la Asimetría:
   • Predictividad Inversa: El aumento del exponente espectral medido ($\alpha$) incrementó sustancialmente la predictividad inversa. Con $\lambda=3$, la varianza explicada inversa mejoró del 12% (línea base) al 29% en el bin de $\alpha$ más alto.
   • Predictividad hacia Adelante: La predictividad hacia adelante mostró una disminución modesta bajo la regularización espectral en comparación con la línea base, pero se mantuvo relativamente estable a través de diferentes valores de $\alpha$ medidos a una fuerza de regularización fija.
   • Predictividad Bidireccional: El efecto neto fue una mejora significativa en la predictividad bidireccional, pasando de aproximadamente un 20% a un 31% (una mejora relativa del 55%). Esto indica una reducción sustancial de la asimetría entre la dirección hacia adelante y la inversa.
3. Perspectivas Mecanísticas:
   • Unidades Comunes vs. Únicas: Las mejoras fueron más pronunciadas en las "unidades comunes" (el 20% superior de las unidades del modelo clasificadas por predictividad inversa). En este subconjunto, la predictividad hacia adelante y la inversa se volvieron aproximadamente simétricas en exponentes espectrales intermedios.
   • Dimensionalidad: El aumento de los exponentes espectrales fue acompañado por una reducción en la dimensionalidad efectiva, lo que sugiere que el direccionamiento de la geometría concentra la varianza representacional en menos dimensiones efectivas.
   • Reorganización del Subespacio: Los hallazgos sugieren que la regularización espectral reorganiza preferencialmente el subespacio representacional compartido entre las redes artificiales y biológicas, mejorando la recuperabilidad lineal de la actividad neuronal a partir de las representaciones del modelo.

Significancia y Reivindicaciones
Este artículo proporciona un marco controlado que demuestra que la geometría representacional es una propiedad direccionable que modula directamente la alineación de la predictividad bidireccional.

• Desafío a la Asimetría Fija: Los autores refutan la noción de que la asimetría entre la dirección hacia adelante y la inversa es una propiedad fija de los modelos optimizados para tareas. En su lugar, demuestran que puede reducirse sistemáticamente alterando la geometría espectral durante el aprendizaje.
• La Geometría como Factor Causal: Los resultados apoyan la hipótesis de que la geometría representacional contribuye a la calidad de la alineación. Específicamente, aumentar el exponente espectral mejora la dirección de alineación "inversa" sin una pérdida catastrófica en la dirección "hacia adelante".
• Más allá del Coincidir Exponentes: El estudio señala que la alineación continuó mejorando incluso más allá del exponente espectral ($\alpha \approx 1$) observado típicamente en la corteza visual, lo que sugiere que simplemente igualar las estadísticas espectrales biológicas no es suficiente para maximizar la alineación; más bien, el proceso de direccionamiento induce reorganizaciones beneficiosas.
• Limitaciones y Alcance: Los autores enmarcan estos hallazgos modestamente como una demostración inicial utilizando una arquitectura específica (ResNet-50) y un único referente neuronal. Reconocen que el exponente espectral es solo una caracterización de la geometría y que otras propiedades geométricas también pueden desempeñar un papel. Se requiere trabajo futuro para generalizar estos hallazgos a través de diferentes arquitecturas, objetivos de aprendizaje y conjuntos de datos.

En resumen, esta investigación establece un método para "dirigir" la geometría interna de las redes artificiales para que se alineen mejor con los sistemas biológicos, ofreciendo una nueva vía para la interpretabilidad mecánica y el estudio de la emergencia de la inteligencia.