Resumen Técnico: Difusión de la Culpa en Redes de Doble Flujo Biológicamente Plausibles

Planteamiento del Problema

Los circuitos neuronales biológicos se adhieren al principio de Dale, donde cada neurona es puramente excitatoria o puramente inhibitoria, liberando el mismo neurotransmisor en todas las sinapsis. En contraste, las redes neuronales artificiales (ANN) estándar utilizan pesos con signos arbitrarios, una simplificación que facilita la asignación eficiente de crédito mediante la retropropagación (backpropagation) pero carece de fidelidad biológica. Además, la retropropagación requiere el "problema del transporte de pesos" (weight transport problem): la pasada hacia atrás debe utilizar las transpuestas exactas de las matrices de pesos de la pasada hacia adelante, un mecanismo que no tiene apoyo biológico conocido.

Aunque existen varias alternativas biológicamente plausibles (por ejemplo, Alineación de Retroalimentación, Alineación de Retroalimentación Directa, Codificación Predictiva), la mayoría no logra imponer el principio de Dale, permitiendo signos de peso arbitrarios. La Difusión de Error (ED), una regla de aprendizaje local donde las actualizaciones dependen de la actividad presináptica, las derivadas postsinápticas y un signo de error global, es naturalmente compatible con el principio de Dale. Sin embargo, las implementaciones previas de ED se limitaron a la clasificación binaria o tareas simples como MNIST. El desafío central abordado por este trabajo es si una arquitectura compatible con Dale puede lograr un rendimiento competitivo tanto en clasificación supervisada (incluyendo tareas complejas como CIFAR-10) como en aprendizaje por refuerzo (RL), y cómo los factores dependientes de la tarea influyen en la asignación de crédito bajo estas restricciones.

Metodología

Arquitectura de Doble Flujo

Los autores adoptan una arquitectura de doble flujo para imponer estructuralmente el principio de Dale. Cada capa se divide en un flujo excitatorio ($p$) e inhibitorio ($n$).

• Pasada hacia Adelante (Forward Pass): La preactivación para cada flujo se computa utilizando cuatro matrices de pesos no negativas ($W_{pp}, W_{np}, W_{nn}, W_{pn}$). Las conexiones entre flujos ($W_{np}, W_{pn}$) son estructuralmente inhibitorias (se restan), mientras que todos los parámetros aprendibles permanecen no negativos.
• Sobrecarga de Parámetros: Este diseño requiere aproximadamente $4\times$ más parámetros que una red de flujo único de ancho equivalente.

Regla de Actualización de Difusión de Error (ED)

En lugar de retropropagar errores, ED encamina una señal de error de salida global directamente a las unidades ocultas.

• Enrutamiento de Error por Módulo: Para extender ED más allá de la clasificación binaria, los autores introducen el enrutamiento de error por módulo. A cada unidad oculta $i$ se le asigna un canal de salida fijo $r(i) = i \mod C$ (donde $C$ es la dimensión de salida). La señal de aprendizaje para la unidad $i$ es el componente de error correspondiente a su canal asignado.
• Mecanismo de Actualización: Las actualizaciones de los pesos son proporcionales al producto de la actividad presináptica y el impulso postsináptico enrutado (señal de error modulada por la derivada de la activación). Esto evita el transporte de pesos y las matrices de retroalimentación aleatorias, basándose en una correspondencia estructurada entre las unidades ocultas y las dimensiones de salida.

Innovaciones Específicas del Dominio

El artículo introduce tres innovaciones específicas para el entorno de clasificación (MNIST, CIFAR-10) para abordar los modos de fallo únicos del aprendizaje multiclase bajo las restricciones de Dale:

1. Anchuras de Sigmoide Específicas por Capa: Para contrarrestar el problema del desvanecimiento del gradiente inherente a la difusión de error con compuertas sigmoideas (que mostró una degradación de $25\times$ desde la salida hasta la primera capa oculta), los autores utilizan activaciones sigmoideas más anchas ($\alpha_i$) en las capas más profundas.
2. Señales de Error de Clase Centradas en el Lote (Batch): Para la clasificación de 10 vías, los errores de uno contra todos pueden sufrir fuertes desplazamientos por clase. Los autores restan la media del mini-lote para cada clase para asegurar señales de error de media cero, evitando la supresión o excitación uniforme de los canales de clase.
3. Inicialización Asimétrica: Los pesos excitatorios ocultos se inicializan con una escala de $1.5\times$ y los pesos inhibitorios con una escala de $0.5\times$ (una relación esperada de 3:1), mientras que la capa de salida utiliza una inicialización simétrica para evitar la saturación.

Extensión de Aprendizaje por Refuerzo (ED-PPO)

Para tareas de RL, la arquitectura de doble flujo se integra con la Optimización de Política Próxima (PPO).

• Las redes de política y de valor utilizan la estructura MLP de doble flujo.
• A diferencia del entorno de clasificación, la extensión de RL utiliza activaciones ReLU y normalización RMS, omitiendo las innovaciones específicas de clasificación (anchuras de sigmoide, centrado de lote).
• Las señales de error se enrutan a las unidades ocultas basadas en los canales de salida (para la política) o se transmiten (broadcast) para la red de valor escalar.

Contribuciones Clave

1. Arquitectura Escalable Compatible con Dale: Una arquitectura ED de doble flujo que mantiene pesos no negativos y logra un rendimiento competitivo tanto en clasificación supervisada (MNIST, CIFAR-10) como en control continuo de RL (Brax, Craftax).
2. Asignación de Crédito Dependiente de la Tarea: Un estudio de ablación que revela que la importancia relativa de los componentes arquitectónicos se invierte entre tareas. En MNIST, las anchuras de sigmoide por capa son críticas; en CIFAR-10, las señales de error centradas en el lote son el factor dominante. Esto expone que los cuellos de botella de la asignación de crédito cambian cualitativamente con la dificultad de la tarea.
3. Evaluación Transversal de Dominios: Demostración de que ED-PPO logra retornos comparables al PPO basado en retropropagación y a la Alineación de Retroalimentación Directa (DFA) en tareas de locomoción (Ant, Humanoid, HalfCheetah), mientras que supera a DFA en la compleja tarea de exploración abierta Craftax.

Resultados

Rendimiento de Clasificación

• MNIST: El ED propuesto logra un 96.7% de precisión, comparable a la línea base de DFA (97.6%).
• CIFAR-10: El ED propuesto logra un 61.7% de precisión. Aunque es inferior al de DFA (69.1%), representa una mejora significativa respecto al ED "semilla" (11.6%) y a los intentos previos de ED puramente feedforward.
• Reversión de Ablación: Eliminar las anchuras de sigmoide por capa en MNIST provoca una caída catastrófica al 25.3%, mientras que eliminar el centrado de error por lote tiene un efecto insignificante (-0.3%). Por el contrario, en CIFAR-10, eliminar el centrado de error causa una caída masiva al 13.8%, mientras que eliminar las anchuras causa una caída menor (-15.1%) pero significativa.

Rendimiento de Aprendizaje por Refuerzo

• Locomoción (Brax): ED-PPO se desempeña de manera competitiva. En HalfCheetah, supera significativamente al BP-PPO estándar (5494 frente a 3520) e iguala a DFA-PPO. En Ant, iguala a ambas variantes de PPO. En Humanoid, queda por detrás de BP-PPO pero sigue siendo competitivo.
• Exploración de Mundo Abierto (Craftax): ED-PPO logra una puntuación de 20.9, superando significativamente a DFA-PPO (19.8) y acercándose a BP-PPO (27.0). Esto sugiere que el enrutamiento estructurado de ED puede ser más robusto que la retroalimentación aleatoria (DFA) en entornos complejos y de exploración abierta.
• Varianza: ED-PPO exhibe una mayor varianza que BP-PPO en algunos entornos, lo que sugiere que el enrutamiento de error grueso introduce estocasticidad.

Análisis Post-Hoc

• Atenuación de Gradiente: Se observó una atenuación de $25\times$ de los gradientes sustitutos desde la salida hasta la primera capa oculta, lo que motivó el uso de anchuras de sigmoide más amplias.
• Equilibrio E/I Emergente: A pesar de una inicialización asimétrica de 3:1, el entrenamiento impulsa las capas ocultas hacia una relación E/I casi equilibrada ($\sim1:1$), con las capas más profundas volviéndose ligeramente dominantes en la inhibición. Esto refleja las observaciones biológicas de los mecanismos homeostáticos.
• Sparsidad Implícita: El límite inferior de pesos no negativos induce una dispersión sustancial, con hasta un 68.8% de las conexiones inhibitorias podadas al límite, lo que sugiere un cuello de botella estructural de capacidad.

Significancia y Reivindicaciones

El artículo sostiene que las reglas de aprendizaje biológicamente plausibles no tienen por qué ser monolíticas; un núcleo arquitectónico compartido (ED de doble flujo) puede soportar diversas demandas de tareas cuando se aumenta con componentes apropiados específicos del dominio.

• Plausibilidad Biológica vs. Rendimiento: El trabajo demuestra que imponer el principio de Dale no impide el aprendizaje en tareas complejas, aunque incurre en un costo de rendimiento (por ejemplo, la brecha de precisión en CIFAR-10 y la varianza en RL).
• Cuellos de Botella Dependientes de la Tarea: La reversión de la importancia de la ablación entre MNIST y CIFAR-10 resalta que las evaluaciones de un solo benchmark pueden ocultar compromisos de diseño críticos. Lo que estabiliza el aprendizaje en tareas simples puede ser insuficiente para tareas complejas. Lo que estabiliza el aprendizaje en tareas simples puede ser insuficiente para tareas complejas.
• Autoorganización Emergente: La observación de que la red se autoorganiza hacia relaciones E/I equilibradas sin mecanismos homeostáticos explícitos sugiere que el aprendizaje impulsado por gradientes bajo las restricciones de Dale puede replicar la autoorganización biológica.
• Implicaciones de Hardware: La restricción de pesos no negativos se alinea bien con los sustratos neuromórficos emergentes (por ejemplo, fotónicos o analógicos) donde los elementos físicos codifican naturalmente cantidades no negativas, con el signo determinado por la identidad de la población.

Los autores concluyen que, si bien la brecha de precisión actual con respecto a la retropropagación sin restricciones persiste, el marco ED de doble flujo proporciona un camino viable hacia un aprendizaje biológicamente fiel que escala más allá de los benchmarks simples, ofreciendo nuevos conocimientos sobre cómo funciona la asignación de crédito bajo restricciones biológicas.