Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

Aquí presento un resumen técnico detallado del artículo "Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition", publicado en ICLR 2026.

1. El Problema: La Dicotomía entre Rendimiento y Realismo Biológico

Las Redes Neuronales de Spikes (SNNs) son un paradigma central en la computación neuromórfica debido a su eficiencia energética y plausibilidad biológica. Sin embargo, entrenar SNNs profundas ha dependido críticamente de esquemas de normalización explícita (como la Normalización por Lotes o BatchNorm - BN).

• El conflicto: Los métodos actuales logran alto rendimiento tratando a las neuronas como unidades recurrentes desdobladas en el tiempo, pero sacrifican propiedades biológicas fundamentales. La normalización estándar recopila estadísticas de los lotes de entrada, lo cual no tiene análogo biológico conocido.
• La limitación de las SNNs biológicas: Los enfoques que priorizan el realismo biológico (como las reglas de aprendizaje basadas en plasticidad dependiente del tiempo de los picos, STDP) a menudo sufren de inestabilidad en el entrenamiento, lo que limita su aplicación a redes superficiales.
• La necesidad: Existe una brecha crítica entre el alto rendimiento de las redes profundas y la plausibilidad biológica. Se requiere un marco de aprendizaje que elimine la normalización artificial sin sacrificar la estabilidad del entrenamiento.

2. Metodología: El Marco de Aprendizaje Libre de Normalización

Los autores proponen un marco basado en circuitos de Inhibición Lateral inspirados en la segregación funcional de neuronas excitatorias (E) e inhibitorias (I) en la corteza cerebral.

A. Circuito E-I (Excitatorio-Inhibitorio)

En lugar de una capa feedforward estándar, cada capa $l$ contiene dos poblaciones neuronales distintas:

1. Población Excitatoria (E): Modelada con el modelo Leaky Integrate-and-Fire (LIF).
2. Población Inhibitoria (I): Modelada como unidades de disparo rápido (Fast-Spiking), aproximadas como funciones ReLU en tiempo discreto debido a su constante de tiempo muy pequeña ($\tau_I \ll \Delta t$).

El circuito opera en dos modos de inhibición:

• Inhibición Sustractiva: Equilibra la excitabilidad (balance E-I).
• Inhibición Divisiva: Controla la ganancia de las neuronas (normalización dinámica).

La corriente de entrada integrada para una neurona excitatoria se calcula como:
$$I_{int} = g_E \odot \frac{I_{EE} - I_{EI,sub}}{I_{EI,div}} + b_E$$
Donde $I_{EE}$ es la excitación feedforward, $I_{EI,sub}$ es la inhibición sustractiva y $I_{EI,div}$ es la inhibición divisiva.

B. Técnicas Clave para la Estabilidad

Para lograr un entrenamiento estable de extremo a extremo (end-to-end) sin normalización explícita, se introducen dos componentes fundamentales:

1. E-I Init (Inicialización Dinámica de Parámetros):

   • Las inicializaciones estándar (Xavier, Kaiming) fallan porque asumen distribuciones centradas en cero, violando la segregación de signos (pesos solo positivos o solo negativos).
   • Estrategia: Utiliza una distribución exponencial para los pesos excitatorios y una asignación determinista para los inhibitorios.
   • Objetivo: Establecer un balance E-I inicial (la corriente inhibitoria sustractiva equilibra la excitatoria) y una ganancia adecuada (la corriente inhibitoria divisiva escala la varianza de la entrada). Esto evita que las neuronas se saturen o se silencien al inicio.

2. E-I Prop (Propagación Estabilizada):

   • Estabilización Adaptativa: Para evitar la división por cero en la inhibición divisiva (cuando la corriente es cercana a cero), el método reemplaza dinámicamente los ceros en el denominador con el valor positivo más pequeño de la muestra actual, en lugar de usar una constante fija ($\epsilon$).
   • Estimador Directo (STE): Dado que la operación de reemplazo no es diferenciable, se utiliza STE en la retropropagación, tratando la operación como una función identidad para permitir el flujo de gradientes.
   • Escalado de Gradientes: Los gradientes de los pesos inhibitorios laterales ($W_{EI}$) tienden a ser desproporcionadamente grandes debido a la operación de división. Se aplica un factor de escala ($1/d$, donde $d$ es la dimensión de entrada) para equilibrar las actualizaciones entre las vías excitatorias e inhibitorias.

3. Contribuciones Principales

1. Integración de Circuitos E-I Profundos: Se incorpora un circuito canónico de neuronas excitatorias e inhibitorias en SNNs profundas, permitiendo el entrenamiento sin normalización explícita.
2. Esquema de Inicialización Dinámica (E-I Init): Un método que asegura un balance E-I y control de ganancia desde el primer paso de entrenamiento, resolviendo el problema de inicialización en redes con restricciones de signo.
3. Herramientas de Estabilización (E-I Prop): La combinación de estabilización adaptativa de la división y escalado de gradientes, esencial para la convergencia de SNNs profundas con inhibición lateral.
4. Validación Empírica: Demostración de que el marco logra un rendimiento competitivo en múltiples datasets y arquitecturas, superando a otros métodos libres de normalización.

4. Resultados Experimentales

El marco propuesto (DeepEISNN) fue evaluado en datasets estáticos (CIFAR-10, CIFAR-100, TinyImageNet) y neuromórficos (CIFAR10-DVS, DVS-Gesture).

• Rendimiento en Clasificación:
  • En CIFAR-10, el modelo ResNet-18 alcanzó 92.05% de precisión, superando a todas las baselines libres de normalización y acercándose a los métodos con BN.
  • En TinyImageNet, alcanzó 50.29%, demostrando escalabilidad a datasets grandes.
  • En datasets neuromórficos (DVS-Gesture y CIFAR10-DVS), superó a varios métodos basados en BN, logrando 94.86% y 77.66% respectivamente.
• Estudios de Ablación:
  • Reemplazar E-I Init por inicializaciones estándar (Kaiming) causó fallos de entrenamiento o caídas drásticas de precisión.
  • La estabilización con $\epsilon$ fijo falló en todos los valores probados, confirmando la necesidad de la estabilización adaptativa.
  • Sin escalado de gradientes, el entrenamiento colapsó.
• Análisis de Representación:
  • A diferencia de la BN que produce distribuciones gaussianas centradas en cero, el circuito E-I aprende una representación bimodal tras el entrenamiento. Esto indica una separación dinámica de neuronas en poblaciones activadas y suprimidas, una función más sofisticada que la simple normalización.

5. Significado e Impacto

• Puente entre IA y Neurociencia: Este trabajo ofrece una solución práctica para entrenar SNNs profundas sin recurrir a mecanismos no biológicos (como BN), cerrando la brecha entre el aprendizaje profundo de alto rendimiento y la computación cortical realista.
• Plataforma Computacional: Proporciona una plataforma para explorar cómo las interacciones E-I en la corteza realizan computación a gran escala, sugiriendo que la normalización en el cerebro podría ser un proceso dinámico de inhibición lateral y no una operación estadística estática.
• Compatibilidad con Hardware Neuromórfico: Aunque la implementación digital tiene una sobrecarga computacional moderada (2.3x - 2.5x en tiempo de entrenamiento), el marco es altamente compatible con hardware neuromórfico analógico o de señal mixta (como DYNAP-SE2), que puede implementar estas operaciones de manera eficiente.

En conclusión, el artículo demuestra que es posible entrenar SNNs profundas, estables y de alto rendimiento utilizando únicamente principios biológicos (segregación E-I e inhibición lateral), eliminando la necesidad de normalización artificial.