Closed-form predictive coding via hierarchical Gaussian filters

Resumen Técnico: Codificación Predictiva de Forma Cerrada mediante Filtros Gaussianos Jerárquicos

Enunciado del Problema

La codificación predictiva (CP) ofrece una alternativa biológicamente fundamentada a la retropropagación (BP) para el entrenamiento de redes neuronales artificiales, caracterizada por el cálculo local, actualizaciones tipo Hebbianas y la ausencia de una señal de error global. Sin embargo, escalar la CP a arquitecturas profundas modernas ha sido obstaculizado por dos limitaciones críticas:

1. Ineficiencia Computacional: Las redes de CP actuales dependen del descenso de gradiente iterativo para relajar las activaciones hacia el equilibrio (típicamente requiriendo $T \approx 32\text{--}128$ pasos por muestra), lo que las hace significativamente más lentas que la BP en hardware secuencial.
2. Degradación del Rendimiento: A medida que aumenta la profundidad de la red, el rendimiento se degrada drásticamente.

Los autores rastrean ambos problemas hasta una simplificación específica en las implementaciones profundas existentes de CP: la fijación de la matriz de precisión a la identidad. Esta simplificación descarta los errores de predicción ponderados por precisión requeridos por la derivación variacional de la CP. En consecuencia, estas redes pierden la propiedad que hace a la CP distinta en el caso lineal—la equivalencia formal al descenso de gradiente natural—y fallan en escalar adaptativamente las señales de error o gestionar la incertidumbre a través de las capas.

Metodología

El artículo propone reformular las redes de codificación predictiva como Filtros Gaussianos Jerárquicos Generalizados (gHGF). Este enfoque reemplaza la inferencia de estado iterativa con actualizaciones variacionales de forma cerrada y en un solo paso.

Cambios Arquitectónicos Centrales:

• De Precisión Fija a Dinámica: A diferencia de las redes de CP estándar que tratan la precisión como un hiperparámetro fijo (matriz identidad), el gHGF trata la precisión ($\pi$) como un estado de creencia de primera clase. El modelo infiere tanto la media posterior ($\mu$) como la precisión ($\pi$) para cada nodo en cada paso.
• Acoplamiento de Volatilidad: El marco introduce un "acoplamiento de volatilidad", donde un nodo padre modula la tasa de cambio (log-varianza) de su hijo. Esto permite que los errores de predicción modulen explícitamente las actualizaciones de precisión a través de Errores de Predicción de Volatilidad (VOPE), un mecanismo ausente en la CP acoplada a valores estándar.
• Modelo Generativo: La red se modela como una jerarquía de nodos de creencia. Los nodos de estado continuo se generan como Gaussianas con medias determinadas por acoplamientos de valores no lineales (por ejemplo, ReLU) y varianzas determinadas por padres de volatilidad. Los nodos de salida binaria generan predicciones mediante una sigmoide logística, midiendo la sorpresa como entropía cruzada binaria.
• Inferencia y Aprendizaje:
  • Inferencia: En lugar de relajación iterativa, la expansión cuadrática de la energía variacional permite un punto estacionario analítico, reduciendo la inferencia a una sola pasada de actualización.
  • Actualizaciones de Pesos: Los pesos sinápticos (fuerzas de acoplamiento de valores) se actualizan mediante reglas Hebbianas locales. Los autores proponen tres variantes, utilizando la principal como referencia una regla ponderada por precisión: $\alpha^* = \alpha + \eta \delta_\ell g(\mu_{\ell+1}) \cdot \pi_\ell$. Esto incorpora la precisión inferida como un peso de gradiente natural.

Contribuciones Clave

1. Reformulación de la CP: Los autores proporcionan una reformulación de las redes profundas de CP como filtros gaussianos jerárquicos, reemplazando la inferencia iterativa con actualizaciones variacionales de forma cerrada.
2. Aprendizaje de Precisión: Demuestran que la precisión puede inferirse endógenamente en línea como creencias posteriores acopladas a la jerarquía, en lugar de tratarse como hiperparámetros fijos.
3. Actualizaciones Compatibles con Hebb: El método produce reglas de actualización de pesos que incorporan la precisión como un peso de gradiente natural, manteniendo la plausibilidad biológica.
4. Benchmarks de Rendimiento: El enfoque logra convergencia de última generación en FashionMNIST, acercándose a la BP en costo de tiempo real mientras converge en menos épocas.

Resultados Experimentales

Los autores evaluaron su método (HGF) frente a Perceptrones Multicapa (MLP) entrenados con retropropagación y Redes de Codificación Predictiva (PCN) estándar en el conjunto de datos FashionMNIST.

• Comparación Directa (FashionMNIST): A través de diversas configuraciones de profundidad ($d \in \{2, 8\}$) y ancho, el HGF convergió más rápido y alcanzó una mayor precisión de prueba que la PCN estándar. Aunque la BP permaneció competitiva, el HGF se acercó al rendimiento de la BP con significativamente menos épocas.
• Aprendizaje en Línea: En un régimen estrictamente en línea (tamaño de lote 1), el HGF convergió a un error de estado estacionario más bajo que tanto la BP como las líneas base de PCN.
• Eficiencia de Datos: En subconjuntos pequeños de datos ($n \in \{60, 3000\}$), el HGF superó a ambas líneas base, demostrando una superior eficiencia de datos.
• Deriva Conceptual: En un entorno no estacionario donde las etiquetas de clase se permutaban periódicamente, el HGF mantuvo un error de estado estacionario más bajo y se recuperó más rápidamente de los eventos de deriva en comparación con las líneas base, aprovechando sus estados de creencia acumulados sin reiniciar la precisión.
• Dinámicas de Aprendizaje de Precisión: En una tarea de clasificación de espirales sintética, las redes con acoplamiento de volatilidad (aprendizaje de precisión) mostraron un aumento jerárquico en la precisión esperada, actuando efectivamente como compuertas para el aprendizaje y la inferencia. Sin embargo, los autores notan que a profundidades extremas (profundidad 16), la línea base de precisión fija aún superó a la variante acoplada a volatilidad, sugiriendo que, aunque el aprendizaje de precisión estabiliza las señales de error, los desequilibrios de precisión intercapa resultantes requieren mayor investigación.

Significado y Afirmaciones

El artículo establece que la inferencia variacional de forma cerrada con aprendizaje de precisión en línea proporciona una base tratable para redes profundas de codificación predictiva. Al resolver la necesidad de relajación iterativa y señales de error globales, el método conserva las ventajas biológicas e interpretativas de la CP mientras aborda sus principales cuellos de botella de escalabilidad.

Los autores enmarcan modestamente su contribución como un paso hacia la superación de la brecha entre la CP teórica y el aprendizaje profundo práctico. Reconocen que:

• La implementación actual procesa muestras secuencialmente en lugar de en lotes, lo que explica la mayor parte de la brecha restante en tiempo real con la BP.
• El marco aún no se ha extendido a arquitecturas convolucionales o conjuntos de datos de imágenes naturales a gran escala (por ejemplo, CIFAR, ImageNet).
• El compromiso entre la fidelidad de la derivación variacional (precisión dinámica) y las elecciones de ingeniería para la escalabilidad (por ejemplo, ePC, $\mu$PC) requiere una comparación controlada adicional.

En última instancia, el trabajo argumenta que el aprendizaje dinámico de precisión es esencial para la CP profunda, ofreciendo un manejo principista de la incertidumbre y permitiendo plasticidad compatible con Hebb sin la sobrecarga computacional de la inferencia iterativa.