🤖 machine learning

On the Infinite Width and Depth Limits of Predictive Coding Networks

Este artículo investiga los límites de anchura y profundidad infinitos de las Redes de Codificación Predictiva, derivando parametrizaciones estables que previenen explosiones de entrenamiento y demostrando que los gradientes de la Codificación Predictiva convergen a los gradientes de Retropropagación en redes anchas, ofreciendo así un mecanismo de aprendizaje local biológicamente plausible para arquitecturas profundas.

Autores originales: Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Francesco Innocenti, El Mehdi Achour, Rafal Bogacz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un equipo de robots gigante y de múltiples capas cómo resolver un rompecabezas. En el mundo de la inteligencia artificial, la forma estándar de hacer esto se llama "retropropagación" (backpropagation). Es como un gerente estricto que se sitúa al final de la línea de montaje, observa el error final y luego corre de vuelta hasta el principio, gritando instrucciones específicas a cada uno de los robots sobre exactamente en qué fallaron. Funciona increíblemente bien para las computadoras, pero es un método que difiere de cómo opera la naturaleza. Los cerebros reales no tienen un gerente central gritando instrucciones hacia atrás en el tiempo; en su lugar, cada neurona solo sabe lo que están haciendo sus vecinos inmediatos.

Entra la "Codificación Predictiva", una teoría que sugiere que los cerebros aprenden más como un grupo de amigos tratando de adivinar el clima. Cada persona (neurona) hace una predicción basada en lo que dicen sus vecinos, siente un pequeño "error" si su suposición es incorrecta y ajusta su propia actividad para encajar mejor. Una vez que todos dejan de discutir y alcanzan un acuerdo tranquilo (equilibrio), todos ajustan sus conexiones ligeramente para hacerlo mejor la próxima vez. Este método es biológicamente realista porque cada uno solo habla con sus vecinos, pero durante mucho tiempo, los científicos no estaban seguros de si podría manejar las redes masivas y profundas necesarias para la IA moderna. ¿Podría este método local y comunicativo escalar al tamaño de una supercomputadora, o se desmoronaría?

Este artículo profundiza en esa pregunta exacta al observar qué sucede cuando haces que estas redes sean infinitamente anchas (añadiendo toneladas de neuronas una al lado de la otra) e infinitamente profundas (añadiendo toneladas de capas una encima de la otra). Los investigadores, Francesco Innocenti, El Mehdi Achour y Rafal Bogacz, querían saber: ¿Podemos ajustar las "perillas" de estas redes de codificación predictiva para que se mantengan estables y aprendan de manera efectiva, tal como lo hacen las redes de retropropagación estándar que usamos hoy en día?

Su investigación revela un giro sorprendente. Descubrieron que para que la codificación predictiva funcione a gran escala, debe utilizar exactamente los mismos ajustes y reglas de escalado que el método de retropropagación estándar. Si intentas usar los ajustes "estándar" que la mayoría de la gente usa en software como PyTorch, la salida de la red de codificación predictiva explotará en caos a medida que se vuelva más ancha, de forma muy similar a un micrófono dejado demasiado cerca de un altavoz. Sin embargo, si cambias a un conjunto específico de reglas matemáticamente precisas (conocidas como parametrizaciones de "campo medio" o de "actualización máxima"), la red se estabiliza.

Bajo estas condiciones estables, el artículo muestra que, a medida que la red se vuelve increíblemente ancha, la forma en que la codificación predictiva aprende se vuelve casi indistinguible de la retropropagación. De hecho, para redes que son mucho más anchas que profundas (piensa en un panqueque ancho y plano en lugar de una torre alta y delgada), las actualizaciones "locales" de la codificación predictiva se alinean perfectamente con las actualizaciones "globales" de la retropropagación. Los autores demostraron esto matemáticamente para redes lineales simples y lo confirmaron con experimentos en modelos no lineales complejos como Redes Neuronales Convolucionales (CNN) y Transformers.

El estudio también descarta algunas posibilidades emocionantes. Sugiere que la velocidad de aprendizaje "rápida" que algunos investigadores vieron en redes más profundas que anchas usando configuraciones anteriores era en realidad una ilusión causada por la inestabilidad; esas configuraciones se rompen a medida que la red crece. Además, aunque el artículo sugiere que el cerebro podría usar una regla de aprendizaje local similar a la codificación predictiva para lograr el poder de la retropropagación, señala que esto solo funciona eficientemente si el cerebro es "mucho más ancho que profundo", una hipótesis que se alinea con la comprensión biológica actual de la corteza.

En última instancia, este trabajo no solo dice "la codificación predictiva funciona"; establece un límite estricto alrededor de cómo puede funcionar. Nos dice que para escalar este método biológicamente plausible al tamaño de la IA moderna, no podemos simplemente retocarlo al azar; tenemos que adoptar el mismo riguroso escalado matemático que hace que la IA estándar funcione. Este es un paso crucial hacia adelante, sugiriendo que el cerebro podría estar utilizando, de hecho, una danza local de minimización de energía para resolver los mismos problemas complejos que nuestros computadores entrenados con retropropagación global resuelven hoy en día.

Resumen Técnico: Sobre los límites de ancho y profundidad infinitos de las redes de Codificación Predictiva

Planteamiento del Problema

La Codificación Predictiva (PC) es una alternativa biológicamente plausible al retropropagación (BP) estándar donde las neuronas minimizan los errores de predicción locales (una función de energía) antes de actualizar los pesos. Si bien reparametrizaciones recientes han mejorado la estabilidad del entrenamiento de las redes de PC profundas (PCNs), la base teórica para escalar estos métodos a anchos y profundidades grandes sigue siendo incierta. Específicamente, se desconoce si la PC puede escalarse para igualar la estabilidad y la capacidad de aprendizaje de características de la BP en los límites de ancho y profundidad infinitos, o si las PCNs estándar sufren de inestabilidad (por ejemplo, salidas explosivas) a medida que el tamaño del modelo aumenta. Además, las condiciones bajo las cuales los gradientes de la PC convergen a los gradientes de la BP en estos límites requieren una caracterización rigurosa.

Metodología

Los autores llevan a cabo un análisis teórico y empírico de las PCNs en los límites conjuntos de ancho infinito ( $N \to \infty$ ) y profundidad infinita ( $L \to \infty$ ).

Marco Teórico:
- Parametrización General: El estudio adopta un esquema de parametrización general "abcd" para Perceptrones Multicapa (MLPs) lineales y Redes Residuales, definiendo exponentes de escala para las preactivaciones ( $a_\ell$ ), la varianza de la inicialización de pesos ( $b_\ell$ ), la tasa de aprendizaje ( $c$ ) y la salida de la red ( $d$ ).
- Energía Equilibrada: Para redes lineales, los autores utilizan la "energía equilibrada" ( $F^*$ ), que es la energía de la PC minimizada con respecto a las actividades. Muestran que para redes lineales, $F^*$ es una versión reescalada del error cuadrático medio (MSE) estándar: $F^*(\theta) = L(\theta) / s(\theta)$ , donde $s(\theta)$ es un factor de reescalado dependiente de los pesos.
- Desiderata: El análisis busca parametrizaciones que satisfagan tres criterios principales (adaptados de la literatura de BP):
  1. Estabilidad: Las preactivaciones de las capas y las predicciones de la red deben permanecer acotadas (ni desaparecen ni explotan) cuando $N \to \infty$ .
  2. Aprendizaje de Características: Las características deben evolucionar de forma no trivial (aprendizaje no perezoso o non-lazy) durante el entrenamiento.
  3. Estabilidad de Profundidad (para ResNets): Las activaciones ocultas deben permanecer estables cuando $L \to \infty$ , y cada bloque residual debe contribuir $\Theta(1/L)$ a la evolución de las características.
Derivación:
- Los autores derivan los exponentes de escala específicos requeridos para satisfacer los descriptos anteriores para las PCNs.
- Analizan el comportamiento asintótico del factor de reescalado $s(\theta)$ y los gradientes de la energía equilibrada.
- Demuestran que, bajo estas parametrizaciones estables, los gradientes de la PC convergen a los gradientes de la BP a medida que el ancho crece, y el término de error depende de la relación profundidad-ancho ( $L/N$ ).
Validación Empírica:
- Se realizaron experimentos en arquitecturas lineales y no lineales, incluyendo MLPs, Redes Neuronales Convolucionales (CNNs) y Transformers.
- Los modelos fueron entrenados en conjuntos de datos que van desde tareas de juguete hasta CIFAR-10, Fashion-MNIST e ImageNet-1k.
- El estudio midió la similitud de coseno entre los gradientes de la PC (calculados en el equilibrio de actividad) y los gradientes de la BP a través de varios anchos y profundidades.

Contribuciones Clave

Equivalencia de Parametrizaciones Estables:
El artículo demuestra que el conjunto de parametrizaciones que asegura tanto la estabilidad como el aprendizaje de características no trivial para las PCN es idéntico al de la BP. Específicamente, para MLPs lineales y Redes Residuales, la parametrización de "Campo Medio" o de "Actualización Máxima" ( $\mu$ P) es la solución única que satisface los desiderata de estabilidad y aprendizaje de características para la PC. Esto implica que las PCN estándar (que usan parametrizaciones estándar como las predeterminadas de PyTorch) son inherentemente inestables en anchos grandes, lo que provoca que las salidas exploten.
Convergencia a la Retropropagación:
Los autores demuestran que, bajo estas parametrizaciones estables, los gradientes calculados por la PC convergen a los gradientes de la BP a medida que el ancho de la red es mucho mayor que su profundidad ( $L/N \to 0$ ).
- Para MLPs lineales a profundidad fija, el error relativo entre los gradientes de la PC y la BP escala como $O(N^{-1})$ .
- Para Redes Residuales lineales en el límite conjunto, el error relativo escala como $O(L/N)$ .
- Esta convergencia se mantiene tanto para las funciones objetivo como para los gradientes, lo que implica que, en el límite de ancho, la PC implementa efectivamente la BP.
Inestabilidad del Régimen "Fast Saddle-to-Saddle":
El artículo identifica que un régimen observado previamente donde la PC exhibe una dinámica "saddle-to-saddle" más rápida que la BP (en redes profundas y estrechas) depende de la Parametrización Estándar (SP). Los autores muestran que este régimen es inestable con respecto tanto al ancho como a la profundidad, violando los desiderata de estabilidad. Por lo tanto, la aceleración tiene como costo la inestabilidad numérica en modelos de gran escala.
Generalización Empírica:
A pesar de que el análisis teórico se deriva para redes lineales, los experimentos muestran que la alta alineación de gradientes de la PC con la BP persiste en arquitecturas no lineales (CNNs, Transformers) entrenadas con diferentes optimizadores (Adam) y funciones de pérdida, siempre que las redes sean mucho más anchas que profundas y se alcance el equilibrio de actividad.

Resultados

Teóricos: La derivación confirma que el exponente de escala de la salida $d=1/2$ es crítico para el aprendizaje de características no perezoso en la PC, al igual que en la BP. El factor de reescalado $s(\theta)$ se aproxima a 1 cuando $N \to \infty$ (para MLPs) o cuando $L/N \to 0$ (para ResNets), causando que el objetivo de la PC converja a la pérdida MSE.
Experimentales:
- Alineación de Gradientes: La similitud de coseno entre los gradientes de la PC y la BP se acerca a 1.0 a medida que el ancho aumenta, particularmente para ResNets y Transformers donde $L/N$ es pequeño.
- Modelos No Lineales: Se observó una alta alineación en MLPs residuales de 32 capas, CNNs de 10 capas y Transformers de 12 bloques.
- Fallo de la Parametrización Estándar: Los modelos que utilizan la parametrización estándar (SP) mostraron salidas explosivas y una pobre alineación de gradientes a medida que el ancho aumentaba, confirmando la inestabilidad teórica.

Significancia y Reivindicaciones

El artículo afirma proporcionar las primeras restricciones fundadas sobre las parametrizaciones que son escalables con la PC. Su principal significancia reside en dos áreas:

Restricción de la Escalabilidad: Establece que para que la PC sea escalable a modelos grandes, debe adoptar las mismas reglas de parametrización que la BP (específicamente $\mu$ P). Esto sugiere que las reparametrizaciones "heurísticas" utilizadas en el trabajo reciente de PC profunda deben alinearse con estos límites teóricos para ser viables.
Plausibilidad Biológica de la BP: Los resultados sugieren un mecanismo por el cual el cerebro (posiblemente una red que es mucho más ancha que profunda) podría implementar la asignación de crédito global de la retropropagación utilizando únicamente reglas de aprendizaje locales. Si el cerebro opera en un régimen donde $L/N \to 0$ , la PC podría teóricamente converger a la BP, permitiendo un aprendizaje eficiente sin la necesidad de propagación de información no local.

Los autores mantienen la modestia respecto a las limitaciones, señalando que las pruebas teóricas dependen de redes lineales y de la convergencia exacta de la actividad. Reconocen que el costo computacional para alcanzar el equilibrio de actividad en redes no lineales sigue siendo un cuello de botella práctico, aunque sugieren que las implementaciones de hardware analógico podrían eventualmente abordar esto. No afirman que la PC sea superior a la BP en todos los regímenes, sino que, en el límite de ancho escalable, ambos algoritmos se vuelven matemáticamente equivalentes bajo la parametrización correcta.