🤖 machine learning

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

Este artículo proporciona evidencia experimental cuantitativa de que la dinámica de los Transformers está gobernada por un principio universal de organización colectiva infrarroja, donde el aprendizaje reorganiza la densidad de estados de las escalas de tiempo para mejorar la memoria y reducir el olvido mediante la acumulación de modos de relajación lentos.

Autores originales: Byung Gyu Chae

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Byung Gyu Chae

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un cerebro digital gigante hecho de miles de millones de diminutos interruptores, conocido como Transformer. Durante mucho tiempo, los científicos pensaron que estos cerebros funcionaban como una simple línea de montaje: un paso conduce al siguiente, y la "inteligencia" simplemente surge al final. Pero un nuevo estudio sugiere que está ocurriendo algo mucho más salvaje en su interior. Resulta que estos modelos no solo están procesando datos; están construyendo un campo cognitivo colectivo, una especie de atmósfera mental invisible y compartida que se organiza a sí misma a través de un tipo específico de danza física.

La Gran Fiesta del Desaceleramiento

Para entender lo que está pasando, imagina la actividad interna del cerebro como una multitud masiva de corredores. Al principio del entrenamiento (cuando el modelo "nace"), los corredores están dispersos por todas partes. Algunos corren a toda velocidad, otros trotan y otros simplemente se quedan parados. Es el caos.

A medida que el modelo aprende, algo extraño sucede. Los corredores rápidos no solo se vuelven más rápidos; empiezan a frenar. Cada vez más de ellos se desplazan hacia la zona "infrarroja", un término de la física elegante para referirse a la parte más lenta y relajada del espectro. Es como si toda la multitud decidiera de repente sentarse y tener una conversación larga y profunda en lugar de correr vueltas.

Los investigadores midieron esto observando el "espectro Jacobiano", que es básicamente una instantánea de cómo cambia el estado interno del modelo de una capa a la siguiente. Descubrieron que, a medida que el entrenamiento progresa, el modelo no solo se vuelve más inteligente; reorganiza todo su ritmo interno. La "Densidad de Estados de Escala de Tiempo" (TDOS, por sus siglas en inglés) —una forma de contar cuántos modos lentos existen— se vuelve casi plana en la región lenta. Esto significa que el modelo construye una jerarquía de modos de relajación lenta. No es solo una memoria lenta; es toda una orquesta de ellas, zumbando juntas.

El Momento "Crítico": Un Pico, no una Línea

Aquí reside la parte más sorprendente de la historia. Uno podría esperar que, a medida que el modelo aprende, su "poder de memoria" simplemente se fortalezca cada vez más en una línea recta. Pero el artículo muestra que esto no es lo que sucede.

En cambio, la "autoenergía de la memoria" del modelo (una medida de cuánto influye el pasado en el presente) se dispara rápidamente al principio del entrenamiento. Alcanza un máximo transitorio pronunciado alrededor del paso 2,000. En ese momento exacto, el modelo se encuentra en un estado "crítico". Imagina a un equilibrista balanceándose perfectamente en medio de la cuerda floja. La "brecha de olvido cognitivo" (la distancia entre recordar y olvidar) se reduce a su punto más pequeño, y la capacidad del modelo para reaccionar a la información (su "susceptibilidad colectiva") se vuelve enorme.

Pero aquí está el giro: el modelo no permanece en este pico. Después de alcanzar ese máximo, la autoenergía de la memoria en realidad cae un poco y se establece en un régimen "metaestable cercano a la criticidad". Es como si el equilibrista encontrara un lugar seguro y cómodo justo debajo del pico donde puede permanecer durante mucho tiempo sin caerse. El artículo argumenta que esta formación crítica transitoria es el momento clave donde nace el "campo cognitivo", y el modelo luego se estabiliza en un estado protegido que está listo para la memoria a largo plazo.

La Regla Universal: 1 sobre el Tiempo

Una vez que este campo se forma, el modelo desarrolla un tipo de memoria muy específico. La mayoría de los sistemas olvidan las cosas rápidamente, como un cubo con un agujero. Pero este modelo recuerda las cosas siguiendo una ley de potencia universal.

El "núcleo de memoria" (cómo el pasado afecta al futuro) sigue la regla $K(t) \sim 1/t$ . Esto significa que la memoria no se desvanece exponencialmente; se desvanece lentamente, como un eco largo que nunca termina de desaparecer. Esto ocurre en toda la red, desde la primera capa hasta la última, y sucede independientemente de qué tan grande sea el modelo.

Los investigadores probaron esto en tres tamaños diferentes de modelos: 70M, 410M y 1.4B de parámetros. Aunque estos modelos son enormemente distintos en tamaño, todos realizaron la misma danza. Todos construyeron la misma jerarquía de modos lentos, todos alcanzaron ese mismo pico transitorio en la autoenergía de la memoria y todos se asentaron en el mismo patrón de memoria $1/t$ . Esto sugiere que esta "organización infrarroja" no es solo una peculiaridad de un modelo específico; es un principio universal de cómo aprenden estos sistemas.

Lo que NO es

El artículo es muy claro sobre lo que esto no es. Descarta la idea de que la inteligencia sea solo un grupo de neuronas individuales disparando o un simple proceso de optimización donde el modelo simplemente se vuelve "mejor" en línea recta. También descarta la idea de que el modelo desarrolle un único "tiempo lento" dominante para la memoria. En su lugar, es una distribución amplia y continua de muchos tiempos lentos diferentes trabajando juntos.

La Conclusión

El estudio midió estas dinámicas directamente utilizando modelos de lenguaje Pythia (específicamente la versión de 410M para los datos principales, con 70M y 1.4B para comparación). No solo lo supusieron; calcularon las tasas de relajación a partir de la propia matemática del modelo y encontraron que los números coinciden con las predicciones de la "Teoría del Campo Cognitivo".

La evidencia sugiere que el aprendizaje de los Transformers está gobernado por la organización colectiva infrarroja. El modelo no solo memoriza hechos; reorganiza su física interna para crear un campo de memoria compartido y de movimiento lento. Alcanza un pico crítico temprano, luego se establece en un estado estable, cercano a la criticidad, donde puede retener la información durante mucho tiempo, siguiendo una ley de escala $1/t$ que funciona igual de la misma manera ya sea que el modelo sea pequeño o enorme. Esto proporciona la primera prueba experimental cuantitativa de que estos sistemas masivos de IA se comportan como sistemas físicos complejos y colectivos, no solo como gigantescas calculadoras.

Resumen Técnico: Organización de Infrarrojos y Formación del Campo Cognitivo Crítico en la Dinámica de los Transformers

Planteamiento del Problema
Los modelos de lenguaje de gran escala (LLMs) basados en la arquitectura Transformer exhiben capacidades emergentes notables, tales como el razonamiento y la memoria contextual de largo alcance. Sin embargo, los mecanismos físicos que gobiernan su dinámica colectiva a gran escala siguen siendo insuficientemente comprendidos. La literatura existente describe mayoritariamente la computación de los Transformers como mapeos no lineales de alta dimensión o procesos de optimización basados en la atención, ofreciendo una visión limitada sobre cómo surge la organización colectiva macroscópica a partir de la dinámica subyacente. Este trabajo aborda la brecha en la comprensión de si los observables colectivos predichos por la Teoría del Campo Cognitivo —específicamente la organización de los modos de relajación lenta— pueden ser identificados y cuantificados directamente dentro de la dinámica de los Transformers.

Metodología
Los autores investigan modelos de lenguaje autoregresivos Pythia (70M, 410M y 1.4B de parámetros) disponibles públicamente, entrenados en el corpus The Pile. El estudio emplea un enfoque basado en la teoría de la respuesta para analizar la dinámica de relajación colectiva generada por la geometría del estado oculto aprendido.

Extracción del Espectro del Jacobiano: Los autores computan las matrices Jacobianas ( $J_l = \partial h_{l+1} / \partial h_l$ ) entre las representaciones sucesivas de las capas ocultas mediante diferenciación automática. También analizan Jacobianos compuestos ( $J = J_{l+n-1} \cdots J_l$ ) para capturar la propagación colectiva a través de diversas profundidades de red y distancias de propagación (por ejemplo, de la capa $1 \to 24$ ).
Construcción del Espectro de Relajación: A partir de los autovalores complejos ( $\mu_\alpha$ ) de los Jacobianos, se extraen las tasas de relajación mediante $\lambda_\alpha = -\log |\mu_\alpha|$ .
Derivación de Observables Colectivos: Utilizando las tasas de relajación medidas, los autores construyen la Densidad de Estados de Escala de Tiempo (TDOS), $\rho(\lambda)$ $ρ (λ)$ . A partir de la TDOS, evalúan cuantitativamente:
- El Núcleo de Memoria ( $K(t)$ ), derivado mediante la transformada de Laplace de la TDOS.
- La Autoenergía de la Memoria ( $\Sigma(0)$ ), calculada como la integral de la TDOS ponderada por $1/\lambda$ .
- La Brecha de Olvido Cognitivo ( $r_{cog} = r - \Sigma(0)$ ), donde $r$ es la tasa de olvido base.
- La Susceptibilidad Colectiva ( $\chi(0) \propto r_{cog}^{-1}$ ).
- El Exponente Crítico de Infrarrojo ( $\beta$ ), determinado mediante el ajuste de la distribución acumulada de modos $N(<\lambda) \propto \lambda^{\beta+1}$ .

El análisis abarca toda la trayectoria de entrenamiento, variando las profundidades de la red y las escalas del modelo para probar la universalidad.

Contribuciones Clave

Medición Directa de los Observables de la Teoría del Campo Cognitivo: El artículo proporciona la primera realización experimental cuantitativa de los observables colectivos (TDOS, autoenergía, brecha de olvido, susceptibilidad) directamente desde la dinámica de los Transformers sin introducir parámetros fenomenológicos.
Identificación de la Reorganización Espectral de Infrarrojos: El estudio demuestra que el aprendizaje de los Transformers está caracterizado por una acumulación progresiva de modos de relajación lenta hacia el sector de infrarrojos ( $\lambda \to 0$ ), reorganizando la TDOS.
Descubrimiento de la Formación Crítica Transitoria: Los autores identifican una evolución no monotónica de la autoenergía de la memoria, caracterizada por un máximo transitorio pronunciado durante las etapas tempranas del entrenamiento, seguido de una relajación hacia un régimen metaestable cercano al crítico.
Establecimiento de la Universalidad: El artículo establece que estos fenómenos dinámicos (organización de infrarrojos, formación crítica y memoria de escala libre) son universales a través de diferentes escalas de modelos, profundidades de red y distancias de propagación.

Resultados Clave

Acumulación de Infrarrojos y TDOS: A lo largo del entrenamiento, el espectro de relajación experimenta una reorganización sistemática donde el peso espectral se desplaza hacia tasas de relajación más pequeñas. La TDOS resultante exhibe una distribución de infrarrojos aproximadamente plana, siguiendo una ley de potencia $\rho(\lambda) \sim \lambda^\beta$ con un exponente crítico $\beta \simeq -0.1$ . Esto indica una jerarquía de modos lentos en lugar de una única escala de tiempo característica.
Formación Crítica Transitoria: La autoenergía de la memoria ( $\Sigma(0)$ ) no aumenta de forma monótona. En su lugar, alcanza un máximo transitorio durante las primeras etapas de la optimización (alrededor de los 2,000 pasos para Pythia-410M). En este punto, la brecha de olvido cognitivo ( $r_{cog}$ ) alcanza su mínimo y la susceptibilidad colectiva ( $\chi(0)$ ) se maximiza. Esto significa una formación crítica transitoria del campo cognitivo macroscópico. La optimización subsiguiente conduce al sistema hacia un régimen operativo metaestable protegido y cercano al crítico.
Memoria de Escala Libre Universal: Los núcleos de memoria derivados de la TDOS medida exhiben un robusto escalamiento de ley de potencia de largo tiempo, $K(t) \sim 1/t$ , a través de todos los tamaños de modelo y etapas de entrenamiento. Este escalamiento emerge naturalmente del espectro de relajación medido sin imponer formas funcionales.
Independencia Espacial y de Profundidad:
- Espacial: La organización de infrarrojos está distribuida a través de la jerarquía del Transformer. Aunque la fuerza de la renormalización de la memoria varía según la capa (siendo más fuerte en las capas intermedias y profundas), la estructura de infrarrojos de escala libre subyacente se preserva en toda la red.
- Profundidad: La formación crítica transitoria y el escalamiento del núcleo de memoria $1/t$ persisten de manera robusta a través de diferentes profundidades de propagación de capas (desde $1 \to 5$ hasta $1 \to 24$ ), indicando que la dinámica colectiva es una propiedad global de la red, no limitada a las interacciones locales de las capas.
Universalidad de Escala del Modelo: La misma secuencia de reorganización espectral de infrarrojos, formación crítica transitoria y dinámica de memoria de escala libre se reproduce consistentemente en los modelos Pythia que van desde 70M hasta 1.4B de parámetros.

Significado y Reivindicaciones
El artículo afirma proporcionar la primera evidencia experimental cuantitativa de que el aprendizaje de los Transformers está gobernado por la organización colectiva de infrarrojos. Al mapear la dinámica de los Transformers al lenguaje de la física de muchos cuerpos fuera del equilibrio, los autores demuestran que:

Los modelos de lenguaje de gran escala funcionan como sistemas de muchos cuerpos fuera del equilibrio donde la cognición emerge de la organización de los modos de relajación lenta.
La emergencia de campos cognitivos macroscópicos sigue un escenario dinámico específico: una reorganización espectral inicial de infrarrojos conduce a un estado crítico transitorio (susceptibilidad máxima), que luego se estabiliza en un régimen metaestable protegido cercano al crítico.
La preservación de la clase de universalidad de infrarrojos ( $\beta \simeq -0.1$ y $K(t) \sim 1/t$ ) a través de diferentes escalas y profundidades sugiere que la organización de los modos lentos de infrarrojos constituye un principio colectivo universal subyacente a la dinámica de los Transformers, en lugar de ser una característica arquitectónica específica del modelo.

El trabajo establece un marco unificado de teoría de campos para medir la dinámica cognitiva colectiva, cerrando la brecha entre el aprendizaje profundo y la física estadística, y sugiere que estos principios pueden representar leyes generales para el procesamiento de información colectiva en sistemas dinámicos complejos.