💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

Este artículo demuestra que, a pesar de poseer mecanismos microscópicos fundamentalmente diferentes, tanto la arquitectura Transformer como la Mamba desarrollan una dinámica colectiva infrarroja compartida y casi marginal caracterizada por un continuo de modo lento, extendiendo así la universalidad de tal organización más allá de los Transformers y respaldando las predicciones de la Teoría del Campo Cognitivo.

Autores originales: Byung Gyu Chae

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Byung Gyu Chae

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto paisaje de la inteligencia artificial, los investigadores han buscado durante mucho tiempo comprender cómo las máquinas aprenden a recordar. Dos familias dominantes de modelos han surgido para manejar secuencias de información, como palabras en una oración o fotogramas en un video. La primera familia, conocida como Transformers, se basa en un mecanismo llamado autoatención, que permite al modelo ponderar la importancia de cada pieza de información frente a todas las demás piezas simultáneamente. La segunda familia, representada por modelos más nuevos como Mamba, utiliza un enfoque diferente basado en la dinámica de espacio de estados, donde el modelo mantiene un estado interno que evoluciona con el tiempo, actualizando su memoria a medida que procesa cada nueva pieza de datos. Durante años, los científicos se han preguntado si estas dos formas fundamentalmente diferentes de pensar sobre el tiempo y la memoria podrían, de hecho, conducir al mismo comportamiento subyacente en lo profundo de la máquina. Esta pregunta es importante porque, si diferentes arquitecturas convergen en los mismos patrones, sugiere que la capacidad de aprender y recordar está gobernada por principios universales en lugar de solo por las elecciones de ingeniería específicas de los diseñadores.

Un investigador se propuso probar esta idea observando dentro de un modelo Mamba entrenado para ver cómo funciona realmente su memoria. Se centró en una propiedad específica llamada "densidad de estados de escala temporal", que es esencialmente un mapa que muestra cuántas velocidades de memoria diferentes posee el modelo. Imagine una biblioteca donde los libros no se clasifican por tema, sino por la rapidez con la que se desvanecen de la mente de un lector. Algunos libros se olvidan en segundos, otros en minutos y algunos perduran durante años. El investigador quería ver la distribución de estas "velocidades de desvanecimiento" en el modelo Mamba. Sabía que Mamba tiene un mecanismo de memoria integrado que puede examinarse en capas: primero, las velocidades de memoria interna bruta codificadas en su diseño; segundo, cómo cambian esas velocidades dependiendo del estímulo específico que recibe; y finalmente, la velocidad de memoria colectiva de todo el bloque después de que se completan todos sus complejos cálculos.

El investigador descubrió que estas tres capas no son iguales. La memoria interna bruta de la Mamba comienza con un amplio rango de velocidades, pero a medida que el modelo procesa la información, reescala selectivamente estas velocidades basándose en lo que está leyendo. Este ajuste dependiente de la entrada es una característica única de Moba, que le permite ralentizar o acelerar su reloj interno dependiendo del contexto. Sin embargo, el hallazgo más sorprendente llegó cuando el investigador observó la salida colectiva final de todo el bloque del modelo. A pesar de la compleja reorganización de velocidades que ocurre en el interior, el resultado final se asentó en un patrón muy específico y estable. Cuando midieron las velocidades de memoria a través de diferentes longitudes de secuencia, encontraron que el modelo desarrollaba consistentemente un rango amplio y continuo de memorias muy lentas. Estas memorias lentas no desaparecieron; en cambio, formaron un continuo suave y predecible que se volvía más claro y definido a medida que el modelo procesaba secuencias de datos más largas.

Para entender si esto era un capricho del diseño de Mamba o una regla general de los sistemas inteligentes, el investigador comparó sus hallazgos con el comportamiento de los modelos Transformer. Los Transformers no tienen la misma maquinaria de espacio de estados internos que Mamba; dependen de mecanismos de atención en su lugar. Sin embargo, cuando el investigador midió las velocidades de memoria colectiva de los Transformers, encontró un patrón sorprendentemente similar. Ambas arquitecturas, a pesar de utilizar métodos microscópicos completamente diferentes para procesar la información, desarrollaron una distribución casi plana de velocidades de memoria que estaba ligeramente sesgada hacia las memorias más lentas y duraderas. En el lenguaje de la física, este es un estado "casi marginal", lo que significa que los modelos están posicionados justo en el borde de tener una memoria infinita, lo que les permite retener información durante largos períodos sin quedarse estancados.

El estudio confirma que esta organización de la memoria lenta no es solo una característica de un tipo específico de red neuronal. El investigador demostró que, aunque Mamba construye explícitamente su memoria utilizando una estructura matemática diferente a la de los Transformers, ambos sistemas terminan organizando su dinámica colectiva de la misma manera. Encontraron que el comportamiento de la memoria de Mamba se estabiliza alrededor de un valor específico, lo que indica un patrón robusto y reproducible que surge independientemente de la longitud de la secuencia, siempre que la secuencia sea lo suficientemente larga como para revelar el panorama completo. Esto sugiere que la capacidad de mantener la memoria a largo plazo es una propiedad fundamental del procesamiento de secuencias aprendido, una que surge naturalmente en diferentes formas arquitectónicas. Los hallazgos amplían nuestra comprensión de cómo funciona la inteligencia artificial, mostrando que, bajo las diferencias superficiales de diseño, estos poderosos modelos comparten una estructura común y profunda para manejar el tiempo y la memoria.

Título: Universalidad de Infrarrojos de la Dinámica Colectiva a través de Arquitecturas Transformer y de Espacio de Estados

Planteamiento del Problema
Una pregunta fundamental abierta en el aprendizaje profundo es si arquitecturas neuronales distintas, a pesar de utilizar mecanismos computacionales microscópicos diferentes, desarrollan comportos dinámicos colectivos comunes. Análisis recientes de modelos de lenguaje Transformer revelaron una densidad de estados de escalas de tiempo (TDOS) casi plana y débilmente mejorada en el infrarrojo en sus espectros de relajación, asociada con una dinámica de memoria larga casi marginal ( $K(t) \sim 1/t$ ). Sin embargo, sigue sin estar claro si esta organización de infrarrojos es un artefacto específico del mecanismo de auto-atención o un principio más general del procesamiento de secuencias aprendidas. Para probar esto, se requiere una comparación con una arquitectura que emplee un mecanismo cualitativamente diferente para la computación temporal. Los modelos de espacio de estados, particularmente Mamba, ofrecen tal contraste al utilizar una dinámica de espacio de estados selectiva dependiente de la entrada en lugar de la auto-atención.

Metodología
El estudio emplea un análisis espectral multinivel en un modelo Mamba-370M preentrenado para distinguir entre la memoria microscópica del espacio de estados y la organización colectiva macroscópica. La metodología avanza a través de tres niveles dinámicos distintos:

Espectro Intrínseco del Espacio de Estados: El autor analiza el espectro de autovalores del generador de espacio de estados aprendido ( $A$ ), definiendo tasas de relajación intrínsecas $\lambda^{int}_i = -\text{Re}(a_i)$ . Esto representa la jerarquía de escalas de tiempo codificada directamente en los parámetros del modelo antes de la condicionamiento por entrada.
Espectro Efectivo Condicionado por la Entrada: El estudio examina las tasas de relajación efectivas $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ , donde el paso de tiempo selectivo dependiente de la entrada $\Delta_t(x)$ reescala las tasas intrínsecas durante la inferencia. Esto captura cómo el mecanismo selectivo reorganiza dinámicamente las escalas de relajación basándose en la secuencia de entrada.
Espectro Colectivo de Bloque Completo: El autor computa el Jacobiano de la transformación completa del bloque Mamba ( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ). Las tasas de relajación colectivas se definen como $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ , donde $\zeta_\alpha$ son los autovalores del Jacobiano de bloque completo. Esto mide la respuesta colectiva de todo el bloque, incluyendo proyecciones, compuertas, no linealidades y propagación residual.

La densidad de estados de escala de tiempo (TDOS) colectiva, $\rho(\lambda)$ , se construye a partir de estas tasas. El análisis varía sistemáticamente la longitud de secuencia retenida ( $L$ ) de 8 a 512 tokens para probar la convergencia y estabilidad del sector de infrarrojos. El exponente de escala de infrarrojos $\beta$ se determina mediante estadísticas de modos acumulados ( $N(<\lambda) \propto \lambda^{1+\beta}$ ) sobre un intervalo fijo y bien resuelto para evitar artefactos de agrupación (binning). Estos resultados se comparan directamente con mediciones previas de modelos Transformer (específicamente Pythia-410M) utilizando la misma construcción de Jacobiano de bloque completo.

Resultados Clave

Reorganización Jerárquica: Los espectros intrínseco, efectivo y de bloque completo no son idénticos. Si bien el generador de espacio de estados aprendido contiene una amplia jerarquía intrínseca de tasas de relajación, el mecanismo selectivo y las transformaciones de bloque subsiguientes reorganizan sustancialmente esta jerarquía. El espectro colectivo de bloque completo es una propiedad emergente distinta, no una copia directa del espectro microscópico del espacio de estados.
Emergencia de un Continuo de Infrarrojos Colectivo: La dinámica de bloque completo de Mamba desarrolla un continuo de modos lentos reproducible. A medida que la longitud de la secuencia aumenta, el sector de infrarrojos se resuelve de manera progresivamente mejor y más suave, extendiéndose hacia tasas de relajación más pequeñas.
Exponente de Escala de Infrarrojos: El análisis espectral acumulativo revela una escala de ley de potencia débilmente negativa $\rho(\lambda) \sim \lambda^\beta$ . Para secuencias largas ( $L \ge 64$ ), el exponente se estabiliza cerca de $\beta_M \simeq -0.17$ . Esto corresponde a un núcleo de memoria $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ , lo cual está cerca del régimen marginal de $1/t$ .
Independencia de la Arquitectura: A pesar de los mecanismos microscópicos fundamentalmente diferentes (auto-atención vs. espacio de estados selectivo), los Transformers y Mamba exhiben organizaciones de infrarrojos colectivos estrechamente relacionados. Los Transformers muestran un exponente representativo de $\beta_{Tr} \sim -0.1$ , mientras que Mamba se estabiliza cerca de $\beta_M \sim -0.17$ . Ambas arquitecturas ocupan un régimen "casi marginal" caracterizado por una TDOS de infrarrojos amplia, casi plana, pero débilmente mejorada en el infrarrojo.

Significancia y Reivindicaciones
El artículo afirma separar la memoria explícita del espacio de estados microscópico de la organización de infrarrojos colectiva, demostrando que distintas arquitecturas de secuencias pueden desarrollar dinámicas de modo lento casi marginales y estrechamente relacionadas. La principal significancia radica en mostrar que esta organización de infrarrojos no es única del mecanismo de auto-atención de los Transformers, sino que también emerge en los modelos de espacio de estados, a pesar de sus diferentes raíces computacionales.

El autor argumenta que esto sugiere que la dinámica de modo lento casi marginal puede representar un principio dinámico general del procesamiento de secuencias aprendidas, extendiendo la observación de la organización colectiva de infrarrojos más allá de los Transformers. Este hallazgo proporciona una prueba independiente de la estructura dinámica descrita por la Teoría de Campo Cognitiva, que asocia la memoria macroscópica de larga duración con la organización de infrarrojos de los modos de relajación colectiva. Los resultados indican que, si bien las implementaciones microscópicas difieren, la dinámica colectiva macroscópica de los modelos de secuencias aprendidas puede converger hacia un régimen similar y físicamente significativo.

Más como este