💻 computer science

Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures

Este artigo demonstra que, apesar de mecanismos microscópicos fundamentalmente diferentes, tanto as arquiteturas Transformer quanto as Mamba desenvolvem uma dinâmica coletiva infravermelha compartilhada e quase marginal, caracterizada por um contínuo de modo lento, estendendo assim a universalidade de tal organização para além dos Transformers e apoiando previsões da Teoria do Campo Cognitivo.

Autores originais: Byung Gyu Chae

Publicado 2026-08-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Byung Gyu Chae

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta paisagem da inteligência artificial, pesquisadores há muito buscam compreender como as máquinas aprendem a lembrar. Duas famílias dominantes de modelos emergiram para lidar com sequências de informações, como palavras em uma frase ou quadros em um vídeo. A primeira família, conhecida como Transformers, baseia-se em um mecanismo chamado autoatenção, que permite ao modelo ponderar a importância de cada fragmento de informação em relação a todos os outros simultaneamente. A segunda família, representada por modelos mais novos como o Mamba, utiliza uma abordagem diferente baseada na dinâmica de espaço de estados, onde o modelo mantém um estado interno que evolui ao longo do tempo, atualizando sua memória conforme processa cada nova peça de dados. Por anos, cientistas se perguntaram se essas duas formas fundamentalmente diferentes de pensar sobre tempo e memória poderiam, de fato, levar ao mesmo comportamento subjacente no interior da máquina. Essa questão é importante porque, se diferentes arquiteturas convergem para os mesmos padrões, isso sugere que a capacidade de aprender e lembrar é governada por princípios universais, e não apenas pelas escolhas de engenharia específicas dos designers.

Um pesquisador propôs-se a testar essa ideia olhando dentro de um modelo Mamba treinado para ver como sua memória realmente funciona. Ele focou em uma propriedade específica chamada "densidade de estados de escala temporal", que é essencialmente um mapa mostrando quantas diferentes velocidades de memória o modelo possui. Imagine uma biblioteca onde os livros são organizados não por tópico, mas pela rapidez com que desaparecem da mente de um leitor. Alguns livros são esquecidos em segundos, outros em minutos, e alguns perduram por anos. O pesquisador queria ver a distribuição dessas "velocidades de desaparecimento" no modelo Mamba. Ele sabia que o Mamba possui um mecanismo de memória integrado que pode ser examinado em camadas: primeiro, as velocidades de memória internas brutas codificadas em seu design; segundo, como essas velocidades mudam dependendo da entrada específica que recebe; e, finalmente, a velocidade de memória coletiva de todo o bloco após todos os seus cálculos complexos serem finalizados.

O pesquisador descobriu que essas três camadas não são as mesmas. A memória interna bruta do modelo Mamba começa com uma ampla gama de velocidades, mas, à medida que o modelo processa informações, ele reescala seletivamente essas velocidades com base no que está lendo. Esse ajuste dependente da entrada é uma característica única do Mamba, permitindo que ele desacelere ou acelere seu relógio interno dependendo do contexto. No entanto, a descoberta mais surpreendente veio quando o pesquisador observou a saída coletiva final de todo o bloco do modelo. Apesar da complexa reorganização de velocidades ocorrendo no interior, o resultado final estabilizou-se em um padrão muito específico e estável. Quando mediram as velocidades de memória através de diferentes comprimentos de sequência, descobriram que o modelo consistentemente desenvolveu uma gama ampla e contínua de memórias muito lentas. Essas memórias lentas não desapareceram; em vez disso, elas formaram um continuum suave e previsível que se tornou mais claro e definido à medida que o modelo processava sequências de dados mais longas.

Para entender se isso era uma peculiaridade do design do Mamba ou uma regra geral de sistemas inteligentes, o pesquisador comparou suas descobertas com o comportamento de modelos Transformer. Os Transformers não possuem a mesma maquinaria de espaço de estados internos que o Mamba; eles dependem de mecanismos de atenção. No entanto, quando o pesquisador mediu as velocidades de memória coletivas dos Transformers, encontrou um padrão surpreendentemente semelhante. Ambas as arquiteturas, apesar de usarem métodos microscópicos completamente diferentes para processar informações, desenvolveram uma distribuição quase plana de velocidades de memória que era levemente ponderada para as memórias mais lentas e de maior duração. Na linguagem da física, este é um estado "quase marginal", o que significa que os modelos estão posicionados exatamente na borda de possuírem memória infinita, permitindo que retenham informações por longos períodos sem ficarem estagnados.

O estudo confirma que essa organização de memória lenta não é apenas uma característica de um tipo específico de rede neural. O pesquisador mostrou que, embora o Mamba construa explicitamente sua memória usando uma estrutura matemática diferente dos Transformers, ambos os sistemas acabam organizando sua dinâmica coletiva da mesma forma. Eles descobriram que o comportamento de memória do Mamba se estabiliza em torno de um valor específico, indicando um padrão robusto e reproduzível que emerge independentemente do comprimento da sequência, desde que a sequência seja longa o suficiente para revelar o quadro completo. Isso sugere que a capacidade de manter a memória de longo prazo é uma propriedade fundamental do processamento de sequências aprendido, uma que surge naturalmente em diferentes formas arquitetônicas. As descobertas ampliam nossa compreensão de como a inteligência artificial funciona, mostrando que, sob as diferenças superficiais de design, esses modelos poderosos compartilham uma estrutura comum e profunda para lidar com o tempo e a memória.

Título: Universalidade de Infravermelho da Dinâmica Coletiva através de Arquiteturas Transformer e de Espaço de Estados

Problema
Uma questão fundamental em aprendizagem profunda é se distintas arquiteturas neurais, apesar de utilizarem mecanismos computacionais microscópicos diferentes, desenvolvem comportamentos dinâmicos coletivos comuns. Análises recentes de modelos de linguagem Transformer revelaram uma densidade de estados de escalas de tempo (TDOS) quase plana e fracamente intensificada no infravermelho em seus espectros de relaxação, associada a uma dinâmica de memória longa quase marginal ( $K(t) \sim 1/t$ ). No entanto, permanece incerto se essa organização de infravermelho é um artefato específico do mecanismo de autoatenção ou um princípio mais geral de processamento de sequências aprendidas. Para testar isso, é necessária uma comparação com uma arquitetura que emprega um mecanismo qualitativamente diferente para computação temporal. Modelos de espaço de estados, particularmente o Mamba, oferecem tal contraste ao utilizarem dinâmica de espaço de estados seletiva e dependente da entrada, em vez de autoatenção.

Metodologia
O estudo emprega uma análise espectral multinível em um modelo Mamba-370M pré-treinado para distinguir entre a memória de espaço de estados microscópica e a organização coletiva macroscópica. A metodologia procede através de três níveis dinâmicos distintos:

Espectro Intrínseco do Espaço de Estados: O autor analisa o espectro de autovalores do gerador de espaço de estados aprendido ( $A$ ), definindo taxas de relaxação intrínsecas $\lambda^{int}_i = -\text{Re}(a_i)$ . Isso representa a hierarquia de escalas de tempo codificada diretamente nos parâmetros do modelo antes da condicionamento pela entrada.
Espectro Efetivo Condicionado pela Entrada: O estudo examina as taxas de relaxação efetivas $\lambda^{eff}_{i,t} = \Delta_t(x) \lambda^{int}_i$ , onde o passo de tempo seletivo e dependente da entrada $\Delta_t(x)$ reescala as taxas intrínsecas durante a inferência. Isso captura como o mecanismo seletivo reorganiza dinamicamente as escalas de relaxação com base na sequência de entrada.
Espectro Coletivo de Bloco Completo: O autor computa o Jacobiano da transformação completa do bloco Mamba ( $J_\ell = \partial \text{vec}(H_{\ell+1}) / \partial \text{vec}(H_\ell)$ ). As taxas de relaxação coletivas são definidas como $\lambda^{block}_\alpha = -\ln |\zeta_\alpha|$ , onde $\zeta_\alpha$ são os autovalores do Jacobiano de bloco completo. Isso mede a resposta coletiva de todo o bloco, incluindo projeções, portões (gating), não linearidades e propagação residual.

A densidade de estados de escala de tempo (TDOS) coletiva, $\rho(\lambda)$ , é construída a partir dessas taxas. A análise varia sistematicamente o comprimento de sequência retido ( $L$ ) de 8 a 512 tokens para testar a convergência e estabilidade do setor de infravermelho. O expoente de escala de infravermelho $\beta$ é determinado via estatísticas de modo cumulativas ( $N(<\lambda) \propto \lambda^{1+\beta}$ ) sobre um intervalo fixo e bem resolvido para evitar artefatos de agrupamento (binning). Estes resultados são diretamente comparados com medições anteriores de modelos Transformer (especificamente Pythia-410M) utilizando a mesma construção de Jacobiano de bloco completo.

Principais Resultados

Reorganização Hierárquica: Os espectros intrínseco, efetivo e de bloco completo não são idênticos. Embora o gerador de espaço de estados aprendido contenha uma ampla hierarquia intrínseca de taxas de relaxação, o mecanismo seletivo e as subsequentes transformações de bloco reorganizam substancialmente essa hierarquia. O espectro coletivo de bloco completo é uma propriedade emergente distinta, não uma cópia direta do espectro microscópico do SSM.
Emergência de um Continuum de Infravermelho Coletivo: A dinâmica de bloco completo do Mamba desenvolve um continuum de modos lentos reproduzível. À medida que o comprimento da sequência aumenta, o setor de infravermelho torna-se progressivamente melhor resolvido e mais suave, estendendo-se em direção a taxas de relaxação menores.
Expoente de Escala de Infravermelho: A análise espectral cumulativa revela uma escala de potência fracamente negativa $\rho(\lambda) \sim \lambda^\beta$ . Para sequências longas ( $L \ge 64$ ), o expoente estabiliza-se próximo a $\beta_M \simeq -0.17$ . Isso corresponde a um kernel de memória $K(t) \sim t^{-(1+\beta)} \approx t^{-0.83}$ , que está próximo do regime marginal $1/t$ .
Independência de Arquitetura: Apesar dos mecanismos microscópicos fundamentalmente diferentes (autoatenção vs. espaço de estados seletivo), Transformers e Mamba exibem organizações de infravermelho coletivo coletivo estreitamente relacionadas. Transformers mostram um expoente representativo de $\beta_{Tr} \sim -0.1$ , enquanto o Mamba estabiliza-se próximo a $\beta_M \sim -0.17$ . Ambos ocupam um regime "quase-marginal" caracterizado por uma TDOS de infravermelho ampla, quase plana, mas fracamente intensificada.

Significância e Alegações
O artigo alega separar a memória explícita do espaço de estados microscópico da organização de infravermelho coletiva, demonstrando que distintas arquiteturas de sequência podem desenvolver dinâmicas de modo lento quase-marginais e estreitamente relacionadas. A principal significância reside em mostrar que esta organização de infravermelho não é única ao mecanismo de autoatenção dos Transformers, mas emerge também em modelos de espaço de estados, apesar de suas diferentes raízes computacionais.

O autor argumenta que isso sugere que a dinâmica de modo lento quase-marginal pode representar um princípio dinâmico geral de processamento de sequências aprendidas, estendendo a observação da organização coletiva de infravermelho além dos Transformers. Esta descoberta fornece um teste independente da estrutura dinâmica descrita pela Teoria de Campo Cognitiva, que associa a memória macroscópica de longa duração com a organização de infravermelho dos modos de relaxação coletiva. Os resultados indicam que, embora as implementações microscópicas difiram, a dinâmica coletiva macroscópica dos modelos de sequência aprendidos pode convergir para um regime similar e fisicamente significativo.

Mais como este