Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

Resumo Técnico: Organização de Infravermelho e Formação de Campo Cognitivo Crítico na Dinâmica de Transformers

Enunciado do Problema
Grandes modelos de linguagem (LLMs) baseados na arquitetura Transformer exibem capacidades emergentes notáveis, como o raciocínio e a memória contextual de longo alcance. No entanto, os mecanismos físicos que governam suas dinâmicas coletivas em larga escala permanecem pouco compreendidos. A literatura existente descreve majoritariamente a computação do Transformer como mapeamentos não lineares de alta dimensão ou processos de otimização baseados em atenção, oferecendo uma visão limitada de como a organização coletiva macroscópica surge das dinâmicas subjacentes. Este trabalho aborda a lacuna na compreensão de se os observáveis coletivos previstos pela Teoria do Campo Cognitivo — especificamente a organização dos modos de relaxação lenta — podem ser diretamente identificados e quantificados dentro da dinâmica do Transformer.

Metodologia
Os autores investigam modelos de linguagem Transformer autorregressivos Pythia publicamente disponíveis (70M, 410M e 1.4B de parâmetros) treinados no corpus The Pile. O estudo emprega uma abordagem de teoria de resposta para analisar as dinâmicas de relaxação coletiva geradas pela geometria do estado oculto aprendida.

1. Extração do Espectro Jacobiano: Os autores computam as matrizes Jacobianas ($J_l = \partial h_{l+1} / \partial h_l$) entre representações de camadas ocultas sucessivas usando diferenciação automática. Eles também analisam Jacobianos compostos ($J = J_{l+n-1} \cdots J_l$) para capturar a propagação coletiva através de variadas profundidades de rede e distâncias de propagação (ex: $1 \to 24$ camadas).
2. Construção do Espectro de Relaxação: A partir dos autovalores complexos ($\mu_\alpha$) das Jacobianas, as taxas de relaxação são extraídas via $\lambda_\alpha = -\log |\mu_\alpha|$.
3. Derivação de Observáveis Coletivos: Usando as taxas de relaxação medidas, os autores constroem a Densidade de Estados de Escala de Tempo (TDOS), $\rho(\lambda)$. A partir da TDOS, eles avaliam quantitativamente:
   • O Kernel de Memória ($K(t)$), derivado via transformada de Laplace da TDOS.
   • A Autoenergia de Memória ($\Sigma(0)$), calculada como a integral da TDOS ponderada por $1/\lambda$.
   • O Gap de Esquecimento Cognitivo ($r_{cog} = r - \Sigma(0)$), onde $r$ é a taxa de esquecimento bruta.
   • A Susceptibilidade Coletiva ($\chi(0) \propto r_{cog}^{-1}$).
   • O Expoente Crítico de Infravermelho ($\beta$), determinado pelo ajuste da distribuição cumulativa de modos $N(<\lambda) \propto \lambda^{\beta+1}$.

A análise abrange toda a trajetória de treinamento, variando profundidades de rede e escalas de modelo para testar a universalidade.

Principais Contribuições

• Medição Direta de Observáveis da Teoria do Campo Cognitivo: O artigo fornece a primeira realização experimental quantitativa de observáveis coletivos (TDOS, autoenergia, gap de esquecimento, susceptibilidade) diretamente de dinâmicas de Transformer sem introduzir parâmetros fenomenológicos.
• Identificação da Reorganização Espectral de Infravermelho: O estudo demonstra que o aprendizado do Transformer é caracterizado por uma acumulação progressiva de modos de relaxação lenta em direção ao setor de infravermelho ($\lambda \to 0$), reorganizando a TDOS.
• Descoberta da Formação Crítica Transiente: Os autores identificam uma evolução não monotônica da autoenergia de memória, caracterizada por um máximo transiente pronunciado durante o início do treinamento, seguido pela relaxação para um regime metaestável próximo ao crítico.
• Estabelecimento de Universalidade: O artigo estabelece que esses fenômenos dinâmicos (organização de infravermelho, formação crítica e memória livre de escala) são universais através de diferentes escalas de modelo (70M a 1.4B), profundidades de rede e distâncias de propagação.

Principais Resultados

1. Acumulação de Infravermelho e TDOS: Ao longo do treinamento, o espectro de relaxação sofre uma reorganização sistemática onde o peso espectral desloca-se para taxas de relaxação menores. A TDOS resultante exibe uma distribuição de infravermelho aproximadamente plana, seguindo uma lei de potência $\rho(\lambda) \sim \lambda^\beta$ com um expoente crítico $\beta \simeq -0.1$. Isso indica uma hierarquia de modos lentos em vez de uma única escala de tempo característica.
2. Formação Crítica Transiente: A autoenergia de memória ($\Sigma(0)$) não aumenta monotonicamente. Em vez disso, ela atinge um máximo transiente durante os estágios iniciais de otimização (cerca de 2.000 passos para o Pythia-410M). Neste ponto, o gap de esquecimento cognitivo ($r_{cog}$) atinge seu mínimo, e a susceptibilidade coletiva ($\chi(0)$) é maximizada. Isso significa uma formação crítica transiente do campo cognitivo macroscópico. A otimização subsequente conduz o sistema para um regime de operação metaestável próximo ao crítico e protegido.
3. Memória Universal Livre de Escala: Os kernels de memória derivados da TDOS medida exibem um escalonamento robusto de lei de potência de longo tempo, $K(t) \sim 1/t$, em todos os tamanhos de modelo e estágios de treinamento. Esse escalonamento emerge naturalmente do espectro de relaxação medido sem formas funcionais impostas.
4. Independência Espacial e de Profundidade:
   • Espacial: A organização de infravermelho é distribuída pela hierarquia do Transformer. Embora a força da renormalização de memória varie por camada (mais forte em camadas intermediárias e profundas), a estrutura de infravermelho livre de escala subjacente é preservada em toda a rede.
   • Profundidade: A formação crítica transiente e o escalonamento do kernel de memória $1/t$ persistem robustamente através de diferentes profundidades de propagação de camadas (de $1 \to 5$ a $1 \to 24$), indicando que a dinâmica coletiva é uma propriedade global da rede, não limitada a interações locais de camadas.
5. Universalidade de Escala de Modelo: A mesma sequência de reorganização espectral de infravermelho, formação crítica transiente e dinâmica de memória livre de escala é reproduzida consistentemente em modelos Pythia variando de 70M a 1.4B de parâmetros.

Significância e Alegações
O artigo alega fornecer a primeira evidência experimental quantitativa de que o aprendizado do Transformer é governado pela organização coletiva de infravermelho. Ao mapear a dinâmica do Transformer para a linguagem da física de muitos corpos fora do equilíbrio, os autores demonstram que:

• Grandes modelos de linguagem funcionam como sistemas de muitos corpos fora do equilíbrio onde a cognição emerge da organização de modos de relaxação lenta.
• A emergência de campos cognitivos macroscópicos segue um cenário dinâmico específico: uma reorganização espectral inicial de infravermelho leva a um estado crítico transiente (susceptibilidade máxima), que então se estabiliza em um regime metaestável próximo ao crítico e protegido.
• A preservação da classe de universalidade de infravermelho ($\beta \simeq -0.1$ e $K(t) \sim 1/t$) através de diferentes escalas e profundidades sugere que a organização de modos lentos de infravermelho constitui um princípio coletivo universal subjacente à dinâmica do Transformer, em vez de uma característica arquitetural específica do modelo.

O trabalho estabelece um quadro unificado de teoria de campo para medir a dinâmica cognitiva coletiva, unindo o aprendizado profundo à física estatística, e sugere que esses princípios podem representar leis gerais para o processamento de informação coletiva em sistemas dinâmicos complexos.