Chaos in reason: How chain-of-thought LLMs can look for an answer

Resumo Técnico: Caos na Razão

Enunciado do Problema
Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades de raciocínio notáveis, particularmente ao utilizar o prompting de Cadeia de Pensamento (Chain-of-Thought - CoT), embora suas dinâmicas internas permaneçam mal compreendidas. Embora os LLMs sejam treinados via otimização estatística sem regras simbólicas explícitas, eles exibem comportamentos emergentes que se assemelham à inferência lógica. Isso levanta uma questão fundamental sobre a natureza deste raciocínio: ele é estocástico, estruturado ou caótico? Os autores postulam que os LLMs podem ser vistos como sistemas dinâmicos não lineares de alta dimensão, onde a geração autorregressiva de tokens corresponde a uma regra de evolução de tempo discreto. O problema central abordado é se a evolução interna das representações dos LLMs exibe assinaturas genuínas de caos determinístico, especificamente sensibilidade às condições iniciais, divergência limitada e estruturas fractais, e como os componentes arquitetônicos contribuem para essas dinâmicas.

Metodologia
Os autores aplicam ferramentas da dinâmica não linear e da teoria do caos para analisar tanto os outputs de texto quanto as trajetórias de estados ocultos dos LLMs. A metodologia integra três abordagens analíticas primárias:

1. Análise de Trajetória: Os autores tratam sequências de estados ocultos e embeddings de sentenças como trajetórias em um espaço de fase de alta dimensão. Eles empregam múltiplas métricas de distância complementares (Cosseno, Dynamic Time Warping, Fréchet Discreto, Hausdorff e Dissimilaridade de Correlação Cruzada) para quantificar a divergência entre trajetórias iniciadas a partir de condições iniciais levemente perturbadas.
2. Diagnósticos de Caos:
   • Expoentes de Lyapunov: Eles estimam os expoentes de Lyapunov máximos ajustando modelos de crescimento exponencial à divergência inicial de trajetórias próximas antes da saturação. Eles também utilizam o "tempo de primeira divergência" (o número de tokens até que as trajetórias selecionem tokens diferentes) como uma quantidade característica robusta.
   • Gráficos de Recorrência: Estes são usados para visualizar a estrutura geométrica e temporal das trajetórias, buscando estruturas de linhas diagonais indicativas de caos determinístico.
   • Estimativa de Dimensionalidade: A dimensão de correlação ($D_2$) é calculada usando o algoritmo de Grassberger–Procaccia para determinar se as trajetórias evoluem em variedades de baixa dimensão ou espaços estocásticos de alta dimensão.
3. Análise de Jacobiano ao Nível de Operador: Para ligar observações macroscópicas a mecanismos microscópicos, os autores realizam uma análise exata de Jacobiano de sub-blocos individuais do Transformer (autoatenção, redes feed-forward, normalização e conexões residuais). Eles computam normas espectrais e fatores de expansão isotrópica para identificar quais componentes amplificam perturbações ("estiramento/stretching") e quais as suprimem ("dobramento/folding").

Experimentos foram conduzidos primariamente no modelo DeepSeek-R1-Distill-Qwen-1.5B, com replicação no modelo Phi-4-mini-instruct. Perturbações foram aplicadas no espaço de embedding para garantir magnitude controlada.

Principais Contribuições e Resultados

• Evidência de Assinaturas Caóticas: O estudo demonstra que os LLMs exibem assinaturas características de caos. Trajetórias partindo de condições iniciais infinitesimalmente próximas mostram forte sensibilidade, caracterizada por um período inicial de similaridade latente seguido por uma divergência intermitente e em saltos, uma vez que uma perturbação cruza o limiar de amostragem de tokens. Este comportamento é consistente através de diferentes métricas de distância e espaços de representação (estados ocultos vs. embeddings de sentença).
• Decomposição Mecanística do Caos: A análise exata do Jacobiano revela os papéis arquitetônicos específicos na condução do caos:
  • Estiramento (Stretching): Os blocos de autoatenção e feed-forward (MLP) possuem normas espectrais maiores que 1, expandindo ativamente as perturbações. O mecanismo de autoatenção, em particular, introduz um forte acoplamento não linear que propaga perturbações através da sequência.
  • Dobramento (Folding): As camadas de normalização atuam como projeções ortogonais escalonadas que aniquilam o componente radial (mais expansivo) das perturbações, contrapondo-se à expansão.
  • Propagação: As conexões residuais preservam os componentes de perturbação sobreviventes, permitindo que persistam e cresçam através das camadas, apesar do efeito de limitação da normalização.
• Dinâmica por Camada: A análise revela uma transição no comportamento dinâmico através da profundidade da rede. As camadas iniciais comportam-se de forma semelhante a embeddings aleatórios de alta dimensão com dinâmicas estocásticas não correlacionadas. Em contraste, as camadas mais profundas organizam as trajetórias em variedades estruturadas de baixa dimensão. Os gráficos de recorrência mostram que as características caóticas (linhas diagonais fragmentadas) tornam-se mais pronunciadas nas camadas mais profundas, e as estimativas da dimensão de correlação indicam uma mudança em direção a estruturas determinísticas de baixa dimensão.
• Papel da Janela de Atenção: A dependência da divergência em relação ao tamanho da janela de atenção confirma que a autoatenção é a portadora do crescimento da perturbação caótica. Um comportamento não monotônico foi observado, onde tamanhos intermediários de janela poderiam estabilizar a dinâmica ao suprimir efeitos de perturbação, enquanto janelas grandes permitiam uma divergência consistente, porém atrasada.
• Estrutura Fractal: A análise de dimensionalidade revela que, embora o espaço ambiente do estado oculto seja de alta dimensão ($D=1536$), a dimensão efetiva das trajetórias nas camadas finais é ordens de magnitude menor, sugerindo a evolução em uma variedade de tipo fractal.

Significância e Alegações
O artigo afirma fornecer um framework principiológico para interpretar o comportamento dos LLMs através da lente da dinâmica não linear, indo além de descrições puramente estatísticas. Os autores argumentam que a coexistência de geração limitada e sensibilidade às condições iniciais é uma característica definidora dos modelos, posicionando-os operacionalmente próximos à "borda do caos". Este regime é sugerido para maximizar a propagação de informação e a expressividade computacional sem sacrificar a estabilidade global.

O estudo faz a ponte entre diagnósticos macroscópicos ao nível de trajetória e explicações mecânicas microscópicas, mostrando que o acoplamento não linear induzido pela autoatenção é central para impulsionar o comportamento caótico. Os autores observam modestamente que seus achados baseiam-se em modelos específicos e que as técnicas clássicas de análise de caos requerem adaptação para configurações de alta dimensão, discretas e parcialmente estocásticas. Eles enfatizam que métricas como expoentes de Lyapunov e dimensões fractais devem ser vistas como ferramentas diagnósticas comparativas, em vez de invariantes precisas neste contexto. Por fim, o trabalho sugere que ferramentas da teoria de sistemas complexos oferecem um caminho promissor para compreender a dinâmica interna, a robustez e as capacidades de raciocínio emergente de grandes modelos de linguagem.