Resumo Técnico: Extraindo Algoritmos em LLMs Pré-treinados: Um Caso sobre Modelos Ocultos de Markov

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstram uma capacidade impressionante de realizar aprendizado em contexto (ICL) em sequências geradas por Modelos Ocultos de Markov (HMMs), frequentemente aproximando-se do desempenho de predição Bayes-ótimo. No entanto, o mecanismo algorítmico específico subjacente a essa capacidade permanece indeterminado. Trabalhos anteriores propuseram diversos candidatos — incluindo métodos espectrais, rastreamento de estado de crença (belief-state tracking) e aprendizado de características baseado em gradiente — mas não há consenso sobre qual algoritmo está sendo realmente implementado. Crucialmente, as propostas anteriores não foram validadas contra as ativações internas do modelo, deixando uma lacuna entre o comportamento externo observado e a compreensão mecânica interna.

Metodologia

Os autores propõem um pipeline de três estágios para preencher essa lacuna, conectando o comportamento de ICL aos mecanismos internos:

1. Benchmarking Empírico: O estudo realiza o benchmarking sistemático de 12 LLMs pré-treinados (das famílias Qwen, Llama, Gemma e OLMo) contra um conjunto de preditores de HMM clássicos e baseados em aprendizado através de 75 configurações distintas de HMM. Essas configurações variam em entropia de transição (taxa de mistura), entropia de emissão (ruído) e tamanho do alfabeto. O objetivo é estreitar o espaço de algoritmos plausíveis, identificando quais baselines externas melhor correspondem ao comportamento do LLM em diferentes regimes.
2. Construção Teórica: Os autores derivam conexões teóricas mostrando que os Transformers são capazes de implementar as três principais classes de algoritmos candidatos (n-grama Linear, n-grama Não-linear e Espectral) via aprendizado em contexto. Eles fornecem construções explícitas expressando as probabilidades do próximo token como funções lineares de características não lineares construídas a partir de observações passadas. Isso é validado pelo treinamento de um pequeno Transformer em um único HMM e pela análise de sua convergência.
3. Sondagem Mecanística (PAP): Para determinar qual algoritmo é realmente usado por LLMs pré-treinados, os autores introduzem a Sondagem de Ativações Principais (PAP - Principal Activations Probe). Esta é uma técnica de sondagem e intervenção camada por camada que:
   • Projeta as ativações do fluxo residual em seus principais componentes (componentes principais) para isolar sinais algorítmicos de baixa dimensão.
   • Ajusta sondas lineares para decodificar representações algorítmicas candidatas (ex: estados de crença, operadores) a partir dessas ativações.
   • Realiza intervenções causais (patching de ativação) para testar se essas representações decodificadas impulsionam causalmente as predições do modelo.

Principais Contribuições

1. Estreitamento Empírico de Mecanismos: O estudo demonstra que nenhum algoritmo clássico único explica o comportamento do LLM em todos os regimes de HMM. No entanto, o comportamento é coletivamente abrangido por três classes de algoritmos: n-grama Linear, n-grama Não-linear e Espectral. O algoritmo de Baum-Welch é descartado como candidato porque seu perfil de desempenho (forte em contextos curtos via estimativa explícita de parâmetros) difere fundamentalmente da generalização gradual em contexto dos LLMs.
2. Unificação Teórica: Os autores provam que os Transformers podem implementar todos os três ansatzes candidatos. Eles mostram que as probabilidades do próximo token podem ser expressas como funções lineares de características não lineares (produtos de Kronecker de vetores one-hot) e que os Transformers podem aprender essas características e os mapas lineares associados via processos semelhantes ao gradiente descendente. Um pequeno Transformer treinado mostra convergir naturalmente para um preditor de n-grama Linear de janela finita.
3. Identificação Causal via PAP: A Sondagem de Ativações Principais revela que os LLMs pré-treinados não implementam um algoritmo estático único, mas recrutam diferentes representações dependendo do regime do HMM:
   • Soft n-gram (n-grama Linear/Não-linear): Esta representação é a mais causalmente eficaz tanto em regimes "dominados por crença" (mistura lenta, alto ruído) quanto em regimes "dominados por observação" (mistura rápida, baixo ruído).
   • Decodificabilidade vs. Uso Causal: O estudo destaca uma dissociação crítica: a informação algorítmica (ex: estatísticas de bigrama) pode ser decodificável das camadas iniciais, mas é contornada pela computação subsequente. A intervenção causal é necessária para confirmar se uma representação realmente impulsiona a saída.
   • Especialização de Camadas: Estágios computacionais distintos são localizados em diferentes camadas. Camadas iniciais frequentemente codificam informações que não são usadas causalmente, enquanto camadas tardias contêm as representações que determinam diretamente as predições.

Resultados

• Convergência para a Otimalidade: As predições dos LLMs consistentemente se aproximam do Oráculo Bayes-ótimo conforme o comprimento do contexto cresce, independentemente do tamanho do modelo, embora a velocidade de convergência varie.
• Estratégias Dependentes de Regime:
  • Em regimes dominados por observação (mistura rápida, baixa entropia de emissão), estatísticas simples de tipo bigrama são suficientes, e o modelo se comporta de forma semelhante a um preditor de cadeia de Markov.
  • Em regimes dominados por crença (mistura lenta, alta entropia de emissão), o modelo requer a integração de observações ao longo de contextos longos para manter um estado latente de crença. Aqui, a representação de Soft n-gram (uma característica aprendida de janela finita) emerge como o principal driver causal, superando simples bigramas e métodos espectrais em testes de intervenção causal.
• Validação com Pequeno Transformer: Um pequeno Transformer treinado em um HMM fixo recupera o preditor de n-grama Linear de janela finita quase exatamente, com mecanismos de atenção agregando tokens recentes em uma representação de característica linearmente decodificável.
• Descobertas do PAP: A sonda confirma que a "crença" (posterior sobre estados ocultos) é linearmente decodificável do fluxo residual, particularmente em camadas posteriores. No entanto, o patching causal revela que, em alguns regimes (ex: camadas iniciais de tarefas dominadas por crença), uma alta decodificabilidade não implica uso causal.

Significância e Alegações

O artigo afirma avançar o entendimento de como os LLMs realizam ICL em HMMs ao conectar o desempenho externo aos mecanismos internos. A conclusão central é que os LLMs não implementam inferência iterativa estatisticamente ótima (como rodar o algoritmo de forward ou Baum-Welch). Em vez disso, eles parecem aprender aproximações de janela finita, semelhantes ao gradiente descendente, bem descritas por estatísticas de Soft n-gram.

Isso ocorre mesmo em regimes onde a integração de longo alcance teoricamente produziria um menor erro de entropia cruzada. O estudo enfatiza que o "algoritmo" que um LLM implementa não é um procedimento fixo e monolítico, mas uma estratégia flexível que muda com base na dificuldade e estrutura da distribuição de dados subjacente. A introdução do PAP fornece um framework rigoroso para distinguir entre representações que estão meramente presentes nas ativações do modelo e aquelas que são causalmente necessárias para a predição.

Os autores observam limitações, restringindo sua análise a HMMs sintéticos com alfabetos finitos pequenos e baseando-se em sondagem linear, que pode não capturar representações totalmente não lineares ou distribuídas. Eles sugerem estender o PAP para tarefas de linguagem natural com estrutura latente e realizar análcio de circuito como direções futuras.