Resumo Técnico: Contextos Latentes Contínuos Habilitam Aprendizado Online Eficiente em Transformers

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstram fortes capacidades de aprendizado em contexto, inferindo preditores a partir de exemplos rotulados sem atualizações de parâmetros. No entanto, muitos cenários interativos exigem tomada de decisão online, onde um modelo deve se adaptar ao longo de horizontes de múltiplas interações em resposta a feedbacks. Um aprendizado online eficaz requer a manutenção de uma representação compacta das informações aprendidas (um estado algorítmico) para informar decisões futuras.

O prompting padrão de Cadeia de Pensamento (CoT) representa o raciocínio intermediário por meio de tokens discretos, o que pode tornar-se proibitamente longo para tarefas complexas e de longo horizonte. Trabalhos recentes sobre cadeia de pensamento contínua (por exemplo, COCONUT) sugerem que estados latentes contínuos podem carregar informações em "superposições" de tokens de vocabulário, potencialmente oferecendo uma representação de contexto mais compacta. A questão central abordada por este artigo é se tokens de contexto latente contínuo podem equipar transformers para implementar efetivamente algoritmos de aprendizado online, especificamente armazenando e atualizando estados algorítmicos como combinações lineares de incorporações de características.

Metodologia

O artigo emprega uma abordagem dual combinando construção teórica e validação empírica:

1. Construções Teóricas

Os autores fornecem construções explícitas de transformers causais de profundidade constante equipados com tokens de contexto latente contínuo (seguindo a arquitetura COCONUT) para implementar dois procedimentos fundamentais de tomada de decisão online:

• Algoritmo da Maioria Ponderada (WMA):

  • Mecanismo: O transformer mantém o estado do WMA em um único vetor de contexto contínuo. Este vetor atua como uma superposição (combinação linear) de incorporações de especialistas, onde o coeficiente de cada incorporação de especialista corresponde ao logaritmo do peso daquele especialista.
  • Operação:
    • Previsão: Uma cabeça de atenção suave consulta o vetor de estado contra as chaves de previsão dos especialistas para calcular a previsão da maioria ponderada.
    • Atualização: Ao receber a verdade fundamental, o vetor de estado é atualizado via operações de atenção linear para incrementar os log-pesos dos especialistas corretos (atualização de pesos multiplicativos).
  • Resultado: A construção prova que um transformer de profundidade constante com $O(1)$ cabeças pode recuperar exatamente a regra de atualização de pesos exponenciais.

• Q-Learning Tabular:

  • Mecanismo: O transformer implementa Q-learning tabular online para Processos de Decisão de Markov (MDPs). A tabela Q é codificada como um conjunto de tokens de contexto contínuos, onde cada token representa uma linha da tabela Q (indexada por ação) como uma superposição de incorporações de estado.
  • Operação: O transformer realiza duas tarefas por etapa:
    1. Avaliação: Recupera os valores Q atuais para selecionar uma ação (implementando $\max_a Q(s, a)$).
    2. Atualização: Calcula a atualização de Bellman ($Q(s, a) \leftarrow Q(s, a) + \alpha[r + \gamma \max_{a'} Q(s', a') - Q(s, a)]$) escrevendo termos em subespaços disjuntos e somando-os linearmente no fluxo residual.
  • Resultado: Um transformer causal de quatro camadas é mostrado para implementar exatamente a atualização de Q-learning em cada etapa.

2. Validação Empírica

Os autores treinaram transformers pequenos estilo GPT-2 com contextos latentes contínuos usando objetivos de múltiplos currículos que não supervisionavam diretamente os estados latentes.

• Aprendizado Não Supervisionado a partir de Dados de Especialistas: Um transformer pequeno (4 camadas, ~200 mil parâmetros) foi treinado em sequências de previsão de especialistas. O modelo aprendeu a manter contextos latentes que codificavam a confiabilidade dos especialistas, alcançando desempenho comparável ao algoritmo ótimo de pesos multiplicativos.
• Aprendizado por Imitação de Q-Learning: Um transformer pequeno similar foi treinado em trajetórias geradas por Q-learning tabular. O modelo aprendeu a emitir ações consistentes com a política gulosa tabular. Probes lineares confirmaram que os componentes da atualização de Bellman (recompensa, valor atual, valor bootstrap) estavam explicitamente representados no fluxo residual.
• Avaliação de LLMs de Fronteira: Os autores avaliaram modelos grandes (Qwen-3-14B e DeepSeek-V3) em tarefas interativas de previsão de especialistas. Eles compararam um protocolo padrão contra um protocolo permitindo que o modelo emitisse uma "nota" curta e não supervisionada para carregar informações de estado.

Principais Resultados

1. Viabilidade Teórica: O artigo demonstra que transformers de profundidade constante com contextos latentes contínuos podem teoricamente implementar algoritmos complexos de aprendizado online (WMA e Q-learning) armazenando estados algorítmicos como superposições em um número fixo de tokens de contexto.
2. Eficiência de Modelos Pequenos: Em tarefas sintéticas de previsão online, o transformer pequeno treinado (4 camadas, 200 mil parâmetros) superou significativamente LLMs maiores e mais complexos (Qwen-3-14B com 14,8 bilhões de parâmetros e DeepSeek-V3 com 671 bilhões de parâmetros) em tarefas de tomada de decisão de sequências longas.
3. Recuperação de Estado Latente: Nos modelos pequenos treinados, mecanismos de atenção foram observados focando nos tokens de contexto latente, e probes lineares decodificaram com sucesso o estado algorítmico (pesos de especialistas ou valores Q) desses tokens, confirmando que os modelos aprenderam a usar o contexto como um estado persistente.
4. Limitações de Estado em LLMs: LLMs de fronteira mostraram alguma capacidade de adaptação a feedbacks, mas performaram significativamente melhor quando permitidos a emitir uma "nota" explícita carregando informações de estado. No entanto, esses LLMs frequentemente dependeram de notas de texto que crescem linearmente (por exemplo, transcrições rodada a rodada) em vez de representações de estado compactas. Em contraste, a abordagem proposta de contexto latente contínuo utiliza um número constante de tokens independentemente do comprimento da sequência.

Significado e Afirmações

O artigo afirma que contextos latentes contínuos fornecem um estado persistente simples e eficaz para transformers implementarem algoritmos de aprendizado online.

• Interpretação Algorítmica: Os resultados suportam uma interpretação algorítmica do raciocínio latente contínuo, sugerindo que transformers podem usar seu contexto não apenas como um buffer de memória passivo, mas como um estado ativo e persistente de aprendizado online que habilita a implementação de algoritmos específicos.
• Eficiência: A abordagem destaca o valor de representações latentes contínuas sobre raciocínio baseado em tokens discretos para tarefas que exigem manutenção de estado de longo horizonte. Sugere que modelos pequenos equipados com o viés indutivo adequado (contextos contínuos) podem superar modelos massivos que dependem de cadeias de tokens discretos para rastreamento de estado.
• Limitações: Os autores observam que suas construções teóricas são ótimas no pior caso e que o surgimento dessas regras de atualização específicas a partir de treinamento baseado em gradiente em dados de linguagem natural permanece uma questão em aberto. Eles também reconhecem que seu estudo está restrito a cenários simplificados de tomada de decisão, e a generalização para raciocínio do mundo real ainda não está estabelecida.

O trabalho posiciona o raciocínio latente contínuo como uma solução potencial para os problemas de escalabilidade da cadeia de pensamento discreta na tomada de decisão online, oferecendo um caminho para uma manutenção de estado mais eficiente e compacta em arquiteturas de transformers.