Resumo Técnico: Sobre o "Viés de Indução" em Modelos de Sequência

Declaração do Problema

Embora os modelos de linguagem baseados em Transformers tenham alcançado um sucesso prático notável, a literatura recente destacou suas limitações fundamentais no rastreamento de estado (state tracking), particularmente no que diz respeito à generalização fora da distribuição (OOD), como a extrapolação de comprimento. No entanto, a extensão em que essas limitações se manifestam dentro da distribuição — especificamente em relação à eficiência de dados e à capacidade de generalizar entre diferentes comprimentos de sequência dentro da distribuição de treinamento — permanece menos compreendida.

Este trabalho postula que o problema central reside no viés indutivo das arquiteturas. Os Transformers computam saídas ao atender a todas as entradas e saídas anteriores dentro de uma janela de contexto, permitindo teoricamente o recálculo global do estado. Em contraste, as redes neurais recorrentes (RNNs) devem codificar todas as informações passadas relevantes em um único vetor de estado oculto em cada passo temporal. Os autores argumentam que essa restrição nas RNNs incentiva um mecanismo de atualização de estado "passo a passo" (análogo ao passo de indução em demonstrações matemáticas), o que eles denominam "viés de indução". Esse viés facilita o compartilhamento de mecanismos de solução através de variações de comprimento de sequência, enquanto os Transformers podem aprender soluções específicas de comprimento de forma isolada.

Metodologia

Os autores conduzem um estudo empírico sistemático de larga escala para quantificar a eficiência de dados de Transformers versus modelos recorrentes em tarefas sintéticas de rastreamento de estado.

Tarefas

O estudo formaliza o rastreamento de estado como a manutenção de um estado latente sob uma sequência de atualizações dentro de um arcabouço de teoria dos grupos. Duas tarefas canônicas são utilizadas:

1. Adição Modular: Uma operação comutativa sobre o grupo cíclico $\mathbb{Z}_m$.
2. Composição de Permutação: Uma operação não comutativa sobre o grupo simétrico $S_5$.

Essas tarefas sintéticas permitem o controle independente do comprimento da sequência ($n$) e do tamanho do espaço de estado (módulo $m$), isolando a computação de rastreamento de estado de artefatos de compreensão de linguagem ou memorização.

Regimes de Supervisão

Três formatos de tarefa são avaliados para variar a densidade do sinal de supervisão:

1. Supervisão de Resultado (Outcome Supervision): O modelo prevê apenas a soma ou estado final.
2. Cadeia de Pensamento (Chain-of-Thought - CoT): O modelo gera uma sequência de somas parciais intermediárias de forma autorregressiva.
3. Cadeia de Pensamento Alinhada (Aligned Chain-of-Thought - ACoT): O modelo produz a soma parcial correspondente a cada token de entrada (supervisão por token).

Modelos

O estudo compara:

• Transformers: Arquiteturas decodificadoras decoder-only de múltiplas camadas (estilo GPT-2, 6 camadas).
• Modelos Recorrentes: Long Short-Term Memory (LSTM) e Modelos de Espaço de Estados Densos (Dense-SSMs), que utilizam matrizes de transição densas e dependentes da entrada.
• SSMs Seletivos: O Mamba é incluído para análise de compartilhamento de pesos.

Métricas

A métrica primária é a eficiência de amostra, definida como o tamanho mínimo do conjunto de dados ($N^*$) necessário para que um modelo atinja um limiar de convergência de perda de validação. Adicionalmente, os autores introduzem um Fator de Compartilhamento ($\kappa$) para quantificar o compartilhamento de mecanismos entre comprimentos:
$$\kappa = \frac{\sum_{n=2}^{L} N^*_n}{N^*_{joint}}$$
Onde $N^*_n$ é o número de amostras necessárias para um comprimento fixo $n$, e $N^*_{joint}$ é o número de amostras necessárias para aprender todos os comprimentos simultaneamente.

• $\kappa > 1$: Indica aprendizado amortizado (mecanismos compartilhados).
• $\kappa \approx 1$: Indica aprendizado isolado e específico de comprimento.
• $\kappa < 1$: Indica interferência destrutiva.

Principais Resultados

1. Preferências Divergentes de Supervisão

• Transformers operam de forma mais eficiente com supervisão de Cadeia de Pensamento (CoT). Eles enfrentam dificuldades significativas com ACoT e Supervisão de Resultado, frequentemente falhando em convergir em configurações não triviais.
• Modelos Recorrentes (LSTM/Dense-SSM) exibem eficiência de amostra superior com ACoT (Cadeia de Pensamento Alinhada) e Supervisão de Resultado. Eles apresentam dificuldades com CoT, provavelmente devido a um "gargalo de recuperação" (recall bottleneck), onde devem desenrolar computações intermediárias após processar todo o input.

2. Eficiência de Dados e Comprimento de Sequência

• Transformers: A quantidade de dados de treinamento necessária cresce rapidamente com o comprimento da sequência e o tamanho do espaço de estado. Crucialmente, os Transformers falham em aproveitar os sinais de supervisão adicionais fornecidos por sequências mais longas nos formatos CoT; a complexidade de amostragem não diminui conforme o esperado com sequências mais longas.
• Modelos Recorrentes: No regime ACoT, os modelos recorrentes mostram melhoria na eficiência de dados conforme o comprimento máximo da sequência aumenta, sugerindo que eles utilizam efetivamente o aumento na densidade dos sinais de supervisão. No regime de Supervisão de Resultado, sequências mais curtas fornecem um sinal de aprendizado mais forte para RNNs do que sequências longas.

3. Compartilhamento de Pesos e Viés de Indução

• Transformers exibem um fator de compartilhamento baixo ($\kappa \approx 1$ ou $\kappa < 1$) em todos os formatos de tarefa. Isso indica que eles aprendem soluções específicas de comprimento de forma isolada. No regime CoT, os Transformers apresentam interferência destrutiva ($\kappa \ll 1$), onde o treinamento em comprimentos mistos é menos eficiente do que treinar modelos separados para cada comprimento.
• Modelos Recorrentes exibem altos fatores de compartilhamento ($\kappa \gg 1$) em seus regimes preferidos (Resultado e ACoT). Isso confirma que eles internalizam um operador de transição reutilizável, permitindo que os dados de um comprimento de sequência amortizem os custos de aprendizado de outros.
• Correlação com OOD: O artigo encontra uma forte correlação entre um alto fator de compartilhamento e a capacidade de generalizar para comprimentos de sequência não vistos (OOD). Modelos com baixos fatores de compartilhamento falham em extrapolar.

Significância e Alegações

Os autores afirmam que o rastreamento de estado continua sendo um desafio fundamental para os Transformers, mesmo quando as distribuições de treinamento e avaliação coincidem. O estudo demonstra que:

1. Transformers exigem quantidades extraordinárias de dados de treinamento para generalizar em tarefas simples de rastreamento de estado, mesmo dentro da distribuição.
2. A falta de "viés de indução" nos Transformers impede o compartilhamento de pesos eficaz entre comprimentos de sequência, levando ao aprendizado isolado de heurísticas específicas de comprimento.
3. A eficiência de dados dos Transformers escala mal com o comprimento da sequência, o que pode ajudar a explicar desafios como a "deterioração de contexto" (context rot) em janelas de contexto grandes.
4. Embora os Transformers possam aprender essas tarefas com supervisão específica (CoT), eles o fazem aprendendo mecanismos distintos para cada comprimento, em vez de um algoritmo generalizável.

O artigo conclui que esses achados sugerem que o aprendizado de ponta a ponta em cenários "agênticos" (ex: robótica, controle de interface gráfica) envolvendo rastreamento de estado de longo horizonte pode ser significamente mais desafiador para Transformers do que o anteriormente assumido, pois eles carecem do viés indutivo inerente para compartilhar eficientemente mecanismos de atualização de estado através de diferentes escalas temporais.

Limitações

Os autores reconhecem que seu estudo é limitado por um conjunto representativo de tarefas sintéticas e modelos. Embora essas tarefas isolem o rastreamento de estado, elas não capturam todas as complexidades da predição sequencial do mundo real. Além disso, o extenso espaço de busca exigido pelos experimentos limita o número de arquiteturas e famílias de tarefas que poderiam ser diretamente avaliadas. A transferência desses padrões de eficiência de dados para domínios realistas (execução de código, controle incorporado) permanece como uma direção para trabalhos futuros.