Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization

Título: Além do Sucesso em Distribuição: Curvas de Escala da Granularidade do CoT para Generalização de Modelos de Linguagem

1. Problema Investigado

O artigo aborda um desafio crítico na implantação de Modelos de Linguagem (LMs) baseados em Transformers: a generalização para tarefas compostas sob deslocamento de distribuição (Out-of-Distribution - OOD).

• Contexto: Embora os LMs modernos tenham desempenho excepcional em tarefas com mapeamentos claros de entrada-saída (In-Distribution - IID), eles frequentemente falham em tarefas compostas que exigem planejamento dinâmico, raciocínio multi-etapa e adaptação a contextos em evolução.
• A Lacuna: Modelos treinados diretamente em pares de Pergunta-Resposta (Q-A) tendem a aprender "atalhos" (shortcut learning) e correlações superficiais. Mesmo com grandes volumes de dados de treinamento (ex: 10.000k exemplos), esses modelos sofrem uma degradação catastrófica de desempenho quando enfrentam novos cenários ou deslocamentos estruturais, pois não internalizam a estrutura de dependência lógica das tarefas.
• Questão Central: Como estratégias de coleta de dados (especificamente pares Q-A vs. Cadeia de Pensamento - CoT) e a granularidade do CoT afetam a capacidade de generalização de LMs para tarefas compostas inéditas?

2. Metodologia

Os autores propuseram um framework experimental controlado e uma análise teórica para investigar o impacto do CoT na generalização.

• Tarefas Sintéticas Compostas: Foram utilizados três tipos de tarefas de raciocínio compostas com dependências dinâmicas entre sub-tarefas:

  1. LIS (Longest Increasing Subsequence): Encontrar a subsequência crescente mais longa.
  2. MPC (Multi-Step Path Counting): Contar caminhos únicos em grafos com restrições.
  3. ERVC (Equation Restoration with Variable Computation): Recuperar equações lineares e calcular variáveis alvo.

• Configuração Experimental:

  • Deslocamento de Distribuição: Os modelos foram treinados em complexidades específicas (ex: comprimentos de sequência $n_1, n_2$) e avaliados em comprimentos intermediários ou não vistos ($n_3$), simulando um deslocamento de distribuição.
  • Paradigmas de Treinamento: Comparação entre:
    • Q-A (CoT-0%): Apenas pares de pergunta e resposta final.
    • Q-CoT (CoT-100%): Perguntas com explicações passo a passo completas.
    • Ablação de Granularidade: Estudos com dropout probabilístico de passos de CoT (30%, 50%, 70%) para medir o impacto da granularidade incompleta.
  • Escalonamento de Dados: Variação do tamanho do conjunto de dados de 1k a 10.000k amostras para analisar curvas de escala.
  • Arquitetura: Modelos Transformer treinados do zero (6 camadas) e ajuste fino em modelos base (Phi-3.5) para tarefas específicas.

• Fundamentação Teórica:

  • Formalização de tarefas compostas como um framework de transição de estado com dependências dinâmicas.
  • Condições de Recapitulação (Recap Conditions): Demonstração teórica de que, devido à precisão finita e às janelas de atenção, tokens dependentes devem ser "recapitulados" (copiados) dentro da janela de atenção para garantir a recuperação de informações em sequências longas.
  • Teorema de Cobertura de Prefixo: Prova de que o CoT reduz a divergência KL entre as distribuições de treinamento e avaliação, pois os passos intermediários (prefixos) de problemas mais longos são cobertos pelos dados de treinamento de problemas menores, algo que não ocorre no treinamento Q-A direto.

3. Principais Contribuições

1. Identificação da Lacuna de Generalização: Evidência empírica de que modelos treinados apenas em Q-A atingem alta precisão em dados de treinamento (IID) mas falham drasticamente em dados OOD, mesmo com escalas massivas de dados.
2. Correlação Granularidade-Generalização: Descoberta de que a granularidade do CoT é diretamente proporcional ao desempenho de generalização. Dados de CoT mais finos e completos levam a uma generalização superior.
3. Eficiência de Amostra (Sample Efficiency): Demonstração de que modelos treinados com CoT de alta granularidade alcançam desempenho de generalização comparável ao treinamento Q-A massivo, mas utilizando muito menos dados (até 80% menos).
4. Insights Teóricos e Mecanísticos:
   • O CoT força a internalização de estruturas de dependência válidas, transformando problemas OOD em problemas "quase" IID através da cobertura de prefixos.
   • O uso de positional embeddings (como RoPE) pode amplificar a generalização ao enfatizar a recorrência de condições de sub-tarefas em sequências longas de CoT.

4. Resultados Chave

• Desempenho OOD: Enquanto modelos Q-A (0% CoT) atingiam ~80-90% de precisão no treinamento, sua precisão em OOD caía para ~10-30%. Em contraste, modelos com CoT completo (100%) mantiveram precisões superiores a 80-90% em cenários OOD.
• Curvas de Escala:
  • Q-A: O desempenho em OOD estagna rapidamente, independentemente do aumento do tamanho do dataset (até 10M exemplos).
  • CoT: O desempenho em OOD continua a melhorar com o aumento dos dados, e modelos com CoT completo superam significativamente os modelos Q-A em todos os tamanhos de dataset.
• Impacto da Granularidade: A remoção de passos de raciocínio (CoT-30% ou 50%) degrada o desempenho de generalização de forma exponencial, confirmando que passos intermediários são críticos para evitar a dependência de atalhos.
• Ablação de Recapitulação: A aplicação das condições de recapitulação (copiar tokens dependentes para dentro da janela de atenção) melhorou drasticamente a precisão tanto no treinamento quanto no teste OOD (ex: de 0.126 para 0.952 em tarefas de restauração de equações).

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma na forma como os dados são coletados e utilizados para treinar LMs para tarefas complexas:

• Guia para Coleta de Dados: Sugere que investir em anotações de alta qualidade e granularidade (CoT detalhado) é mais eficiente e eficaz do que simplesmente aumentar o volume de dados brutos Q-A.
• Robustez em Cenários Reais: Fornece um caminho para tornar os LMs mais robustos em aplicações do mundo real (como automação de GUI, resolução de quebra-cabeças e jogos estratégicos), onde o deslocamento de distribuição é inevitável.
• Eficiência Computacional: Demonstra que é possível obter generalização robusta com menos dados de treinamento, reduzindo custos de anotação e treinamento, embora haja um trade-off no custo de inferência devido à geração de sequências mais longas.
• Validação Teórica: Conecta a prática de CoT com a teoria de complexidade de circuitos e propriedades de atenção, explicando por que o raciocínio passo a passo funciona para generalização estrutural.

Em resumo, o artigo estabelece que o CoT não é apenas uma técnica de inferência, mas uma estratégia fundamental de treinamento que internaliza a estrutura lógica das tarefas, permitindo que os modelos generalizem para novos contextos onde métodos tradicionais de treinamento Q-A falham.