Resumo Técnico: O Que Faz o Chain-of-Thought Funcionar no Momento da Sondagem?

Declaração do Problema

Embora o prompting Chain-of-Thought (CoT) seja amplamente reconhecido por melhorar a precisão dos modelos de linguagem em tarefas de raciocínio, as propriedades textuais específicas de uma justificativa que impulsionam essa melhoria permanecem pouco compreendidas. Pesquisas anteriores focaram predominantemente no comportamento no momento da geração, investigando como o CoT afeta o cálculo interno do modelo ou como variantes como autoconsistência influenciam a qualidade do raciocínio. No entanto, o comportamento no momento da sondagem — o processo pelo qual um modelo lê uma justificativa fixa e injetada e a utiliza para responder a uma pergunta — recebeu menos atenção.

Este artigo aborda a seguinte questão: Dada uma justificativa fixa no contexto, quais propriedades específicas desse texto alteram a resposta do modelo? Os autores desafiam a suposição predominante de que o benefício do CoT surge principalmente da reconstrução, pelo modelo, de uma derivação lógica global, ao nível de sentença. Em vez disso, eles hipotetizam que os ganhos podem depender de propriedades surpreendentemente locais do texto.

Metodologia

Os autores empregam um framework gerador–sonda controlado para isolar os efeitos da estrutura do texto da justificativa:

1. Gerador: Um modelo forte gera uma justificativa CoT completa para uma pergunta dada.
2. Injeção e Perturbação: A justificativa gerada é injetada no contexto de um modelo sonda. Crucialmente, declarações explícitas de resposta são removidas automaticamente para evitar vazamento trivial da resposta.
3. Protocolo de Perturbação de N-gramas: A manipulação experimental central envolve particionar a sequência de tokens da justificativa em janelas contíguas de tamanho $n$ e embaralhar aleatoriamente essas janelas, preservando a ordem interna dos tokens dentro de cada janela.
   • $n=1$ (Embaralhamento de Palavras): Destrói toda a estrutura composicional, deixando apenas um saco global de palavras.
   • $n=2, 3, \dots$: Preserva estruturas de co-ocorrência local cada vez maiores.
   • Embaralhamento de Sentenças (SS): Reordena aleatoriamente sentenças completas mantendo-as intactas.
4. Estatística de Recuperação de Lacuna ($GR(n)$): Os autores definem uma métrica para quantificar quanto da lacuna de desempenho entre uma linha de base de saco de palavras ($WS$) e o CoT completo é recuperada em um determinado tamanho de janela $n$:
   $$GR(n) = \frac{Acc(n) - Acc(WS)}{Acc(CoT) - Acc(WS)}$$
   Um tamanho de janela crítico $n^*$ é definido como o menor $n$ onde $GR(n) > 0.5$.

O estudo abrange múltiplos conjuntos de dados (MMLU-Pro, LogiQA, MedQA, GSM8K, MATH500) e várias configurações de modelo (Qwen2.5, Qwen3.5, GPT-4o-mini) em diferentes escalas de parâmetros (0,8B a 35B).

Principais Contribuições

1. Perspectiva do Momento da Sondagem: O artigo introduz um framework sistemático para estudar como perturbações em uma justificativa fixa afetam a previsão de respostas a jusante, distinto da análise no momento da geração.
2. Identificação de Duas Fontes de Ganho: Os autores identificam dois mecanismos complementares que impulsionam o desempenho do CoT no momento da sondagem:
   • Ativação Lexical: A mera presença de tokens relevantes para o domínio fornece um impulso significativo em relação a uma linha de base sem justificativa, mesmo quando toda a estrutura é destruída.
   • Ativação de Co-ocorrência Local (LCA): A maior parte do ganho restante (a diferença entre um saco de palavras e o CoT completo) é recuperada preservando apenas janelas de tokens locais muito curtas ($n^* \approx 2\text{--}3$).
3. Exclusão de Alternativas: Através de experimentos de controle direcionados, o artigo demonstra que os ganhos observados não são impulsionados principalmente por:
   • Cópia de declarações explícitas de resposta ou valores de resposta.
   • A presença de sentenças totalmente gramaticais e coerentes.
   • Relevância tópica genérica (testada via recuperação da Wikipedia).
   • Uma robustez geral do modelo ao embaralhamento (testada via embaralhamento do enunciado da pergunta).

Principais Resultados

• A Ordem das Sentenças é Secundária: Embaralhar a ordem das sentenças (Embaralhamento de Sentenças) resulta em degradação de precisão negligenciável em comparação com o CoT completo (por exemplo, 83,1% vs. 83,9% no MMLU-Pro), sugerindo que a ordenação lógica ao nível de sentença não é o principal motor dos ganhos no momento da sondagem.
• Ativação Lexical é Forte: Uma justificativa globalmente embaralhada por palavras (Embaralhamento de Palavras) supera substancialmente a linha de base apenas com entrada (por exemplo, 66,5% vs. 50,9%), confirmando que o vocabulário do domínio sozinho ativa conhecimento relevante.
• Janelas Curtas Recuperam a Maioria do Ganho: A transição de um saco de palavras ($n=1$) para a preservação de apenas janelas de 2–3 tokens é íngreme. No MMLU-Pro, preservar janelas de $n=2$ recupera aproximadamente 57,5% da lacuna restante entre o saco de palavras e o CoT completo. O tamanho de janela crítico $n^*$ permanece consistentemente pequeno (2–3) em diferentes famílias de modelos e conjuntos de dados.
• Generalização: O padrão qualitativo mantém-se em:
  • Famílias de Modelos: Qwen2.5, Qwen3.5 e GPT-4o-mini.
  • Escalas de Parâmetros: De 0,8B a 35B parâmetros.
  • Tipos de Tarefa: Tanto geração de múltipla escolha (MMLU, LogiQA) quanto geração aberta (GSM8K, MATH500).
• Especificidade ao CoT: O efeito de recuperação de baixo-$n$ é específico ao texto de justificativa no estilo CoT. Injetar passagens da Wikipedia correspondentes ao tópico ou embaralhar o enunciado da pergunta requer janelas muito maiores para recuperar o desempenho, indicando que o efeito não é uma propriedade genérica do processamento de linguagem.

Significado e Afirmações

O artigo afirma apoiar uma conta de Ativação de Co-ocorrência Local (LCA) do CoT no momento da sondagem. Os autores argumentam que os ganhos de desempenho observados surgem principalmente da ativação lexical (a presença de tokens relevantes) e da co-ocorrência de tokens de curto alcance (associações estatísticas locais), em vez de o modelo realizar uma derivação lógica fiel ao nível de sentença ou reconstruir uma cadeia global de raciocínio.

O significado dessa descoberta reside em seu desafio à intuição de que o CoT funciona porque força o modelo a "pensar passo a passo" de maneira logicamente coerente. Em vez disso, os resultados sugerem que, no momento da sondagem, o modelo pode estar aproveitando pistas estatísticas locais dentro do texto da justificativa para ativar a resposta correta, mesmo quando o texto está fragmentado e carece de coerência lógica global. Isso reenquadra a utilidade do CoT de um mecanismo de execução explícita de raciocínio para um de ativação contextual local.