When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

Resumo Técnico: Quando o Chain-of-Thought Ajuda e Quando Ele Prejudica

Declaração do Problema
Assume-se amplamente que o prompting de Cadeia de Pensamento (Chain-of-Thought ou CoT) melhora universalmente as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs). No entanto, a base teórica para essa suposição é frequentemente tratada como um heurístico, em vez de uma restrição mecanística. Este artigo investiga a validade do CoT como um potencializador universal através da lente do limite de largura de banda Hdp (Chen et al., 2024). Este limite postula que um transformer de decodificador único com $L$ camadas, $H$ cabeças de atenção, dimensão de cabeça $d$ e precisão $p$ não pode resolver a composição de funções $L$-sequenciais se o parâmetro de largura de banda for $Hdp \le n^{2-4L}$ (onde $n$ é o comprimento do prompt).

Embora o limite formal seja assintótico e se aplique apenas a comprimentos de contexto astronomicamente grandes ($n^* \approx 10^{1034}$ para os modelos estudados), ele identifica um gargalo arquitetônico fundamental: a computação serial cuja profundidade excede a capacidade de uma única passagem direta (forward-pass) do transformer deve ser externalizada. O CoT realiza exatamente essa externalização. A questão central de pesquisa é se esse gargalo teórico se manifesta empiricamente em comprimentos de contexto práticos (centenas a milhares de tokens) e se o CoT atua como um "desvio de largura de banda" especificamente para tarefas de alta profundidade, ou se fornece benefícios universais independentemente da complexidade da tarefa.

Metodologia
O estudo utiliza um design experimental pré-registrado para testar hipóteses qualitativas derivadas do framework Hdp em três modelos ajustados por instrução e cinco benchmarks padrão de PLN.

• Modelos: Três transformers de decodificador único abrangendo uma gama de larguras de banda ($Hdp$):
  • Qwen-2.5-7B-Instruct ($Hdp \approx 57k$)
  • Llama-3.1-8B-Instruct ($Hdp \approx 65k$)
  • Qwen-2.5-32B-Instruct ($Hdp \approx 82k$)
• Benchmarks e Classificação de Profundidade: Cinco benchmarks foram mapeados para classes de complexidade baseadas em Chen et al. (2024):
  • P-completo (Alta Profundidade): GSM8K e MATH (exigem composição aritmética $k$-sequencial).
  • TC0 (Baixa Profundidade): MMLU e ARC-Challenge (hipotetiza-se que exijam circuitos de profundidade constante como disjunção de conjuntos ou paridade esparsa).
  • Classe L (Intermediária): HumanEval (hipotetiza-se que envolva perseguição de ponteiros ou composição de função sequencial).
• Condições Experimentais:
  • No-CoT (Proxy de Passagem Única): Prompts de resposta direta com limites estritos de tokens (32 tokens para a maioria das tarefas, 256 para HumanEval) para evitar a externalização de etapas de raciocínio intermediárias.
  • CoT: Prompts padrão de cadeia de pensamento com um limite de 2048 tokens, permitindo que as etapas intermediárias sejam escritas no fluxo de saída.
• Métricas: A acurácia foi medida via extração de correspondência exata (matemática/PLN) ou execução funcional (HumanEval). A significância estatística foi avaliada usando testes exatos de McNemar com correção de Bonferroni e correlações de ranking de Spearman entre a profundidade da tarefa e as lacunas de recuperação do CoT.

Principais Descobertas
Os resultados empíricos apoiam um "gradiente de profundidade serial" em vez de um benefício universal do CoT:

1. Recuperação de Alta Profundidade (P-completo): Em GSM8K e MATH, o CoT proporciona uma recuperação massiva de acurácia em todos os três modelos. A "lacuna de recuperação" (acurácia CoT menos acurácia No-CoT) varia de +54 a +68 pontos percentuais. Por exemplo, o Qwen-7B melhorou de 23,1% para 91,1% no GSM8K. Isso confirma que tarefas que excedem a capacidade de passagem única beneficiam-se significativamente da externalização da computação.
2. Neutralidade de Baixa Profundidade (TC0): Contrariando a hipótese de que o CoT poderia prejudicar ativamente tarefas rasas ao introduzir ruído, o CoT é aproximadamente neutro no MMLU e ARC-Challenge. A mudança de acurácia ($\Delta$) em todas as seis células modelo-benchmark ficou entre 0,0 e +4,6 pontos percentuais, sem efeitos negativos estatisticamente significativos após a correção de Bonferroni. O autor observa que as altas baselines de No-CoT (até 95% no ARC) podem refletir contaminação de pré-treinamento ou atalhos lexicais, potencialmente mascarando qualquer penalidade arquitetônica sutil.
3. Transição Intermediária (Classe L): O HumanEval exibe uma transição dependente do tamanho do modelo. O maior modelo (Qwen-32B) teve um ganho de +23,2 pp, o modelo de tamanho médio (Llama-8B) viu um ganho de +9,1 pp, enquanto o menor modelo (Qwen-7B) sofreu uma penalidade de -28,7 pp. Isso sugere que, para complexidade intermediária, a utilidade do CoT é contingente à capacidade do modelo.
4. Correlação de Gradiente de Profundidade: Uma correlação de Spearman agrupada entre a profundidade da tarefa atribuída e a lacuna de recuperação do CoT resultou em $\rho = 0,661$ ($p=0,007$). Além disso, dentro dos benchmarks MATH e GSM8K, a acurácia No-CoT degradou monotonicamente conforme a profundidade serial por item ($k$) aumentava, enquanto a acurácia CoT permaneceu estável, confirmando que o gargalo é, de fato, a profundidade serial.
5. Controle de Memorização: Testes no GSM-Symbolic (uma versão perturbada do GSM8K) mostraram que a lacuna de recuperação do CoT persiste mesmo quando a memorização de superfície é interrompida, indicando que o efeito é arquitetônico e não um resultado da recuperação de respostas memorizadas.

Significância e Alegações
O artigo conclui que o Chain-of-Thought não é um potencializador universal de raciocínio, mas funciona como um desvio de largura de banda (bandwidth bypass). Sua principal utilidade é permitir que os transformers resolvam tarefas que exigem profundidade serial que excede sua capacidade de uma única passagem direta.

• Refinamento da Teoria: O estudo valida o mecanismo do limite Hdp (gargalo de profundidade serial), embora o limite assintótico formal não se aplique matematicamente aos comprimentos de contexto práticos.
• Efeito Unilateral: O autor rejeita a hipótese de que o CoT prejudica ativamente tarefas de baixa complexidade (TC0). Em vez disso, os dados sugerem que o Co de é simplesmente redundante para tarefas que já cabem na largura de banda de passagem única do modelo, desde que a tarefa não sofra de efeitos de teto ou contaminação de dados.
• Limites Arquitetônicos: As descobertas reforçam que os transformers de decodificador único possuem um limite rígido de computação serial dentro de uma única passagem. Quando esse limite é excedido, a externalização das etapas (CoT) é necessária para o desempenho; quando não é excedido, o CoT oferece pouca ou nenhuma vantagem.

O autor enfatiza que suas alegações são modestas quanto ao "prejuízo" do CoT em tarefas simples, observando que as altas baselines em benchmarks como ARC e MMLU podem ser confundidas pela exposição ao pré-treinamento, tornando difícil isolar uma penalidade arquitetônica pura. O estudo serve como uma validação empírica da hipótese do gargalo de profundidade serial, estreitando o escopo dos benefícios do CoT para tarefas de raciocínio de alta complexidade e dependentes de serialidade.