💻 computer science

Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road

Este artigo investiga o fenômeno de "encolhimento do raciocínio" em modelos de raciocínio ajustados por fine-tuning, identificando a prevalência de cenários de pontos de decisão ambíguos nos dados de treinamento como a causa principal e demonstrando que a síntese direcionada de dados e a decodificação consciente da diversidade podem mitigar efetivamente essa perda de cobertura.

Autores originais: Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno a resolver um labirinto. Você quer que ele seja capaz de encontrar a saída, não importa qual caminho ele escolha, mas também deseja que ele seja rápido e preciso.

Este artigo investiga um problema estranho que ocorre quando treinamos modelos de IA avançados (como os que realizam matemática complexa ou lógica) para se tornarem especialistas em "raciocínio". Chamamos esse problema de "Encolhimento de Cobertura".

Aqui está uma explicação simples do que os autores descobriram, usando analogias do cotidiano:

O Problema: O Mapa "Encolhido"

Quando esses modelos de IA são treinados, eles ficam muito bons em encontrar o único melhor caminho para a resposta. Se você fizer uma pergunta a eles uma vez, é muito provável que acertem (isso é chamado de pass@1).

No entanto, se você fizer a mesma pergunta 10 ou 100 vezes para ver todas as diferentes maneiras pelas quais eles poderiam resolvê-la, eles param de oferecer variedade. Todos começam a dar exatamente a mesma resposta, ou pior, todos ficam presos no mesmo caminho errado. Seu "mapa" de soluções possíveis encolheu. Eles perderam a capacidade de explorar rotas diferentes.

O Culpado: "Encruzilhadas na Estrada"

Os autores argumentam que isso não ocorre porque o algoritmo de aprendizado da IA está quebrado. Em vez disso, o problema reside nos dados de treinamento.

Imagine um livro de histórias onde um personagem chega a uma encruzilhada.

O Mundo Real: O personagem pode ir para a esquerda ou para a direita. Ambos os caminhos parecem válidos, mas apenas um leva ao tesouro.
Os Dados de Treinamento: O livro de histórias apenas mostra o personagem tomando o caminho certo. Ele nunca explica por que escolheram a direita em vez da esquerda, ou mesmo menciona que o caminho da esquerda era uma opção.

Os autores chamam esses momentos de "Encruzilhadas na Estrada". São pontos de decisão onde o modelo precisa escolher entre múltiplas opções válidas, mas os dados mostram apenas uma.

Como o modelo só vê um caminho tomado, ele aprende um hábito ruim: "Eu devo escolher a primeira coisa que parece certa, e devo ter 100% de confiança de que estou certo, mesmo que eu não esteja." Ele para de explorar. Ele para de considerar o caminho da "esquerda" porque o livro de histórias nunca o mostrou.

Os Experimentos: Provando a Teoria

Os pesquisadores testaram isso com duas configurações inteligentes:

O Gráfico Estrela (O Labirinto):
Eles criaram um quebra-cabeça matemático simples que parecia um labirinto em forma de estrela. No início, havia dois caminhos. Apenas um levava à resposta.
- Grupo A foi treinado com dados mostrando o modelo caminhando para frente através do labirinto, fazendo uma escolha na encruzilhada.
- Grupo B foi treinado com dados mostrando o modelo caminhando para trás, da resposta até o início (sem necessidade de escolhas).
- Resultado: O Grupo A (aqueles que tiveram que fazer escolhas) perdeu a capacidade de encontrar caminhos alternativos. O Grupo B manteve seu mapa completo. Isso provou que o ato de fazer uma escolha sem informações suficientes causa o encolhimento.
A Troca de Estilo (Código vs. Palavras):
Eles analisaram problemas matemáticos que poderiam ser resolvidos escrevendo código OU escrevendo em inglês simples.
- Cenário 1: Eles deram ao modelo uma mistura de problemas, mas cada problema tinha apenas um estilo de solução (alguns eram código, outros eram palavras).
- Cenário 2: Eles deram ao modelo a mesma mistura, mas para cada problema individual, mostraram tanto a solução em código quanto a solução em palavras.
- Resultado: No Cenário 1, o modelo ficou confuso e começou a escolher um estilo com base em pistas minúsculas e irrelevantes (como a ordem das palavras), encolhendo suas opções. No Cenário 2, onde o modelo viu ambas as opções para o mesmo problema, ele permaneceu flexível e manteve seu "mapa" amplo.

As "Pistas Espúrias" (Os Maus Hábitos)

Como o modelo é forçado a escolher nessas "encruzilhadas" sem saber a resposta correta, ele começa a agarrar-se a pistas espúrias (sinais falsos).

Exemplo: Se o problema começar com a palavra "Vamos", o modelo pode decidir: "Ok, vou usar o estilo de pensamento 'Backtracking'". Se começar com "Para", pode decidir: "Ok, vou usar o estilo 'Linear'".
O modelo não está realmente pensando na matemática; ele está apenas reagindo à primeira palavra. Isso o torna frágil. Se você mudar a primeira palavra, o modelo pode mudar para uma maneira completamente diferente (e pior) de pensar.

A Solução: Mexendo no Primeiro Passo

O artigo oferece duas maneiras de corrigir isso sem re-treinar todo o modelo:

Melhor Design de Dados: Ao criar dados de treinamento, não apenas misture diferentes tipos de problemas. Para cada problema específico, mostre ao modelo múltiplas maneiras válidas de resolvê-lo. Isso ensina ao modelo que "nesta encruzilhada, ambos os caminhos são possíveis".
O Truque da "Primeira Palavra": Como o modelo fica preso na muito primeira palavra que gera, os pesquisadores descobriram que podiam "agitar" o início. Ao forçar o modelo a tentar começar com diferentes palavras comuns (como "Ok", "Vamos" ou "Para"), eles podiam desbloquear os diferentes estilos de pensamento que estavam trancados.
- Analogia: É como uma porta que está presa. O modelo acha que a porta está trancada, mas se você empurrar a maçaneta em uma direção ligeiramente diferente (mudar a primeira palavra), a porta se abre, e o modelo lembra de todos os caminhos que costumava conhecer.

A Conclusão

O artigo conclui que os modelos de IA não "esquecem" como ser diversos. Eles apenas ficam trancados em um único caminho porque seus dados de treinamento os forçaram a fazer escolhas cegas em "encruzilhadas na estrada" sem mostrar-lhes as alternativas. Ao mudar como apresentamos essas escolhas nos dados, ou ao empurrar o modelo no próprio início de sua resposta, podemos recuperar essa diversidade perdida.

Resumo Técnico: Por Que os Modelos de Raciocínio Perdem Cobertura? O Papel dos Dados e dos "Bifurcações no Caminho"

Declaração do Problema

Avanços recentes em modelos de raciocínio, alcançados por meio de procedimentos especializados de pós-treinamento como Ajuste Fino Supervisionado (SFT) e Aprendizado por Reforço com Recompensas Verificáveis (RLVR), melhoraram significativamente a precisão pass@1 (a probabilidade de a primeira solução gerada estar correta). No entanto, um fenômeno contra-intuitivo conhecido como retração de cobertura foi observado: enquanto o pass@1 melhora, o pass@k (a probabilidade de que pelo menos uma solução correta apareça em $k$ amostras independentes) degrada-se em relação ao modelo base.

A literatura anterior atribuiu amplamente essa retração às dinâmicas de otimização do RLVR, sugerindo que o treinamento orientado por recompensas enfatiza excessivamente caminhos estreitos e de alta recompensa, levando ao colapso de modo. No entanto, evidências recentes indicam que a retração também ocorre sob SFT, implicando que a causa raiz pode não ser o próprio algoritmo, mas um driver mais fundamental. Este artigo investiga a hipótese de que a estrutura dos dados, especificamente a presença de "bifurcações no caminho" (pontos de decisão onde múltiplos caminhos de raciocínio válidos existem, mas a racionalidade para a seleção é obscurecida), é o principal motor da retração de cobertura.

Metodologia

Os autores propõem uma visão centrada nos dados, argumentando que problemas de raciocínio frequentemente envolvem pontos de decisão onde um modelo deve escolher entre múltiplas estratégias válidas sem saber qual terá sucesso. Se os dados de treinamento expõem apenas o caminho bem-sucedido (viés de sobrevivência) sem explicar a escolha, o modelo aprende a depender de pistas espúrias para resolver ambiguidades, suprimindo eventualmente trajetórias alternativas.

Para testar isso, os autores projetaram estudos de caso controlados isolando esses pontos de decisão:

Navegação em Grafos (Tarefa Sintética):
- Configuração: Uma tarefa de navegação em grafo estrela onde um modelo deve traversar de um nó inicial a um alvo. O grafo contém "nós indecifráveis" (pontos de ramificação) onde múltiplos ramos são continuação válidos, mas apenas um leva ao alvo.
- Variantes:
  - Frente: O modelo deve navegar da fonte ao alvo, encontrando pontos de ramificação (pontos de decisão).
  - Reverso (sem DP): O modelo navega do alvo à fonte, apresentando a solução em ordem inversa, removendo efetivamente a necessidade de seleção de caminho.
- Modelos: Avaliados em Qwen2.5-0.5B e EvoLM-1B.
Seleção de Modo de Raciocínio (Tarefas do Mundo Real):
- Linguagem Natural (NL) vs. Código: Os autores analisaram conjuntos de dados de raciocínio matemático (OpenMathInstruct-1 e 2) para comparar duas estruturas de diversidade de dados:
  - Diversidade em nível de dados: O conjunto de dados é globalmente equilibrado (50% NL, 50% Código), mas cada problema é resolvido com apenas um modo.
  - Diversidade em nível de problema: Cada problema é apresentado com ambas as soluções NL e Código nos dados de treinamento.
- Linear vs. Retrocesso: Usando modelos de raciocínio destilados (por exemplo, variantes do DeepSeek-R1), os autores examinaram como os tokens iniciais de prefixo (por exemplo, "Okay", "Let", "To") atuam como pontos de decisão que comprometem o modelo a estruturas de raciocínio lineares ou de retrocesso.
Estratégias de Mitigação:
- Design de Dados: Comparando os efeitos da diversidade em nível de problema versus em nível de dados.
- Intervenção no Tempo de Inferência: Testando um mecanismo de decodificação "Top-k prefixo" onde o modelo é forçado a começar a partir de diferentes tokens iniciais de alta probabilidade para recuperar a diversidade.

Principais Resultados

1. Pontos de Decisão Impulsionam a Retração

Na tarefa de Navegação em Grafos, modelos treinados na configuração Frente (com pontos de decisão) mostraram um padrão clássico de retração: o pass@1 melhorou, mas o pass@k degradou-se significativamente à medida que o treinamento avançava. Por outro lado, modelos treinados na configuração Reversa (sem pontos de decisão) mantiveram alto desempenho de pass@k em todos os valores de $k$ .

Análise de Confiança: Modelos treinados com pontos de decisão tornaram-se excessivamente confiantes nos pontos de ramificação, atribuindo alta probabilidade tanto a ramos corretos quanto incorretos. Isso sugere que eles aprenderam a comprometer-se com um caminho com base em pistas espúrias em vez de incerteza calibrada.

2. A Estrutura da Diversidade Importa

Na tarefa de Seleção de Modo de Raciocínio, a configuração de Diversidade em nível de dados (equilíbrio global, modo único por problema) resultou em retração de cobertura severa. O modelo tornou-se cada vez mais confiante em selecionar um único modo (NL ou Código) por problema, levando a uma distribuição bimodal e à degradação do pass@k.

Em contraste, a configuração de Diversidade em nível de problema (múltiplos modos por problema) manteve um desempenho estável de pass@k. Isso indica que a cobertura não é determinada apenas pela quantidade de diversidade no conjunto de dados, mas por como essa diversidade é estruturada dentro de problemas individuais.

3. Fragilidade em Pontos de Decisão

A análise de raciocínio Linear vs. Retrocesso revelou que os modelos são altamente sensíveis a tokens iniciais de prefixo. Pequenas mudanças no primeiro token (por exemplo, "Okay" vs. "Let") poderiam alterar drasticamente o modo de raciocínio do modelo, o comprimento da resposta e a precisão.

Superpensamento/Subpensamento: Os modelos frequentemente aplicavam o modo de raciocínio errado por padrão (por exemplo, retrocesso em perguntas factuais simples ou pensamento linear em aritmética contrafactual complexa). No entanto, manipular o prefixo poderia recuperar o modo apropriado e impulsionar significativamente o desempenho (até 60% em tarefas específicas).

4. Mitigação via Intervenção no Tempo de Inferência

Os autores demonstraram que a retração de cobertura não é uma perda permanente de capacidade, mas uma supressão de caminhos alternativos. Ao aplicar uma estratégia de amostragem de Prefixo Top-k (forçando o modelo a começar a partir de tokens iniciais diversos) durante a inferência, eles puderam recuperar a cobertura perdida.

Resultado: Enquanto a decodificação padrão mostrava pass@k declinante em estágios posteriores de treinamento, a configuração Top-8 prefixo manteve alto pass@k, reativando efetivamente as trajetórias de raciocínio suprimidas sem retreinamento adicional.

Principais Contribuições

Hipótese Centrada nos Dados: O artigo identifica "bifurcações no caminho" (pontos de decisão com racionalidade obscurecida) em dados de ajuste fino como um driver chave da retração de cobertura, desafiando a visão de que a retração é apenas um artefato de algoritmos de otimização como RLVR.
Evidência Empírica Controlada: Através de tarefas de grafos sintéticos e análise de modos de raciocínio do mundo real, os autores fornecem evidências de que a prevalência e a estrutura dos pontos de decisão correlacionam-se fortemente com a gravidade da retração de cobertura.
Insight sobre Estrutura de Diversidade: O estudo revela como a diversidade é distribuída (por problema versus entre problemas) é crítico; a diversidade por problema é muito mais eficaz para preservar a cobertura.
Mitigação Prática: O artigo introduz duas estratégias para controlar a retração:
- Projetar dados sintéticos para expor múltiplos modos de raciocínio dentro de problemas únicos.
- Usar perturbação de prefixo no tempo de inferência para recuperar diversidade suprimida, demonstrando que a capacidade de raciocínio do modelo é latente e não perdida.

Significado

O artigo argumenta que a retração de cobertura é um artefato impulsionado por dados, onde os modelos aprendem a trancar caminhos alternativos de raciocínio atrás de pontos de decisão não calibrados. Ao deslocar o foco da otimização algorítmica para a curadoria de dados e intervenção no tempo de inferência, os autores sugerem que a cobertura perdida em modelos de raciocínio não é permanentemente esquecida, mas meramente suprimida. Essas descobertas fornecem uma lente para melhorar o design de dados de pós-treinamento e a escalabilidade no tempo de teste, destacando que o raciocínio eficaz requer não apenas encontrar o caminho correto, mas manter a capacidade de explorar múltiplos caminhos válidos quando a escolha "certa" é ambígua.