Reasoning Models Don't Just Think Longer, They Move Differently

Resumo Técnico: Modelos de Raciocínio Não Apenas Pensam Mais, Eles Se Movem de Forma Diferente

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) treinados em raciocínio frequentemente alocam mais computação no tempo de teste para problemas mais difíceis, resultando em cadeias de pensamento significativamente mais longas. No entanto, a literatura existente tem tido dificuldade em distinguir se esses modelos estão meramente realizando mais passos computacionais ou alterando fundamentalmente sua trajetória interna de raciocínio. Um fator de confusão crítico na análise de trajetórias de estados ocultos é o comprimento da geração: caminhos mais longos são mecanicamente menos diretos (mais "tortuosos") independentemente da lógica interna do modelo. Consequentemente, análises geométricas brutas frequentemente atribuem erroneamente os efeitos mecânicos do comprimento do caminho à dificuldade do problema ou à arquitetura do modelo, obscurecendo se o treinamento em raciocínio induz dinâmicas internas distintas.

Metodologia
Os autores empregam um desenho experimental pareado em três domínios: programação competitiva (Codeforces), matemática (MATH) e satisfatibilidade booleana (SAT).

1. Calibração de Dificuldade: Para estabelecer uma escala contínua de dificuldade independente de rótulos específicos da plataforma, os autores ajustam um modelo de Rasch (Teoria de Resposta ao Item) usando o desempenho de 32 modelos em 1.500 itens. Isso produz uma variável latente de dificuldade ($b_i$) para cada problema.
2. Extração de Trajetória: Trajetórias de estados ocultos são extraídas do fluxo residual em cinco camadas uniformemente espaçadas durante a geração de segmentos de solução. Para modelos de raciocínio, este segmento é o bloco de pensamento explícito; para baselines ajustadas por instrução, é o texto anterior ao limite de resposta detectado.
3. Métricas Geométricas: Duas estatísticas principais são computadas:
   • Diretividade ($D$): A razão entre o deslocamento líquido e o comprimento total do caminho ($\Delta / L$), medindo a eficiência do ponto final.
   • Variabilidade de Curvatura ($V$): O desvio padrão da curvatura de Menger sobre triplos consecutivos, medindo a heterogeneidade da curvatura local.
4. Correção de Comprimento: Reconhecendo que a geometria bruta é dominada pelo comprimento da geração ($N$), os autores realizam um procedimento de residualização. Eles ajustam uma regressão apenas de comprimento ($\bar{D} \sim \log N$) para cada modelo e camada, e então correlacionam os resíduos ($D_\perp$) com a dificuldade do item ($b_i$). Isso isola o acoplamento dificuldade-geometria independente do comprimento do caminho.
5. Análise Comparativa: O estudo compara seis pares pareados de modelos treinados em raciocínio (usando destilação R1, SFT+RL ou destilação o3-mini) contra suas baselines ajustadas por instrução.
6. Análises Auxiliares: Os autores empregam sondas lineares para testar a decodabilidade de dificuldade no estágio do prompt e usam juízes LLM independentes para anotar traços gerados quanto a comportamentos de raciocínio (por exemplo, mudança de estratégia, monitoramento de incerteza).

Principais Resultados

1. Reversão de Sinal via Correção de Comprimento: Em trajetórias brutas, problemas mais difíceis parecem menos diretos porque geram caminhos mais longos. Após a correção de comprimento, essa relação se inverte em todos os três domínios: problemas mais difíceis elicitem trajetórias corrigidas mais diretas. Isso indica que a geometria bruta é um artefato estrutural do comprimento, não uma representação fiel da organização do raciocínio.
2. Separação de Raciocínio Dependente do Domínio:
   • Programação Competitiva: A distinção mais clara emerge aqui. Todos os seis modelos de raciocínio exibem uma forte correlação positiva entre dificuldade e diretividade corrigida ($\rho_{D_\perp} \approx +0,41$), enquanto as baselines pareadas permanecem próximas de zero ou negativas ($\approx -0,06$). Modelos de raciocínio também mostram variabilidade de curvatura reduzida em problemas difíceis.
   • Matemática: A separação é mais fraca e mais heterogênea ($\rho_{D_\perp} \approx +0,05$ para raciocínio vs. $-0,07$ para baselines).
   • Satisfatibilidade Booleana: Tanto modelos de raciocínio quanto baselines mostram acoplamento corrigido positivo, sugerindo que o acoplamento dificuldade-geometria pode emergir em modelos ajustados por instrução sem treinamento específico em raciocínio neste domínio.
3. Desacoplamento de Sondas Lineares: Sondas lineares no estágio do prompt não espelham a separação entre raciocínio e baseline observada na geometria corrigida. No domínio de código, a lacuna geométrica é grande, enquanto a diferença na decodabilidade linear de dificuldade é negligenciável. Isso sugere que o efeito não é meramente um acesso linear mais forte a informações de dificuldade, mas uma mudança na forma como a trajetória evolui durante a geração.
4. Correlatos Comportamentais: Um acoplamento geométrico corrigido mais forte ocorre simultaneamente com comportamentos de raciocínio observáveis, especificamente "mudança de estratégia" e "monitoramento de incerteza", particularmente em modelos destilados R1. Essas anotações são correlatos descritivos medidos a partir dos mesmos traços, não mecanismos causais.

Significância e Afirmações
O artigo estabelece que o comprimento da geração é um fator de confusão estrutural na análise de trajetórias no tempo de geração e que a correção de comprimento é um pré-requisito para uma interpretação válida. Os autores afirmam que o treinamento em raciocínio está associado a uma geometria de trajetória corrigida distinta, mas esse efeito é dependente do domínio, sendo mais pronunciado na programação competitiva.

As descobertas sugerem que modelos de raciocínio não apenas "pensam mais"; eles seguem caminhos internos diferentes que se tornam mais diretos e menos heterogêneos localmente à medida que a dificuldade do problema aumenta, especificamente em domínios que exigem seleção complexa de estratégias. O artigo postula que este sinal geométrico é complementar, e não uma reafirmação, da decodabilidade linear de dificuldade. Finalmente, os autores lançam um arquivo de trajetória em larga escala que emparelha cadeias de pensamento geradas com trajetórias de estados ocultos amostrados para facilitar pesquisas futuras sobre as dinâmicas internas do raciocínio.

Limitações
Os autores reconhecem que a análise identifica uma associação geométrica robusta, e não um mecanismo causal. A segmentação de segmentos de solução depende de heurísticas para baselines, e as anotações comportamentais são correlatos descritivos derivados dos mesmos dados que a geometria, excluindo afirmações causais sobre como comportamentos específicos impulsionam o sinal geométrico. Adicionalmente, a amostragem com passo fixo pode perder estruturas temporais mais finas.