Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory?

Este artigo investiga a capacidade de modelos de linguagem de raciocínio colaborarem em trajetórias compartilhadas, revelando que modelos mais fortes são frequentemente mais frágeis a distrações e incapazes de superar suas limitações inatas ao seguir orientações de outros, além de destacar como estratégias de pós-treinamento influenciam essas falhas.

O essencial

Imagine que você tem um grupo de gênios da matemática e programação. Eles são tão inteligentes que conseguem resolver problemas complexos sozinhos, explicando cada passo do raciocínio em voz alta (como se estivessem pensando em voz alta).

Agora, a grande pergunta do artigo é: E se esses gênios precisassem trabalhar em equipe, lendo e continuando os pensamentos uns dos outros? Seria uma superpotência?

Os autores, da Universidade Cornell, descobriram que a resposta é um "não" surpreendente. Na verdade, esses modelos de Inteligência Artificial (IA), mesmo os mais fortes, são muito frágeis quando tentam colaborar.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Cenário: A "Fita Cassete" Quebrada

Pense no raciocínio de uma IA como uma fita cassete de uma música. Normalmente, a IA toca a música inteira sozinha do início ao fim.
O artigo testa o que acontece se alguém interromper a fita no meio e colocar um pedaço de outra música (ou um pensamento errado) antes de deixar a IA continuar.

Eles criaram dois testes principais, como se fossem dois tipos de "estresse" para a IA:

• Teste de Recuperação (O "Desvio Perigoso"):
  Imagine que você está dirigindo para casa e, de repente, um passageiro grita: "Não vire à direita! Vire à esquerda, lá tem um lago!", mas na verdade não há lago.

  • O Teste: Eles pegam um problema que a IA já sabia resolver e injetam um pensamento confuso ou errado no meio do caminho.
  • A Descoberta: As IAs mais "inteligentes" (aquelas que tiram notas 10 em provas sozinhas) foram as que mais falharam. Elas se confundiram com o "passageiro" e esqueceram como chegar em casa. As IAs menores e menos famosas, curiosamente, conseguiram ignorar o erro e voltar ao caminho certo mais facilmente. É como se os gênios estivessem tão confiantes em seu próprio caminho que, ao verem uma pista falsa, acham que eles é que estão errados e mudam de direção.

• Teste de Guiabilidade (O "Mestre de Cerimônias"):
  Imagine que você é um aluno mediano tentando resolver um problema de física impossível. Um professor genial (uma IA mais forte) começa a explicar a solução para você, mas para no meio da frase, dizendo: "Agora você continua...".

  • O Teste: Eles dão a IA um problema que ela não consegue resolver sozinha, mas com a ajuda de um "guia" (uma IA mais forte) que já começou a resolver.
  • A Descoberta: Quase nenhuma IA conseguiu usar essa ajuda. Mesmo com o professor dando a resposta certa, as IAs menores não conseguiram entender o que fazer com aquela informação. Elas ficaram travadas. A taxa de sucesso foi menor que 10%. É como se o aluno, ao ouvir a primeira metade da explicação do professor, ficasse tão confuso que esquecesse como resolver o resto, mesmo que a resposta estivesse na ponta da língua.

2. Por que isso acontece? (As Causas)

Os autores investigaram o "cozinha" do treinamento dessas IAs para entender por que elas são tão frágeis. Eles descobriram três culpados principais:

• O "Professor" Errado (Distilação):
  Quando treinamos uma IA menor para ser inteligente, usamos uma IA maior como "professor" (ensinando por exemplo).

  • A Lição: Se o professor tem um "mau hábito" (como se distrair facilmente com informações falsas), a aluna vai aprender esse mesmo mau hábito, mesmo que o professor esteja dando a resposta correta. A "fragilidade" é transmitida como um vírus.

• A Falta de "Treino de Erro" (Reforço):
  Muitas IAs são treinadas apenas vendo exemplos de sucesso (o professor fazendo tudo certo).

  • A Lição: Elas nunca aprenderam o que fazer quando algo dá errado. Quando o "desvio" acontece, elas não têm um plano B. O artigo mostra que usar técnicas de aprendizado por reforço (onde a IA tenta, erra e aprende a corrigir) ajuda muito a consertar isso.

• O Excesso de Filtro de Dados:
  Alguns pesquisadores acreditam que "menos é mais": usar apenas os melhores exemplos de treinamento.

  • A Lição: O artigo mostra que, ao filtrar demais os dados para ter apenas "exemplos perfeitos", a IA fica instável. Ela funciona bem em testes perfeitos, mas desmorona quando encontra o mundo real, cheio de ruídos e imprevistos.

3. A Conclusão em uma Frase

Ser o melhor no teste individual não significa ser um bom colega de equipe.

As IAs de hoje são ótimas "solteiras" (resolvem sozinhas), mas são péssimas "casadas" (não conseguem colaborar, nem corrigir erros, nem seguir dicas de outros). Para criarmos IAs que realmente trabalhem juntas (como em sistemas de segurança ou equipes de pesquisa), precisamos treiná-las de forma diferente: ensinando-as a lidar com a confusão, a ignorar distrações e a aceitar ajuda, e não apenas a decorar respostas perfeitas.

Resumo da Ópera: Se você quer uma IA que trabalhe em equipe, não escolha apenas a que tira a maior nota na prova. Escolha a que sabe como se recuperar quando a conversa fica estranha. E, atualmente, quase nenhuma delas sabe fazer isso bem.

Resumo técnico

Título: Raciocínio Fora da Trajetória: LLMs Podem Colaborar em Trajetórias de Raciocínio?

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) com capacidades de raciocínio (como o OpenAI o-series, DeepSeek-R1 e Qwen3 Thinking) são treinados para verbalizar seu processo de pensamento, o que gerou ganhos significativos em tarefas complexas. No entanto, a maioria desses modelos é treinada para raciocínio individual (solo-reasoning).

À medida que esses modelos são implantados em sistemas agentes, suas trajetórias de pensamento são cada vez mais intercaladas com tokens gerados por outras fontes (ferramentas, execução de código, documentos recuperados ou outros modelos). O artigo questiona: LLMs padrão, treinados para raciocinar sozinhos, conseguem lidar com tokens de pensamento "fora da distribuição" (off-distribution) inseridos em suas trajetórias?

O problema central é a falta de capacidade dos modelos em:

1. Recuperar-se de distrações ou passos de raciocínio enganosos inseridos por outros agentes.
2. Ser guiados por passos de raciocínio corretos de modelos mais fortes para resolver problemas que não conseguiriam resolver sozinhos.

O termo cunhado para essa habilidade é Off-Trajectory Reasoning (Raciocínio Fora da Trajetória).

2. Metodologia

Os autores propõem um framework de avaliação baseado em dois testes complementares ("Twin Tests") para medir a robustez do raciocínio colaborativo:

A. Teste de Recuperabilidade (Recoverability)

• Objetivo: Avaliar se o modelo consegue retomar seu raciocínio original correto após ser desviado por uma "distração".
• Configuração: O modelo gera uma trajetória inicial correta ($r_{og}$). Em seguida, uma trajetória de distração ($r_{steer}$) é injetada. Esta distração é amostrada do mesmo modelo, mas respondendo a uma pergunta diferente, garantindo que, se o modelo continuar cegamente, chegará a uma resposta errada para a pergunta original.
• Medida: A capacidade do modelo de ignorar a distração e voltar ao caminho correto para resolver a questão original.

B. Teste de Guiabilidade (Guidability)

• Objetivo: Avaliar se o modelo consegue aproveitar um raciocínio correto (mas incompleto) de um modelo mais forte para resolver um problema que ele não conseguiria sozinho.
• Configuração: O modelo recebe apenas a parte inicial da trajetória de raciocínio de um "modelo guia" (mais forte) antes de começar a pensar. O guia não fornece a resposta final, apenas os passos lógicos.
• Medida: A taxa de sucesso do modelo em completar a solução corretamente, superando sua capacidade individual.

C. Configuração Experimental

• Modelos: 15 LLMs de peso aberto (1.5B a 32B), incluindo famílias como DeepSeek-R1, Qwen3, QwQ e modelos comunitários.
• Benchmarks: Matemática (AIME, MATH-500, OlympiadBench) e Codificação (CruxEval, HumanEval, MBPP).
• Estudos de Controle: Experimentos para isolar o impacto de três fatores no pós-treinamento:
  1. Escolha do modelo professor para destilação.
  2. Uso de Aprendizado por Reforço (RL) após Supervised Fine-Tuning (SFT).
  3. Estratégia de seleção de dados (filtragem de dados).

3. Principais Contribuições

1. Framework de Avaliação: Introdução dos testes de Recuperabilidade e Guiabilidade como um padrão sistemático para avaliar a colaboração multi-modelo sob raciocínio compartilhado.
2. Análise de Limitações: Demonstração de que o desempenho em benchmarks padrão não prediz a robustez em cenários colaborativos.
3. Estudo de Causa Raiz: Isolamento de como decisões de treinamento (escolha do professor, RL, filtragem de dados) moldam diretamente o comportamento de raciocínio fora da trajetória.

4. Resultados Chave

A. Desempenho dos Modelos (Off-the-Shelf)

• Correlação Inversa: Modelos que têm o melhor desempenho em benchmarks de raciocínio individual tendem a ser mais frágeis sob distração.
  • Exemplo: O AM-Thinking-32B (o melhor modelo em matemática com 82.6% de acerto) tem uma taxa de recuperabilidade de apenas 33.4%. Em contraste, o Qwen3-1.7B (desempenho menor em benchmarks) recupera-se em 98.4% dos casos.
• Teto de Guiabilidade: Todos os modelos falharam em aproveitar efetivamente a orientação de modelos mais fortes para problemas além de sua capacidade intrínseca.
  • Em matemática, a taxa de sucesso com orientação permaneceu abaixo de 9.2% para todos os modelos.
  • Em codificação, houve melhoria (até 47.3%), mas grande parte dessa melhoria deveu-se ao fato de que a orientação já continha a resposta ou era trivial.
• Fragilidade Inicial: A inserção de distrações no início da trajetória (0%) causa a maior degradação de desempenho, sugerindo que a reafirmação do problema no início é crucial para "ancorar" o raciocínio do modelo.

B. Estudos de Controle (Pós-Treinamento)

1. Transferência de Vulnerabilidades na Destilação:
   • Modelos destilados de professores com baixa recuperabilidade (como o AM-Thinking-32B) herdaram essa fragilidade, mesmo quando treinados apenas em trajetórias corretas. Isso indica que a vulnerabilidade está codificada no estilo de raciocínio, não apenas na correção das soluções.
2. Impacto do RL (Reinforcement Learning):
   • O RL (especificamente GRPO) trouxe melhorias substanciais na recuperabilidade onde o SFT estagnou. O RL expõe o modelo a falhas e recompensa a recuperação, ensinando o modelo a lidar com erros, ao contrário do SFT que apenas mostra exemplos corretos.
3. Filtragem de Dados ("Less is More"):
   • Modelos treinados com conjuntos de dados pequenos e altamente filtrados (como LIMO) apresentaram alta variância na recuperabilidade entre diferentes checkpoints, enquanto modelos treinados com dados maiores foram mais estáveis. A otimização agressiva para benchmarks pode introduzir viéses indesejados na robustez fora da distribuição.

5. Significado e Conclusão

O trabalho revela que a otimização para benchmarks de raciocínio individual não garante a capacidade de colaboração. Modelos "fortes" podem ser perigosamente frágeis quando expostos a pensamentos de outros agentes ou ferramentas.

Implicações Práticas:

• Treinamento: Para criar colaboradores robustos, é necessário treinar explicitamente para a recuperação de erros e a integração de guias externos, não apenas para a solução correta isolada.
• Seleção de Professores: Ao destilar modelos, a escolha do professor deve considerar a robustez do raciocínio (recuperabilidade), não apenas a precisão final.
• Segurança e Agentes: Em sistemas autônomos onde humanos ou outros modelos intervêm no raciocínio, a fragilidade atual dos LLMs pode levar a falhas catastróficas se o modelo não conseguir rejeitar ou corrigir instruções enganosas.

Em resumo, a robustez "off-trajectory" é uma habilidade distinta que deve ser explicitamente desenvolvida e avaliada, pois não emerge como um subproduto natural da otimização de benchmarks tradicionais.