Resumo Técnico: Escapando do Verificador: Aprendendo a Raciocinar via Demonstrações

Declaração do Problema

O treinamento de Grandes Modelos de Linguagem (LLMs) para raciocínio tem dependido amplamente de Aprendizado por Reforço com Recompensas Verificáveis (RLVR), onde os modelos são otimizados contra verificadores de verdade fundamental (ex: em matemática ou programação competitiva). No entanto, muitas tarefas de raciocínio de alto impacto — como escrita analítica, pesquisa aberta e análise financeira — carecem de tais verificadores devido à ambiguidade dos critérios ou à ampla variância de respostas aceitáveis. Embora existam demonstrações de especialistas abundantes para essas tarefas, elas permanecem subutilizadas para o treinamento focado em raciocínio. O Ajuste Fino Supervisionado (SFT) padrão nessas demonstrações frequentemente falha em induzir os comportamentos de autocorreção e busca observados no RLVR, e métodos como o Aprendizado por Reforço com Feedback Humano (RLHF) são proibitivamente caros devido à necessidade de coleta de dados de preferência.

Metodologia: RARO

Os autores propõem o RARO (Otimização de Raciocínio Adversarial Relativístico), um framework que aprende capacidades de raciocínio robustas a partir de demonstrações de especialistas puramente, sem a necessidade de verificadores específicos da tarefa ou preferências humanas. O método é fundamentado em Aprendizado por Reforço Inverso (IRL), enquadrando o problema como um jogo adversarial entre uma política e um crítico.

Componentes Principais

1. Configuração Adversarial:

   • Política ($\pi_\theta$): Gera respostas (com Cadeia de Pensamento - CoT) condicionadas a uma pergunta.
   • Crítico Relativístico ($c_\phi$): Um modelo que recebe uma pergunta e um par de respostas (uma de especialista, uma da política) e prevê qual é melhor, ou declara um empate.
   • Objetivo: A política é recompensada por enganar o crítico (ou seja, ter sua resposta classificada como "especialista"), enquanto o crítico é recompensado por identificar corretamente a origem (especialista vs. política).

2. Crítico Relativístico & Opção de Empate:

   • Ao contrário da classificação binária padrão, o crítico realiza uma comparação pareada. Isso evita o problema da "degenerescência", onde uma política ótima torna a tarefa de classificação impossível para o crítico (adivinhação aleatória).
   • Crucialmente, o crítico tem permissão para declarar um empate. Isso fornece sinais de recompensa estáveis e não nulos mesmo quando a política se aproxima da qualidade de especialista, prevenindo a instabilidade do treinamento.

3. Algoritmo de Treinamento:

   • Otimização Conjunta: Tanto a política quanto o crítico são treinados conjuntamente usando Otimização de Política Relativa de Grupo (GRPO).
   • Pesos Compartilhados: O mesmo backbone de LLM é usado para ambos os papéis para reduzir o uso de memória e promover a generalização.
   • Buffer de Replay: Para evitar o esquecimento catastrófico e o colapso de modo (onde a política cicla através de um conjunto fixo de estratégias para enganar o crítico), o crítico é treinado em uma mistura de rollouts atuais e um buffer de replay de respostas passadas de especialistas e da política.
   • Técnicas de Estabilização: Os autores incorporam filtragem de excesso de comprimento e removem a normalização de vantagem/comprimento para garantir um aprendizado robusto.

Contribuições Principais

1. Nova Perspectiva de IRL: O artigo introduz um método principiado para treinar modelos de raciocínio usando apenas dados de demonstração, contornando a necessidade de verificadores ou anotações de preferência.
2. Framework Adversarial Relativístico: Propõe uma configuração adversarial específica com um crítico "relativístico" e a opção de empate, que os autores identificam como crítica para estabilizar a dinâmica de treinamento em domínios não verificáveis.
3. Validação Empírica: O método é validado em três domínios distintos:
   • Countdown (Controlado): Uma tarefa matemática de brinquedo onde a verificação é fácil.
   • DeepMath (Matemática Geral): Um domínio de raciocínio complexo onde a verificação é tão difícil quanto a geração.
   • Escrita de Poesia (Não Verificável): Uma tarefa criativa aberta sem verdade fundamental objetiva.

Resultados Experimentais

Os autores avaliam o RARO contra baselines fortes (SFT, Rationalization, Iterative DPO e RL-Logit) e, onde aplicável, o limite superior do RLVR.

• Countdown (Modelo de 1.5B): O RARO atinge 54,4% de acurácia, superando significativamente o melhor baseline sem verificador (SFT com 40,7%) em +13,7%. Ele quase iguala o desempenho do RLVR (57,7%).
• DeepMath (Modelo de 7B): O RARO atinge 57,5% de acurácia, superando o melhor baseline sem verificador (RL-Logit com 49,3%) em +8,2%. O método exibe tendências de escala similares ao RLVR conforme o tamanho do modelo aumenta.
• Escrita de Poesia (Modelo de 7B): Neste domínio não verificável, o RARO atinge uma taxa de vitória de 25,0% contra poemas de especialistas, uma melhoria massiva sobre o melhor baseline (SFT com 5,9%), representando um ganho de +19,1%.
• Comportamento de Escala: O RARO demonstra escalonamento eficaz tanto com orçamentos de tokens de raciocínio (escalonamento em tempo de teste) quanto com o tamanho do modelo. Notavelmente, ele aprende a realizar busca explícita e autocorreção (ex: backtracking no Countdown), comportamentos ausentes nos baselines de SFT.

Significância e Alegações

O artigo afirma que o RARO efetivamente elicia um forte desempenho de raciocínio a partir de demonstrações de especialistas, permitindo o aprendizado robusto de raciocínio mesmo quando verificadores específicos da tarefa não estão disponíveis. Ao formular o problema através de Aprendizado por Reforço Inverso e utilizar uma configuração adversarial relativística, os autores demonstram que é possível treinar modelos de raciocínio sem os requisitos caros de coleta de dados do RLHF ou as restrições estritas do RLVR.

Os resultados sugerem que o RARO é um caminho prático para desenvolver capacidades de raciocínio em domínios do mundo real (como escrita criativa e análise complexa) onde a verificação automática é impossível, potencialmente reduzindo a dependência da coleta custosa de preferências humanas, mantendo os benefícios do aprendizado por reforço, como o escalonamento em tempo de teste e a autocorreção.