Resumo Técnico: SCOPE – Self-Play via Co-Evolving Policies for Open-Ended Tasks

Definição do Problema

As abordagens atuais de aprendizado por reforço (RL) para o treinamento de grandes modelos de linguagem (LLMs) em tarefas abertas (ex: pesquisa profunda, QA complexo, escrita criativa) enfrentam um gargalo fundamental: elas dependem de supervisão externa. Essa supervisão assume tipicamente a forma de prompts curados por humanos, respostas de referência ou juízes de "modelos de fronteira" (LLMs mais fortes usados para avaliar saídas). Essas dependências vinculam o desempenho do modelo à qualidade dos dados de nível humano e limitam a escalabilidade.

Métodos de self-play existentes para LLMs tentam contornar isso através da coevolução de geradores de tarefas e solucionadores. No entanto, essas abordagens anteriores (ex: SPICE, Dr. Zero, R-Zero) são restritas a domínios com respostas verificáveis (correspondência de strings, igualdade numérica, execução de código). Tarefas abertas carecem de uma resposta única correta, tornando a verificação baseada em regras impossível. Embora a avaliação baseada em rubricas ofereça um caminho a seguir, métodos anteriores de RL baseados em rubricas (ex: RaR, DR Tulu, RPG) ainda dependem de prompts curados ou juízes externos de modelos de fronteira, falhando em alcançar um loop de auto-supervisão verdadeiramente livre de dados.

Metodologia: SCOPE

Os autores introduzem o SCOPE (Self-play via Co-evolving Policies for Open-Ended tasks), o primeiro framework para estender o self-play livre de dados para tarefas abertas. O sistema opera sem dados curados ou juízes externos, baseando-se em um "auto-juiz" derivado do próprio modelo base.

Arquitetura Central

O SCOPE coevolui duas políticas inicializadas a partir do mesmo modelo base $M_0$, juntamente com um terceiro papel fixo:

1. Desafiador (Challenger - $C_t$): Uma política em evolução treinada para gerar tarefas abertas e fundamentadas em documentos. Ele realiza recuperação de múltiplos turnos sobre um corpus não rotulado para construir tarefas que se situem próximas à fronteira de capacidade do Solucionador atual.
2. Solucionador (Solver - $S_t$): Uma política em evolução treinada para responder às tarefas do Desafiador. Ele utiliza geração aumentada por recuperação (RAG) de múltiplos turnos para reunir evidências e sintetizar respostas.
3. Juiz (Judge - $J = M_0$): Uma cópia congelada do modelo base inicial. Ele desempenha duas funções críticas:
   • Geração de Rubrica: Para cada tarefa $q$ e documento fonte $d$, o Juiz gera rubricas de avaliação (critérios) específicas da tarefa, fundamentadas no documento fonte.
   • Graduação: O Juiz pontua as respostas do Solucionador em relação a essas rubricas.

Loop de Treinamento

O processo de treinamento alterna entre dois estágios, otimizados usando Group Relative Policy Optimization (GRPO):

Estágio 1: Treinamento do Desafiador

• O Desafiador gera uma tarefa $q$ baseada em um documento fonte $d$.
• Portões de Qualidade (Quality Gates): O Juiz aplica verificações binárias para garantir que a tarefa faça referência a entidades identificáveis e esteja fundamentada no documento fonte. Tarefas que falham nesses portões são descartadas para evitar que o Desafiador gere prompts genéricos de "ataque de recompensa" (reward-hacking).
• Recompensa de Dificuldade: O Solucionador anterior ($S_{t-1}$) tenta a tarefa. O Juiz gradua as respostas. O Desafiador é recompensado por gerar tarefas onde a pontuação média do Solucionador esteja próxima de uma dificuldade alvo $\tau = 0.5$. Isso garante que as tarefas permaneçam desafiadoras, mas solucionáveis, maximizando a variância do feedback.

Estágio 2: Treinamento do Solucionador

• O Desafiador gera um pool de tarefas.
• Filtragem: As tarefas são filtradas com base nos portões de qualidade e dificuldade (mantendo apenas aquelas onde a pontuação média do Solucionador cai dentro de $[0.2, 0.8]$).
• Recompensa do Solucionador: O Solucionador é treinado nessas tarefas filtradas. A função de recompensa combina:
  • Pontuação da Rubrica: Média ponderada de vereditos binários sobre critérios específicos.
  • Recompensas de Formato e Busca: Incentivando o uso adequado de ferramentas e estrutura.
  • Penalidade de Comprimento: Uma penalidade baseada em cosseno evita que o Solucionador explore a tendência do Juiz de favorecer saídas longas ao gerar respostas excessivamente verbosas.

Justificativa Teórica

O artigo argumenta que a melhoria sustentada requer informação aprendível. O SCOPE alcança isso através de:

1. Fundamentação da Tarefa (Task Grounding): O Desafiador e o Juiz observam o documento fonte $d$, enquanto o Solucionador vê apenas a tarefa $q$. O Solucionador deve recuperar $d$ para responder, criando um hiato de informação.
2. Hiato da Rubrica Oculta (Hidden-Rubric Gap): As rubricas $G$ contêm critérios específicos do documento que não são totalmente revelados pela tarefa $q$. O Solucionador deve recuperar os detalhes específicos em $d$ para satisfazer a rubrica.
   À medida que o Solucionador melhora, ele fecha o hiato nas tarefas atuais. O Desafiador deve coevoluir para propor novas tarefas onde o hiato permaneça aberto, evitando que o sinal de aprendizado sature.

Principais Contribuições

1. Primeiro Self-Play Livre de Dados para Tarefas Abertas: O SCOPE é o primeiro framework a aplicar com sucesso o self-play a tarefas abertas sem depender de prompts curados ou juízes de modelos de fronteira externos.
2. Auto-Julgamento Baseado em Rubricas: Demonstra que uma cópia congelada do modelo base pode efetivamente gerar rubricas específicas da tarefa e graduar respostas, substituindo a necessidade de supervisão externa.
3. Necessidade de Coevolução: O artigo fornece evidência empírica de que um Desafiador estático falha em sustentar a melhoria; o Desafiador deve coevoluir com o Solucionador para manter a "fronteira de dificuldade".
4. Generalização: Apesar de treinado exclusivamente em tarefas abertas fundamentadas em documentos, o método melhora o desempenho em QA de curto formato e escrita criativa, sugerindo ganhos transferíveis em habilidades de recuperação e síntese.

Resultados Experimentais

Os autores avaliaram o SCOPE em três modelos ajustados por instrução (Qwen2.5-7B, Qwen3-8B, OLMo-3-7B) através de oito benchmarks de tarefas abertas e sete benchmarks de QA de curto formato.

• Desempenho em Tarefas Abertas: O SCOPE melhorou o desempenho em tarefas abertas em +5.4 a +10.4 pontos entre os modelos. Notavelmente, no Qwen2.5-7B, a pontuação média subiu de 24.4 para 34.8 (+10.4).
• Comparação com Dados Curados: O SCOPE igualou ou superou o GRPOdata, um baseline treinado com ~9.000 prompts curados por humanos com rubricas de modelos de fronteira. Por exemplo, no Qwen3-8B, o SCOPE alcançou 43.1 contra 41.5 do GRPOdata.
• Transferência para QA de Curto Formato: Embora treinado apenas em tarefas abertas, o SCOPE melhorou as pontuações de QA de curto formato em +7.8 a +13.8 pontos, superando o GRPOdata em todos os três modelos.
• Escrita Criativa: O SCOPE mostrou ganhos significativos em escrita criativa (até +7.4), um domínio onde o GRPOdata frequentemente regrediu abaixo do modelo base, indicando que o self-play fundamentado em corpus constrói habilidades de síntese robustas.
• Estudos de Ablação:
  • Coevolução: Congelar o Desafiador resultou em ganhos negligenciáveis (+0.8 vs. +3.4 para o SCOPE completo), pois as tarefas tornaram-se fáceis demais.
  • Design de Recompensa: Remover os portões de qualidade ou as penalidades de comprimento levou ao "ataque de recompensa" (tarefas genéricas ou texto inflado), causando o colapso do desempenho abaixo do modelo base.
  • Qualidade da Rubrica: A qualidade da geração da rubrica (não a capacidade de graduação) foi identificada como o gargalo. Rubricas de modelos menores (4B) frequentemente careciam de fatos específicos do documento, enquanto modelos de 8B+ produziam critérios fundamentados e discriminativos.

Significância e Alegações

O artigo afirma que o SCOPE representa um passo significativo em direção ao auto-melhoramento escalável e livre de dados para LLMs. Ao substituir a dependência de dados curados por humanos e juízes de modelos de fronteira por um loop autocontido de políticas coevoluídas e auto-julgamento baseado em rubricas, o SCOPE estende o alcance do self-play além de domínios verificáveis (matemática, código) para tarefas de raciocínio abertas e complexas.

Os autores observam modestamente que o pipeline de múltiplos estágios requer mais computação do que o GRPO de estágio único, limitando seus experimentos atuais a modelos de 7–8B. No entanto, argumentam que no "regime pós-dados", onde a supervisão curada é esgotada, trocar computação por auto-melhoramento contínuo é um caminho justificado e necessário. Os resultados sugerem que tarefas abertas podem ser dominadas através de sinais autogerados, desde que o sistema mantenha uma assimetria de informação dinâmica entre o gerador de tarefas e o solucionador.