Resumo Técnico: De RLVR para RLSVR

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) impulsionou progressos significativos em modelos de linguagem de grande escala (LLMs) orientados ao raciocínio para domínios com resultados determinísticos, como matemática e programação. Nesses cenários, um verificador $V(x, y)$ pode verificar deterministicamente se uma saída $y$ está correta dado um dado de entrada $x$, fornecendo supervisão imparcial, ilimitada e gratuita.

No entanto, o RLVR permanece amplamente inaplicável a tarefas abertas (ex: escrita criativa, sumarização de texto, raciocínio geral) onde a correção é subjetiva e carece de uma verdade fundamental (ground truth) determinística. As abordagens atuais para preencher essa lacuna dependem de:

• Sinais de preferência aprendidos (ex: RLHF, DPO), que exigem anotação humana dispendiosa.
• Proxies baseados em modelos (ex: LLM-as-a-Judge, mecanismos de auto-recompensa), que introduzem viés de avaliação, são limitados pela capacidade do juiz e incorrem em custos significativos de inferência.

O desafio central é que esses métodos tentam aproximar um objetivo de qualidade não verificável $Q(x, y)$ diretamente, em vez de construir um sinal verificável a partir dos próprios dados.

2. Metodologia: RLSVR e SpyRL

O artigo propõe o Aprendizado por Reforço com Recompensas Autoverificáveis (RLSVR), um paradigma que estende os princípios do aprendizado autossupervisionado (construção de tarefas pretextuais com rótulos gerados automaticamente) para o domínio do RLVR. O RLSVR transforma uma tarefa aberta em um ambiente proxy onde as recompensas são autoverificáveis — derivadas das regras internas do ambiente e dos resultados da interação, em vez de juízes externos.

2.1 O Framework RLSVR

O RLSVR opera através de uma transformação de tarefa $\Phi$ que mapeia uma tarefa alvo $(D, \tau)$ para um ambiente proxy $E$:

1. Injeção de Variável Latente: O ambiente amostra um dado de entrada $x$ e uma variável latente $z$ (ex: uma identidade oculta ou estado perturbado), registrando $z$ como a verdade fundamental.
2. Execução de Tarefa Condicionada: Agentes realizam a tarefa alvo baseando-se em observações derivadas de $(x, z)$.
3. Interação Verificável: O ambiente propõe uma pergunta sobre $z$ que deve ser respondida utilizando as saídas da tarefa. Crucialmente, responder corretamente depende da qualidade da saída.
4. Recompensa Baseada em Regras: A recompensa é computada verificando o resultado da interação contra o $z$ registrado, não exigindo um verificador externo.

2.2 SpyRL: Uma Instanciação via Auto-Jogo com Assimetria de Informação

Os autores instanciam o RLSVR com o SpyRL (Self-PlaY Reinforcement Learning), um framework multiagente inspirado no jogo de dedução social Quem é o Espião? (Who Is the Spy?).

Mecânicas do Jogo:

• Agentes: Um grupo de $n$ agentes consiste em $n-1$ "Civis" e um "Espião".
• Informação Assimétrica:
  • Civis: Recebem o dado de entrada completo $x$.
  • Espião: Recebe uma versão degradada $g(x)$ (ex: um intervalo contínuo de texto mascarado ou removido), criando um déficit de informação.
• Estágio de Execução: Todos os agentes geram saídas $y_i$ para a tarefa alvo (ex: sumarização, escrita criativa, raciocínio matemático) baseando-se em suas respectivas observações.
• Estágio de Detecção: Os agentes analisam todas as saídas e votam para identificar o espião.
• Sinal de Recompensa:
  • Recompensa de Detecção ($R_D$): Deterministicamente verificável. Se um agente votar no índice correto do espião $u$, recebe uma recompensa positiva; caso contrário, zero.
  • Recompensa de Execução ($R_P$): Derivada dos resultados da votação. O espião recebe uma recompensa negativa proporcional ao número de votos que recebe (suspeita), enquanto os civis recebem recompensas baseadas em uma restrição de soma zero em relação à média do grupo.
  • Alinhamento: Saídas que falham em ocultar o déficit de informação (ou seja, menor qualidade) atraem mais votos, resultando em menores recompensas. Assim, a "qualidade" não verificável da saída é convertida em um problema de "reconhecimento de identidade" verificável.

Estratégia de Otimização:
O SpyRL emprega otimização alternada entre a política de execução ($\pi^P_\theta$) e a política de detecção ($\pi^D_\phi$).

• Estimativa de Vantagem de Papel (RAE): Para abordar o desequilíbrio estrutural onde os espiões inerentemente enfrentam tarefas mais difíceis, o RAE calibra as recompensas subtraindo baselines específicos de cada papel, garantindo que o sinal de gradiente reflita o desempenho relativo à dificuldade do papel, em vez da magnitude absoluta da recompensa.
• Atualizações Alternadas: O sistema alterna entre otimizar os executores (para gerar saídas melhores e mais enganadoras) e os detectores (para identificar melhor as fraquezas). Isso evita a estagnação da política e equilíbrios locais comuns no auto-jogo fixo.

3. Principais Contribuições

1. Paradigma RLSVR: A proposta do Aprendizado por Reforço com Recompensas Autoverificáveis, que integra princípios de aprendizado autossupervisionado ao RLVR para permitir o treinamento escalável para tarefas abertas sem verificadores externos.
2. Framework SpyRL: A introdução do SpyRL, um método de auto-jogo com assimetria de informação que reformula a geração aberta como um jogo de dedução social multiagente, produzindo recompensas verificáveis através de inferência de identidade baseada em regras.
3. Validação Empírica: Avaliação abrangente em sumarização de texto, escrita criativa e raciocínio matemático, demonstrando que o SpyRL supera métodos de auto-melhoria existentes (R-Zero, Absolute Zero) em tarefas não verificáveis, mantendo ou melhorando o desempenho em tarefas de raciocínio verificáveis.
4. Generalização: Evidência de que a abordagem generaliza para sumarização de domínio específico (artigos científicos) e transfere capacidades entre tarefas (ex: modelos treinados em sumarização melhorando a escrita criativa).

4. Resultados Experimentais

Os autores avaliaram o SpyRL nos modelos Qwen3-4B e Qwen3-8B em três domínios:

• Tarefas Não Verificáveis (Sumarização e Escrita Criativa):

  • Sumarização: O SpyRL alcançou os maiores escores ROUGE-L em cinco benchmarks (GovReport, Multi-News, etc.). Por exemplo, no GovReport com Qwen3-4B, o SpyRL melhorou o ROUGE-L de 33.2 (Absolute Zero) para 36.7. Em testes pareados A/B contra baselines, o SpyRL venceu a maioria das comparações (ex: 74,6% de taxa de vitória no GovReport).
  • Escrita Criativa: O SpyRL superou significativamente os baselines em avaliações pareadas do GPT-4o em dimensões como Novidade, Emoção e Coerência. No WritingPrompts, o SpyRL alcançou uma taxa de vitória de 84,3% contra o backbone não treinado e 78,9% contra o R-Zero.
  • Correlação: A análise mostrou uma forte correlação positiva entre o número de votos de suspeita recebidos e a menor qualidade da saída (classificada pelo GPT-4o), validando que a recompensa baseada em votos se alinha ao desempenho real da tarefa.

• Tarefas Verificáveis (Raciocínio Matemático):

  • O SpyRL superou consistentemente os baselines em sete benchmarks (GSM8K, Math500, AIME 24/25, Minerva, MMLU-Pro, GPQA-D).
  • No Qwen3-8B, o SpyRL melhorou a precisão do Math500 para 81,2% (vs. 78,4% para o R-Zero) e o AIME 25 para 23,3% (vs. 14,2% para o R-Zero).

• Eficiência de Custo:

  • Ao contrário dos baselines de Rubric-as-Reward (RaR) que incorrem em ~$200–$900 em custos de verificador por experimento, o SpyRL não requer verificador externo, baseando-se apenas nas regras internas do jogo.

• Estudos de Ablação:

  • Otimização Alternada: Essencial para o desempenho; o treinamento conjunto levou à degradação (ex: a precisão do Math500 caiu de 68,2% para 53,1%).
  • Tamanho do Grupo: Aumentar os jogadores de 3 para 5 gerou os maiores ganhos; o escalonamento adicional mostrou retornos decrescentes.
  • RAE: Remover a Estimativa de Vantagem de Papel causou quedas significativas de desempenho, confirmando a necessidade de calibrar para a assimetria de informação.

5. Significância e Alegações

O artigo afirma que a verificabilidade não precisa ser uma propriedade intrínseca de uma tarefa, mas pode ser projetada através da transformação da tarefa. Ao converter a avaliação de qualidade aberta em um problema de reconhecimento de identidade verificável, o SpyRL permite o auto-melhoramento escalável e livre de verificadores para capacidades generativas abertas gerais.

Os autores argumentam que sua abordagem aborda o gargalo fundamental do RLVR em domínios não determinísticos:

• Elimina a dependência de preferências humanas enviesadas ou juízes de LLM caros.
• Fornece um sinal de recompensa estável e baseado em regras derivado do próprio ambiente.
• Demonstra que o auto-jogo não está restrito a domínios inerentemente verificáveis (como matemática/código), mas pode ser estendido para tarefas criativas e generativas através de um design de ambiente apropriado.

Os resultados sugerem que a transformação de tarefas pode estender o auto-melhoramento baseado em RLVR além de seus limites atuais, oferecendo um caminho para o treinamento de capacidades de LLM abertas sem supervisão humana.