Resumo Técnico: SERPO – Otimização de Política de Rubrica Autoevolutiva

1. Definição do Problema

O artigo aborda o Aprendizado por Reforço em Tempo de Teste (TTRL - Test-Time Reinforcement Learning) para geração de código aberto sob um cenário estrito de conjunto fixo, sem rótulos e transdutivo. Neste cenário, um modelo de linguagem implantado deve autoevoluir em um conjunto específico de prompts de teste sem acesso a respostas de referência, feedback humano, modelos de recompensa externos ou juízes mais fortes.

Os métodos existentes de TTRL dependem de votação de respostas (ex: votação majoritária ou autoconsistência) para gerar pseudo-rótulos. Embora eficaz para tarefas com respostas extraíveis ou canônicas (ex: múltipla escolha ou raciocínio simbólico), essa abordagem falha para a geração de código aberto. Em domínios como aconselhamento médico ou pesquisa científica, respostas válidas podem diferir significativamente em redação, detalhes ou estrutura, enquanto transmitem os mesmos princípios fundamentais de segurança ou fatos. Por outro lado, a votação majoritária pode reforçar omissões compartilhadas ou rejeitar alternativas válidas que simplesmente não coincidem com a fraseologia mais frequente. O desafio central é construir um sinal de recompensa confiável e informativo a partir das próprias saídas do modelo sem supervisão externa, especificamente para tarefas onde não existe uma única resposta "correta".

2. Metodologia: SERPO

SERPO (Self-Evolving Rubric Policy Optimization) introduz um framework de ciclo fechado que coevolui três componentes: arquivos de respostas específicos por consulta, rubricas específicas por consulta e a política de ator compartilhada. Diferente de métodos que utilizam rubricas fixas ou juízes externos, o SERPO deriva recompensas inteiramente das próprias saídas em evolução do modelo.

Componentes Principais

1. Evolução de Respostas Bom–Normal–Ruim (G-N-B):

   • Para cada prompt, o SERPO mantém arquivos rotativos de respostas categorizadas como Boas (Good), Normais (Normal) e Ruins (Bad).
   • Em vez de selecionar apenas o melhor e o pior absolutos, o sistema seleciona um trio ordenado de separação máxima $(G, N, B)$ baseado em uma pontuação de separação que maximiza a distância entre as três categorias. Isso garante que os arquivos contenham evidências distintas e ordenadas de diferenças de qualidade.

2. Evolução da Rubrica:

   • Uma cópia congelada do modelo inicial atua como um gerador de rubrica. Ela analisa os contrastes dentro dos arquivos G-N-B para propor critérios atômicos e específicos da consulta (ex: "verifica a pressão arterial" vs. "menciona repouso").
   • Seleção Baseada em Utilidade: Os critérios são pontuados com base em sua capacidade de discriminar os arquivos G-N-B (variância nas pontuações e concordância com a ordem $G > N > B$).
   • Manutenção Dinâmica: Critérios de baixa utilidade são eliminados e novos critérios discriminativos são admitidos. Esse processo garante que a rubrica evolua para capturar as nuances específicas do desempenho da política atual.

3. Interface de Recompensa Probabilística:

   • Um juiz probabilístico congelado avalia as respostas contra a rubrica ativa. Em vez de vereditos binários rígidos, ele emite probabilidades de tokens de veredito (verossimilhança de "Passar" vs. "Falhar").
   • Essas probabilidades são convertidas em pontuações de critério orientadas (onde valores mais altos são sempre melhores, independentemente de o critério ser positivo ou negativo).
   • Calibragem: As pontuações são normalizadas com base no desempenho médio dos arquivos Bom e Ruim para garantir que o sinal de recompensa permaneça sensível conforme a política melhora.

4. Otimização da Política:

   • O ator é atualizado usando Otimização de Política Relativa ao Grupo (GRPO - Group-Relative Policy Optimization). As recompensas escalares derivadas da rubrica em evolução são usadas para calcular vantagens, otimizando a política para maximizar a satisfação dos critérios específicos da consulta.
   • Novas execuções (rollouts) do ator então atualizam os arquivos G-N-B e disparam a evolução da rubrica, fechando o ciclo.

3. Principais Contribuições

• Formulação de TTRL de Código Aberto Sem Rótulos: O artigo define um cenário onde o TTRL opera sem respostas de referência ou juízes externos, abordando as limitações dos métodos de votação de respostas em domínios de código aberto.
• Framework SERPO: Um sistema inovador de ciclo fechado que coevolui arquivos de resposta, rubricas específicas por consulta e parâmetros de política. É o primeiro a combinar probabilidades de veredito booleanos pós-raciocínio com rubricas evolutivas e específicas por consulta para otimização de política.
• Interface de Recompensa Probabilística: Um mecanismo que converte probabilidades de satisfação de critério em recompensas relativas ao grupo, preservando a confiança graduada e evitando empates de recompensa causados por vereditos binários rígidos.
• Validação Empírica: Experimentos abrangentes demonstrando que o SERPO alcança ganhos significativos no desempenho intra-domínio e transfere efetivamente para benchmarks fora da distribuição (OOD) sem supervisão externa.

4. Resultados Experimentais

Os autores avaliaram o SERPO em duas configurações de modelo (Qwen3-4B e Qwen3.5-9B) em seis benchmarks: dois intra-domínio (HealthBench, ResearchQA) e quatro OOD (MedQA, LLMEval-Med, GPQA-Diamond, RaR-Science).

• Desempenho Intra-Domínio: O SERPO supera significativamente os modelos base e outros baselines (incluindo TTRL baseado em votação e métodos de rubrica estática).
  • No HealthBench, o SERPO melhorou o modelo base Qwen3.5-9B em 20,63 pontos.
  • No ResearchQA, ele melhorou o modelo base em 20,31 pontos.
  • A média macro dos seis benchmarks aumentou até 8,06 pontos sobre o modelo base.
• Transferência OOD: Políticas evoluídas no HealthBench transferiram-se efetivamente para benchmarks médicos OOD (MedQA, LLMEval-Med), e políticas evoluídas no ResearchQA transferiram-se para benchmarks científicos OOD. O SERPO superou os baselines em todos os cenários OOD, demonstrando que os critérios autoevolvidos generalizam melhor do que o consenso baseado em frequência.
• Estudos de Ablação:
  • Remover a evolução da rubrica ou congelar os arquivos G-N-B resultou em quedas significativas de desempenho (~12–13%), confirmando a necessidade tanto de definições evolutivas quanto de evidências atualizadas.
  • O uso de juízes probabilísticos (pontuações suaves) foi crucial; vereditos rígidos reduziram o desempenho em 6% devido a empates de recompensa.
  • As atualizações do ator foram o maior motor de melhoria; congelar o ator enquanto evolui apenas a rubrica rendeu ganhos mínimos.
• Evolução de Longo Horizonte: Estender o treinamento para 45 épocas mostrou uma melhoria contínua, sugerindo que o método não satura rapidamente. A evolução sequencial através de benchmarks (HealthBench $\to$ ResearchQA) demonstrou que o SERPO pode aprender novos domínios enquanto retém e melhora o desempenho nos anteriores.

5. Significância e Alegações

O artigo afirma que o SERPO representa um passo significativo em direção à auto-melhoria autônoma e sem rótulos para modelos de linguagem em domínios complexos e de código aberto.

• Além da Votação: Demonstra que a votação de respostas é insuficiente para tarefas de código aberto e que a verificação ao nível de critério é uma alternativa necessária.
• Autossuficiência: O SERPO alcança um forte desempenho sem modelos de recompensa externos, feedback humano ou respostas de referência privilegiadas, baseando-se apenas na capacidade interna do modelo de distinguir qualidade via rubricas evolutivas.
• Generalização: A capacidade de transferir os critérios aprendidos para benchmarks não vistos sugere que o método aprende princípios de qualidade generalizáveis (ex: segurança, completude) em vez de sofrer overfitting a padrões de prompts específicos.
• Direção Futura: Os autores posicionam o SERPO como uma base para a melhoria contínua e sem rótulos, propondo trabalhos futuros sobre fluxos de benchmarks cíclicos e mecanismos para gerenciar a saturação e o esquecimento.

O artigo conclui que, ao fechar o ciclo entre evidência de resposta, critérios discriminativos e otimização de política, o SERPO permite que os modelos autoevoluam de forma eficaz mesmo na ausência de supervisão externa.