Resumo Técnico: EVOLM – Modelos de Linguagem Autoevolutivos através de Rubricas Discriminativas Coevoluídas

1. Declaração do Problema

Os métodos atuais de pós-treinamento para Modelos de Linguagem de Grande Escala (LLMs), particularmente o Aprendizado por Reforço a partir de Feedback Humano (RLHF), dependem fortemente de supervisão externa para gerar sinais de recompensa. Essas fontes incluem anotações de preferência humana, juízes proprietários baseados em API (LLM-como-juiz), modelos de recompensa escalar ou respostas verificáveis de verdade fundamental (ground-truth). Cada uma impõe um teto fundamental para a melhoria do modelo: o julgamento humano não pode supervisionar capacidades além das suas próprias; APIs proprietárias criam dependências e barreiras de custo; modelos de recompensa escalar são suscetíveis à exploração de recompensas (reward hacking); e recompensas verificáveis estão restritas a domínios com respostas de verdade fundamental.

Embora os LLMs codifiquem conhecimento avaliativo substancial a partir do pré-treinamento, os métodos atuais falham em estruturar esse conhecimento latente em um sinal de treinamento confiável e autossustentável. O desafio central é extrair e estruturar essa capacidade avaliativa em uma forma que permita a pontuação confiável sem supervisão externa, permitindo que o modelo se autoimprove além dos limites dos critérios de avaliação estáticos.

2. Metodologia: EVOLM

Os autores propõem o EVOLM, um framework de pós-treinamento que permite que um único modelo de linguagem coevolua suas próprias capacidades de geração (política) e avaliação (rubrica). A inovação central é a estruturação explícita do conhecimento avaliativo em rubricas discriminativas — critérios em linguagem natural otimizados para ajudar um pequeno juiz congelado a distinguir entre respostas preferidas e não preferidas.

2.1 Componentes Principais

• Modelo de Política ($\pi_\theta$): Gera respostas para perguntas.
• Gerador de Rubrica ($\rho_\phi$): Produz critérios de avaliação específicos para instância (rubricas) em linguagem natural para uma dada pergunta.
• Juiz Congelado ($J$): Um modelo de linguagem pequeno e fixo (por exemplo, Qwen3-1.7B) que pontua as respostas contra as rubricas geradas. Os parâmetros do juiz permanecem congelados durante todo o treinamento.

2.2 Objetivo e Mecanismo de Treinamento

O EVOLM trata a rubrica como uma variável latente e formaliza a geração de rubricas via inferência variacional. O objetivo é maximizar a utilidade discriminativa da rubrica: uma rubrica é "boa" se, quando aplicada pelo juiz congelado, atribuir uma pontuação mais alta à resposta preferida ($a^+$) do que à resposta não preferida ($a^-$).

O objetivo de treinamento maximiza o Limite Inferior da Evidência (ELBO), recompensando rubricas que ampliam a lacuna de pontuação entre respostas preferidas e não preferidas:
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
Na prática, isso é otimizado usando uma recompensa baseada em margem combinada com uma recompensa de formato para garantir que a rubrica adira a um esquema JSON estruturado, passível de análise pelo juiz.

2.3 Loop de Treinamento Coevolutivo

O método alterna entre duas fases usando o algoritmo GRPO (Otimização de Política Relativa em Grupo):

1. Fase 1 (Atualização da Política): O gerador de rubricas é congelado. A política gera respostas, que são pontuadas pelo juiz congelado usando as rubricas atuais. A política é atualizada para maximizar essas recompensas derivadas de rubricas.
2. Fase 2 (Atualização da Rubrica): A política é congelada. Pares de preferência $(a^+, a^-)$ são construídos a partir das próprias saídas da política. O gerador de rubricas produz rubricas candidatas, que são pontuadas pelo juiz em ambas as respostas. O gerador de rubricas é atualizado para maximizar a margem de pontuação entre as respostas preferidas e não preferidas.

2.4 Construção de Pares de Preferência

Para evitar rótulos externos, o EVOLM constrói pares de preferência inteiramente a partir das próprias saídas da política usando três métodos complementares:

• Contraste Temporal: Emparelha uma resposta atual ($a^+$) com uma resposta anterior ($a^-$) de um checkpoint de treinamento anterior. À medida que a política melhora, a lacuna temporal cria um currículo natural de dificuldade crescente.
• Pergunta Inferida (IQ): A política infere a pergunta a que uma resposta preferida se destina e, em seguida, gera uma resposta não preferida para essa pergunta inferida para testar a relevância.
• Condicionada à Rubrica (RC): Gera uma resposta preferida condicionada à rubrica e uma resposta não preferida condicionada apenas à pergunta, testando a utilidade da rubrica.

3. Contribuições Principais

• Framework Autoevolutivo: O EVOLM é o primeiro método a definir formalmente a qualidade da rubrica como utilidade discriminativa e treinar um gerador de rubricas de ponta a ponta sem supervisão externa, APIs proprietárias ou verificadores específicos de tarefa.
• Coevolução: O framework estabelece um loop de feedback onde a melhoria da política força as rubricas a se tornarem mais afiadas (para permanecerem discriminativas), e rubricas mais afiadas fornecem recompensas mais informativas para impulsionar a melhoria adicional da política.
• Mecanismo de Enriquecimento de Rubrica: A análise qualitativa revela que as rubricas treinadas evoluem de rótulos abstratos para verificações concretas e verificáveis. Elas incorporam valores esperados específicos (por exemplo, "a resposta é 144") e decompõem restrições em subtarefas individualmente verificáveis, transformando o julgamento holístico em correspondência de padrões que até mesmo juízes pequenos podem realizar com confiabilidade.
• Generalização: As rubricas aprendidas transferem-se efetivamente para políticas não vistas, famílias de modelos diferentes e domínios fora da distribuição (por exemplo, tarefas de pesquisa profunda) sem retreinamento.

4. Resultados Experimentais

Os experimentos foram conduzidos usando o Qwen3-8B como gerador de política/rubrica e o Qwen3-1.7B como juiz congelado.

• Desempenho a Montante: A política treinada com EVOLM alcançou uma média de 69,3% no conjunto OLMo3-Adapt (12 benchmarks), superando:
  • Políticas treinadas com rubricas solicitadas ao GPT-4.1 (66,7%).
  • Políticas treinadas com rubricas solicitadas ao Qwen3-8B (67,5%).
  • Modelos de recompensa escalar de última geração (SkyWork-RM-V2) em 59,7%.
  • Outros métodos de RL baseados em rubricas (RAR, RRD, RLCER, RUBRIC-ARM), que variaram de 66,7% a 67,6%.
• Qualidade da Rubrica: As rubricas aprendidas superaram o GPT-4.1 no RewardBench-2 em 25,7% (46,0% vs. 20,3% em métricas específicas, embora o resumo cite uma melhoria de 25,7% sobre as rubricas do GPT-4.1 no benchmark).
• Generalização:
  • Entre Políticas: Rubricas treinadas no Qwen3-8B melhoraram o desempenho a montante em políticas Qwen3-4B e Llama-3.1-8B não vistas em comparação com rubricas solicitadas ao GPT-4.1.
  • Entre Juízes: Rubricas treinadas com um juiz de 1,7B permaneceram eficazes quando emparelhadas com juízes maiores (Qwen3-8B, OLMo-3-7B), mostrando ganhos significativos sobre as linhas de base solicitadas.
  • Fora da Distribuição: Em tarefas de pesquisa profunda (HealthBench, ResearchQA), as rubricas do EVOLM alcançaram maior concordância par a par com rubricas humanas de especialistas do que o GPT-4.1 (58,4% vs. 52,5% no HealthBench).
• Estudos de Ablação:
  • Tamanho do Juiz: Um juiz pequeno de 1,7B produziu a melhor política a montante, sugerindo que a qualidade do conteúdo da rubrica é mais crítica do que a capacidade do juiz.
  • Dinâmica de Treinamento: O treinamento coevolutivo superou o treinamento sequencial (treinar rubricas e depois a política), destacando a importância do loop de feedback adaptativo.
  • Sobreotimização de Recompensa: O modelo de recompensa escalar, apesar de dominar benchmarks estáticos (RewardBench-2: 86,4%), produziu a política a montante mais fraca, confirmando que critérios estáticos falham em se adaptar à distribuição de saída em mudança da política.

5. Significado e Alegações

O artigo afirma que o EVOLM demonstra que estruturar a capacidade avaliativa de um modelo em rubricas discriminativas coevolutivas permite a autoimprovação sem supervisão externa.

Os autores argumentam que toda fonte de recompensa externa impõe um teto: o julgamento humano não pode supervisionar além de sua própria capacidade, e critérios estáticos não podem se adaptar à distribuição de saída que uma política de aprendizado cria. Ao coevolver os critérios de avaliação com a política, o EVOLM remove essas restrições. A estrutura de avaliação aprendida mostra-se transferível entre políticas, juízes e domínios não vistos, sugerindo um caminho para a autoimprovação autônoma e escalável em modelos de linguagem.

O trabalho posiciona as rubricas não apenas como uma ferramenta para interpretabilidade, mas como um mecanismo para extrair conhecimento avaliativo latente do pré-treinamento e estruturá-lo em um sinal de treinamento confiável e autossustentável.