Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric

1. O Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) com preferências humanas, tradicionalmente feito via Aprendizado por Reforço a partir de Feedback Humano (RLHF), enfrenta desafios críticos quando se utiliza Modelos de Recompensa Escalares (SRMs):

• Gargalo de Informação: Os SRMs comprimem preferências humanas multidimensionais em um único número opaco. Isso cria um "ruído" que leva a reward hacking (onde o modelo explora falhas no sistema de recompensa em vez de melhorar a qualidade real) e a brittleness (fragilidade) em tarefas não verificáveis.
• Limitações de Generalização: Em tarefas abertas (como escrita criativa ou conversação), não há uma "resposta correta" única. Os SRMs tendem a aprender atalhos estatísticos específicos do conjunto de dados, falhando ao generalizar para novos domínios ou distribuições fora da amostra (OOD).
• Escalabilidade de Rubricas Estáticas: Métodos anteriores baseados em rubricas (critérios de avaliação) muitas vezes usam rubricas estáticas ou pontuais (pointwise), que sofrem com o mesmo problema de agregação ponderada e não conseguem capturar nuances contextuais entre duas respostas específicas.

2. Metodologia: Open Rubric System (OpenRS)

O OpenRS propõe uma mudança de paradigma: em vez de aprender uma função de recompensa opaca, a recompensa deve ser um processo de raciocínio explícito executado sob princípios inspecionáveis. O sistema é composto por três pilares principais:

A. Rubricas Meta Adaptativas Pares (PAMR)

• Conceito: O sistema não avalia uma resposta isoladamente, mas compara pares de respostas $(o_i, o_j)$.
• Adaptabilidade: Para cada par, o sistema identifica as diferenças semânticas salientes ($\Delta_{ij}$) e, com base em uma Meta Rubrica (um conjunto de princípios constitucionais gerais), gera dinamicamente uma Rubrica Adaptativa específica para aquele contexto.
• Comparação Criterial: Em vez de prever uma probabilidade de preferência global, o modelo avalia cada critério da rubrica adaptativa individualmente, atribuindo uma pontuação comparativa (ex: -2 a +2). A preferência final é uma agregação externa dessas pontuações por critério, evitando a perda de informação da scalarização pontual.

B. Rubricas Verificáveis Pontuais (PVRs)

• Para tarefas onde existem verificações objetivas (código, matemática, restrições de formato), o sistema utiliza rubricas pontuais leves.
• Elas atuam como guardrails (barreiras de segurança) para comportamentos degenerados e fornecem componentes de recompensa verificáveis, complementando a avaliação subjetiva.

C. Pipeline de Refinamento de Meta Rubrica

Para garantir que os princípios de avaliação sejam robustos e evolutivos, o OpenRS utiliza um pipeline de dois níveis:

1. Refinamento Automático (Geral): Usa um algoritmo evolutivo (busca em feixe com mutações genéticas) para otimizar a General Meta Rubric. O objetivo é descobrir princípios que generalizem bem através de domínios, sem superajuste a dados específicos.
2. Refinamento Humano no Loop (Domínio): Para domínios específicos (ex: código, medicina), especialistas humanos analisam falhas e atualizam a Domain Meta Rubric de forma analítica, sem necessidade de retreinar o modelo julgador.

D. Integração com RL (BRPO)

O sistema integra-se ao RL através do Bootstrapped Relative Policy Optimization (BRPO). Em vez de comparações exaustivas $O(N^2)$, o BRPO seleciona uma resposta âncora dinâmica para cada grupo de amostras, reduzindo a complexidade para $O(N)$ enquanto mantém a qualidade do sinal de preferência par a par.

3. Contribuições Principais

1. Reenquadramento Teórico: Propõe que o alinhamento robusto em tarefas não verificáveis é um problema de generalização de princípios, não de aprendizado de uma função de recompensa.
2. Sistema OpenRS: Apresenta um sistema "plug-and-play" que combina PAMR e PVRs, superando modelos escalares e geradores de recompensa (GenRM) tradicionais.
3. Mecanismo de "Diff-First": A inovação de gerar critérios de avaliação baseados nas diferenças semânticas reais entre as respostas, em vez de critérios genéricos, aumenta drasticamente a discriminabilidade.
4. Validação Empírica: Demonstra que substituir SRMs por OpenRS em RL gera ganhos estáveis e consistentes em benchmarks de downstream.

4. Resultados Experimentais

O OpenRS foi avaliado em quatro benchmarks de modelagem de recompensa e em tarefas de otimização de política (RL):

• Benchmarks de Modelagem de Recompensa:
  • O OpenRS alcançou o estado da arte (SOTA) em RM-Bench, JudgeBench, RewardBench v2 e PPE Preference.
  • No RewardBench v2, o OpenRS (com base no Qwen3-235B) superou o melhor modelo de recompensa escalar aberto (Skywork-Reward-V2) em +6.6 pontos de média.
  • No JudgeBench, que testa robustez contra vieses (posição, verbosidade), o OpenRS superou a linha de base mais forte em +11.3 pontos, demonstrando superioridade na detecção de nuances e redução de alucinações de julgamento.
• Otimização de Política (RL):
  • Ao substituir um modelo de recompensa escalar pelo OpenRS no treinamento de RL, houve ganhos consistentes em benchmarks públicos (média de 71.3 vs 68.4).
  • Ganhos notáveis foram observados em testes de seguimento de instruções (IFEval/IFScale) e em avaliações de qualidade de julgamento (JudgeMark-v2).
• Análise de "Momento Aha":
  • O artigo relata que, diferentemente do RLHF tradicional onde a entropia da política decai monotonicamente (colapso para o modo da recompensa), o OpenRS permitiu uma dinâmica de exploração onde a entropia aumentou e estabilizou em um nível mais alto.
  • Isso resultou em respostas com maior "consciência subjetiva", personalidade e coragem de expressar opiniões, sugerindo que o sistema de rubrica permitiu a emergência de capacidades além dos dados de supervisão.

5. Significado e Impacto

O OpenRS representa um avanço significativo na escalabilidade do alinhamento de LLMs para tarefas abertas:

• Transparência e Controle: Ao tornar os critérios de avaliação explícitos e editáveis (via rubricas), o sistema elimina a "caixa preta" dos modelos de recompensa, permitindo que humanos corrijam princípios de avaliação sem retreinar modelos complexos.
• Escalabilidade: A abordagem de comparação par a par baseada em diferenças semânticas supera o teto de discriminabilidade dos métodos pontuais, permitindo que o RL escale para domínios onde não há resposta correta única.
• Futuro do RL: O trabalho sugere que a combinação de verificação explícita (rubricas) com otimização de preferência relacional é a chave para replicar fenômenos de "Aha Moment" (como visto em raciocínio matemático) em tarefas gerais e criativas, abrindo caminho para agentes de IA mais robustos, éticos e alinhados com valores humanos complexos.

O código-fonte e as rubricas refinadas estão disponíveis publicamente, facilitando a reprodução e adoção pela comunidade.