Resumo Técnico: ComplexConstraints e Além: Rubricas de Especialistas para RLVR

Declaração do Problema

À medida que as capacidades dos Grandes Modelos de Linguagem (LLMs) avançam, os benchmarks de avaliação tradicionais estão cada vez mais saturados e desalinhados com os requisitos de implantação no mundo real. Métodos atuais, como a verificação programática (ex: IFEval), dependem de restrições superficiais e estreitas que podem ser verificadas via scripts, mas falham em capturar comportamentos sutis e dependentes de contexto. Consequentemente, os modelos podem passar em benchmarks evitando caracteres específicos ou regras de formatação enquanto produzem conteúdo incoerente. Além disso, há uma lacuna crescente entre o desempenho em benchmarks e a capacidade de seguir instruções complexas e em camadas, manter restrições comportamentais ao longo de interações estendidas e executar fluxos de trabalho profissionais de múltiplas etapas de forma confiável. Os benchmarks existentes frequentemente carecem de "validade de constructo" para distinguir diferenças significativas de capacidade entre modelos de fronteira.

Metodologia

O artigo propõe uma mudança de paradigma da verificação programática para a avaliação baseada em rubricas curadas por especialistas. Esta abordagem envolve especialistas de domínio decompondo o sucesso da tarefa em critérios atômicos e verificáveis que capturam tanto requisitos explícitos quanto a intenção pragmática do usuário.

Princípios de Design para Rubricas de Especialistas

Os autores articulam cinco princípios de design para garantir que as rubricas sejam eficazes tanto para avaliação quanto para Aprendizado por Reforço com Recompensas Verificáveis (RLVR):

1. Atomicidade Máxima Viável: Os critérios devem refletir a menor unidade significativa do prompt. A decomposição excessiva pode levar à recompensa de respostas fundamentalmente erradas que apenas satisfazem subcritérios superficiais.
2. Design de Critério Consciente da Intenção: Os critérios devem refletir a intenção pragmática do usuário (o "porquê") em vez de apenas o fraseado literal. Isso evita que os modelos aprendam a privilegiar o fraseado superficial em detrimento da compreensão contextual.
3. Taxonomia de Três Categorias de Critérios: Os critérios são categorizados de forma assimétrica para moldar o sinal de recompensa:
   • Intenção Primária: Requisitos diretos; a principal fonte de recompensa.
   • Crédito Extra (Bônus): Elementos que melhoram a experiência, mas não são obrigatórios; a recompensa é aditiva, não sendo penalizado se estiverem ausentes.
   • Bala Esquivada (Apenas Penalidade): Verificações para evitar equívocos prováveis; penalizado se violado, mas não recompensado se satisfeito.
4. Calibração Iterativa de LLM-Juiz: Os critérios passam por um processo iterativo onde os autores redigem os critérios, testam-nos contra respostas de referência e refinam a linguagem com base em discordâncias do verificador LLM para eliminar ambiguidades e evitar o "reward hacking".
5. Complexidade de Tarefa Baseada no Domínio: Para tarefas de agentes, as rubricas decompõem o sucesso através de dimensões como completude, correção, satisfação de restrições e conformidade de formato, fornecendo feedback denso ao nível do critério.

O Conjunto de Dados COMPLEXCONSTRAINTS

Para instanciar esses princípios, os autores introduzem o COMPLEXCONSTRAINTS, um novo conjunto de dados composto por aproximadamente 1.000 prompts de turno único. Cada prompt é pareado com 10 a 40 critérios atômicos de rubrica elaborados por especialistas de domínio. O conjunto de dados é projetado para ocupar a fronteira de capacidade, onde mesmo os modelos de fronteira mais fortes alcançam uma taxa de conclusão de tarefa perfeita inferior a 17%.

Pipeline de Treinamento

O estudo utiliza RLVR (Aprendizado por Reforço com Recompensas Verificáveis), usando as rubricas de especialistas como sinais de recompensa.

• Função de Recompensa: A recompensa é calculada como uma soma ponderada dos critérios de Intenção Primária satisfeitos, mais um bônus escalonado para critérios de Crédito Extra, menos uma penalidade escalonada para critérios de Bala Esquivada violados.
• Seguimento de Instrução: Os modelos (Qwen3-4B e Qwen3-235B) foram treinados em cerca de 900 exemplos do COMPLEXCONSTRAINTS usando ajuste fino LoRA.
• Tarefas Agênticas: Um modelo (GLM 4.6) foi treinado no ambiente de simulação empresarial CoreCraft usando Otimização de Política Relativa de Grupo (GRPO) com recompensas baseadas em rubricas.

Principais Contribuições

1. Princípios de Design: Articulação de cinco princípios específicos para a construção de rubricas de especialistas de alta qualidade que melhoram a validade de constructo e servem como sinais de treinamento de RL eficazes.
2. Conjunto de Dados COMPLEXCONSTRAINTS: Introdução de um novo conjunto de dados de seguimento de instrução curado por especialistas com alta densidade de restrições (10–40 critérios por prompt) projetado tanto para avaliação quanto para treinamento.
3. Validação Empírica: Demonstração de que as rubricas de especialistas funcionam como sinais de treinamento altamente eficazes, produzindo melhorias substanciais e transferíveis tanto no seguimento de instruções quanto na execução de tarefas agênticas.

Resultados

Seguimento de Instrução

O treinamento em aproximadamente 1.000 exemplos curados por especialistas resultou em melhorias significativas:

• Qwen3-4B: +15,5 pontos percentuais (pp) de melhoria na taxa média de passagem por critério.
• Qwen3-235B: +12,2 pp de melhoria.
• Transferência para AdvancedIF: Apesar de serem treinados exclusivamente em tarefas de turno único, os modelos mostraram ganhos substanciais no benchmark independente AdvancedIF, incluindo melhorias em contexto de múltiplos turnos (+7,1 pp para Qwen3-4B) e dirigibilidade de sistema (+12,4 pp).

Execução de Tarefas Agênticas

O treinamento do GLM 4.6 no ambiente empresarial CoreCraft por um único epoch resultou em:

• Dentro da Distribuição (In-Distribution): +11,4 pp de melhoria em tarefas CoreCraft mantidas fora do treino (held-out).
• Transferência Fora da Distribuição (Out-of-Distribution): Ganhos significativos em benchmarks nos quais o modelo nunca foi treinado:
  • +4,5 pp no BFCL (Chamada de função paralela).
  • +7,4 pp no τ 2-Bench (Atendimento ao cliente de varejo).
  • +6,8 pp no Toolathlon (Uso de ferramentas de longo horizonte).
• Confiabilidade: O Pass@3 (fração de tarefas resolvidas em todas as três execuções) do modelo quase dobrou de 9,3% para 17,6% no Toolathlon.

Significância e Alegações

O artigo afirma que as rubricas elaboradas por especialistas servem a um duplo propósito: elas são instrumentos de avaliação superiores que oferecem maior validade de constructo e distinguem melhor as capacidades dos modelos de fronteira, e são sinais de treinamento altamente eficazes para aprendizado por reforço.

As principais alegações de significância incluem:

• Eficiência de Dados: A curadoria de especialistas de alta qualidade permite ganhos substanciais de capacidade a partir de quantidades modestas de dados (~1.000 exemplos), superando métodos que dependem de rubricas sintéticas.
• Generalização: As competências aprendidas através do treinamento denso em rubricas (rastreamento de restrições, decomposição de fluxo de trabalho, padrões de qualidade) são generalizáveis entre formatos (turno único para múltiplos turnos) e domínios (seguimento de instrução para tarefas agênticas).
• Dificuldade Ótima: As rubricas de especialistas permitem a calibração da dificuldade da tarefa para o "meio termo produtivo", onde os sinais de aprendizado são mais informativos, evitando a saturação de benchmarks fáceis ou o ruído de tarefas impossíveis.
• Medição vs. Desenvolvimento: O trabalho estabelece que investir na expressividade para avaliação (rubricas ricas) paga um "segundo dividendo" ao fornecer os sinais de recompensa ricos e densos necessários para treinar modelos de fronteira de forma eficaz.

Os autores concluem que, embora a criação de rubricas de especialistas exija investimento em infraestrutura, os retornos tanto na qualidade de medição quanto na eficiência de treinamento justificam a abordagem, oferecendo um caminho para o desenvolvimento e a avaliação das capacidades de próxima geração de LLMs.