Resumo Técnico: Support Vector Rubrics (SVR)

Declaração do Problema

A avaliação baseada em rubricas emergiu como um paradigma promissor para avaliar saídas de Grandes Modelos de Linguagem (LLMs), oferecendo critérios estruturados e verificáveis que alinham os julgamentos do modelo com as preferências humanas. No entanto, um significativo "hiato discriminativo" persiste entre as rubricas autogeradas (produzidas pelo próprio modelo juiz) e as rubricas anotadas por humanos, particularmente em instâncias difíceis onde as respostas são sutis.

Os autores argumentam que este hiato decorre de um descompasso objetivo:

• Rubricas autogeradas tendem a descrever "boas respostas" usando dimensões genéricas (ex: clareza, completude) que se aplicam uniformemente a todas as respostas.
• Critérios eficazes devem discriminar entre candidatos próximos na fronteira de decisão, identificando fatores específicos (ex: presença de uma ressalva de segurança, tratamento de um contraexemplo) que distinguem uma resposta preferida de uma rejeitada.

Os métodos atuais frequentemente falham em capturar esses critérios relevantes para a fronteira, levando à estagnação do desempenho bem abaixo do desempenho oracle de nível humano em benchmarks como o RubricBench.

Metodologia: Support Vector Rubrics (SVR)

O SVR reformula a construção de rubricas como aprendizado de margem máxima sobre dados de preferência, traçando uma analogia com as Máquinas de Vetor de Suporte (SVM), onde as fronteiras de decisão são moldadas por "vetores de suporte" (casos difíceis) em vez de centroides. O framework consiste em quatro componentes principais:

1. Banco de Rubricas como um Espaço de Características Discriminativo

Em vez de gerar uma nova rubrica para cada prompt, o SVR mantém um banco de rubricas global ($B = \{c_1, \dots, c_M\}$) de critérios em linguagem natural.

• Indução de Características Contrastivas: Em vez de perguntar "o que torna uma resposta boa?", o sistema pergunta a um LLM para propor rubricas que especificamente distingam uma resposta preferida ($r^+$) de uma resposta rejeitada ($r^-$) para um determinado prompt ($x$).
• Codificação de Características: Para cada rubrica $c_i$, um juiz LLM inspeciona ambas as respostas lado a lado para produzir um recurso diferencial escalar $z_i \in [-1.25, 1.25]$, codificando a direção e a força da preferência.

2. Pontuação de Margem Máxima Esparsa

O SVR aprende uma função de pontuação $F(x, r_a, r_b)$ que agrega julgamentos por rubrica.

• Seletor Condicionado ao Prompt ($\alpha(x)$): Uma rede leve (MLP sobre embeddings TF-IDF) com uma projeção sparsemax seleciona um pequeno subconjunto de rubricas relevantes de um banco global para um prompt específico, levando entradas irrelevantes exatamente a zero.
• Pesos Globais ($w$): Um vetor de pesos compartilhado calibra a importância de cada rubrica em todos os prompts.
• Objetivo: O sistema minimiza uma perda composta $L = L_{pref} + L_{div}$, onde $L_{pref}$ impõe uma margem positiva para pares preferidos, e $L_{div}$ penaliza a seleção de rubricas redundantes (textualmente similares).

3. Ciclo de Refinamento Adversário

Para garantir que o banco de rubricas cubra casos difíceis, o SVR emprega um processo de refinamento iterativo:

• Mineração de Pares de Suporte: Após cada rodada de treinamento, pares com margens baixas (mal classificados ou de baixa confiança) são identificados como "pares de suporte".
• Probing Adversário: Para cada par de suporte, um probe LLM sintetiza um "negativo difícil" ($r_{adv}$)—uma resposta que é plausível, mas inferior a $r^+$ em pelo menos um critério substantivo.
• Re-indução: Esses negativos difíceis semeiam uma nova rodada de indução contrastiva, minerando rubricas especificamente para os modos de falha expostos pelos exemplos adversários.

4. Poda do Banco

Para evitar que o banco cresça indefinidamente, uma etapa de poda de quatro critérios remove entradas que possuem baixo peso, são raramente ativadas, são redundantes ou carecem de cobertura de pares de suporte. Isso garante que o banco final seja limitado, não redundante e focado em critérios relevantes para a fronteira.

Principais Contribuições

1. Reenquadramento do Problema: Os autores identificam o hiato discriminativo como um descompasso entre objetivos descritivos e discriminativos, demonstrando que os juízes podem pontuar de forma confiável uma vez fornecidos com critérios adequados e específicos da fronteira.
2. Framework SVR: Um framework inovador que constrói rubricas via aprendizado de margem máxima, utilizando um banco global, um seletor condicionado ao prompt, pesos de importância aprendidos e refinamento adversário.
3. Desempenho: O SVR alcança 82,8% de acurácia pareada no RubricBench, reduzindo o hiato para o oracle de rubrica humana (83,1%) de 24,1 pontos (autogerado) para apenas 0,3 pontos.
4. Transferibilidade: O banco de rubricas aprendido é treinado uma única vez e transfere-se efetivamente através de famílias de juízes heterogêneas (ex: GPT-OSS, DeepSeek, Qwen) e benchmarks não vistos sem necessidade de retreinamento ou geração de rubrica por prompt.

Resultados Experimentais

RubricBench (Hiato Discriminativo)

• Desempenho SVR: 82,8% de acurácia.
• Comparação: Supera modelos de recompensa escalar de última geração (Skywork: 61,0%), modelos de recompensa generativa (RM-R1: 46,0%) e baselines de rubricas autogeradas (aproximadamente 59-60%).
• Gap do Oracle: Reduz o hiato para o oracle anotado por humanos (83,1%) para 0,3 pontos, uma melhoria significativa em relação aos 24,1 pontos das rubricas autogeradas.
• Análise de Domínio: O SVR iguala ou supera o oracle em Chat, Seguimento de Instruções (IF), STEM e Código. O hiato restante reside principalmente em Segurança, onde as rubricas humanas capturam melhor distinções raras e de alto risco (ex: fronteiras de recusa).

Benchmarks de Modelos de Recompensa

• RewardBench 1 & 2 / RM-Bench: O SVR permanece competitivo com modelos de recompensa dedicados (ex: média de 87,2% vs. 90,3% do Skywork).
• Seguimento de Instrução: O SVR supera significativamente modelos escalares em seguimento preciso de instruções (81,9% vs. 64,1%), estendendo a vantagem observada no RubricBench.
• Segurança: O SVR concede espaço para modelos de segurança construídos para esse fim (ex: Skywork com 95,7%), indicando que, embora o SVR se destaque no alinhamento geral, o treinamento especializado em segurança continua sendo superior para esse domínio específico.

Ablação e Análise

• Componentes: Remover a indução contrastiva causa uma queda de 9,3%; remover a mineração de pares de suporte causa uma queda de 5,2%.
• Transferibilidade: Quando o banco treinado no GPT-OSS-120B é aplicado a outros juízes (GPT-20B, GPT-4o-mini, DeepSeek, Qwen), o SVR consistentemente supera os baselines vanilla e autogerados em >23 pontos, provando que os sinais das rubricas são amplamente independentes do juiz.
• Complementaridade: O SVR e as rubricas humanas discordam em cerca de 27% dos casos. O SVR resolve unicamente casos onde as rubricas humanas dão peso excessivo à cobertura superficial, enquanto os humanos resolvem unicamente casos onde o SVR carece de rubricas de "conclusão de tarefa".

Significância e Alegações

O artigo alega que o hiato discriminativo no julgamento baseado em rubricas atual é, em grande parte, um artefato de como as rubricas são obtidas (geração genérica vs. aprendizado de fronteira). Ao tratar a construção de rubricas como um problema de aprendizado de margem máxima, o SVR demonstra que:

1. Critérios que definem a fronteira podem ser induzidos de sinais de preferência isoladamente, sem a necessidade de autoria humana por instância.
2. Um banco de rubricas global e reutilizável pode ser treinado uma única vez e implantado em diversos juízes e tarefas, oferecendo um caminho principista para fechar o hiato de avaliação.
3. A abordagem fornece uma substituição leve e direta (drop-in) para pipelines de downstream (RLHF, amostragem de rejeição) que desacopla a geração de rubricas do conteúdo da resposta, garantindo que os critérios de avaliação sejam fixos antes que as respostas candidatas sejam observadas.

Os autores mantêm-se modestos quanto às limitações, observando que o banco herda vieses do juiz de treinamento, carece das garantias rigorosas de convergência de SVMs kernelizados devido à sua natureza discreta e que, embora a margem sirva como um sinal de recompensa, o ganho direto de otimização de política de downstream não foi explicitamente verificado neste trabalho.