Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

Título: Rubricas como Superfície de Ataque: Deriva de Preferência Furtiva em Juízes de LLM

1. Problema e Contexto

O alinhamento de Grandes Modelos de Linguagem (LLMs) depende cada vez mais de pipelines de avaliação e feedback baseados em LLMs (conhecidos como LLM-as-a-Judge). O comportamento desses juízes é guiado por rubricas (instruções em linguagem natural que definem critérios de avaliação).

O artigo identifica uma vulnerabilidade crítica e subestimada chamada Deriva de Preferência Induzida por Rubrica (RIPD - Rubric-Induced Preference Drift).

• O Cenário: Rubricas são refinadas para melhorar a precisão em conjuntos de dados de benchmark (validação).
• A Vulnerabilidade: É possível realizar edições na rubrica que mantêm (ou até melhoram) a performance no benchmark, mas que induzem uma deriva sistemática e direcional nas preferências do juiz em domínios-alvo não vistos durante a validação.
• O Risco: Como as rubricas funcionam como uma interface de decisão de alto nível, essas alterações podem ser sutis e "naturais", passando despercebidas pelas métricas agregadas de benchmark, mas alterando fundamentalmente como o modelo julga respostas em cenários reais.

2. Metodologia

Os autores propõem um modelo de ameaça realista e um método de ataque para demonstrar a RIPD.

Modelo de Ameaça:

• Um adversário (designer de rubricas) pode editar a rubrica em linguagem natural.
• O adversário não tem acesso aos parâmetros internos do modelo juiz, aos gradientes ou aos dados de entrada não vistos.
• O adversário tem acesso limitado a dados de probe (amostras de treino/validação) dos domínios de benchmark e alvo, mas não pode manipular os dados de teste final.

Ataque de Preferência Baseado em Rubrica:
O ataque utiliza uma busca evolutiva de caixa-preta para encontrar uma rubrica modificada ($R'$) que satisfaça duas condições simultâneas:

1. Preservação do Benchmark: A rubrica modificada deve manter a concordância com a referência humana no domínio de benchmark (dentro de uma tolerância $\epsilon$).
2. Degradação Direcional no Alvo: A rubrica deve induzir uma divergência sistemática nas preferências no domínio alvo, reduzindo a concordância com a referência humana em um margem significativa ($\tau$).

Algoritmo de Busca (Biased Rubric Search):

• População Inicial: Começa com uma rubrica base (seed).
• Refinamento Assimétrico: O algoritmo identifica casos onde o juiz erra no benchmark (para corrigir) e casos onde o juiz acerta no domínio alvo (para "virar" ou inverter propositalmente).
• Otimização: Um modelo de edição (como DeepSeek-V3) reescreve a rubrica baseada nesses casos de erro, tentando maximizar a deriva no alvo enquanto mantém a performance no benchmark.
• Seleção: Escolhe-se a rubrica que maximiza a deriva no alvo, desde que a performance no benchmark permaneça estável.

3. Contribuições Principais

1. Identificação da RIPD: Demonstram que refinamentos de rubricas, mesmo que benignos e validados em benchmarks, podem causar uma degradação sistemática e direcional na avaliação de domínios específicos.
2. Ataque Viável: Mostram que é possível explorar essa vulnerabilidade através de edições puramente em linguagem natural, sem necessidade de acesso ao modelo ou dados maliciosos complexos.
3. Propagação para Políticas (Alignment): Provam que a deriva induzida na etapa de avaliação se propaga para o treinamento de políticas (via DPO - Direct Preference Optimization), resultando em modelos finais com comportamento desalinhado e degradado, mesmo que o juiz original pareça confiável nos testes padrão.

4. Resultados Experimentais

Os experimentos foram conduzidos em tarefas de Utilidade (Helpfulness) e Inofensividade (Harmlessness) usando diversos modelos (Qwen3-14B, Gemma-3-27B, DeepSeek-V3).

• Degradação de Performance: As rubricas modificadas reduziram a precisão no domínio alvo em até:
  • 9,5% em tarefas de Utilidade.
  • 27,9% em tarefas de Inofensividade.
• Preservação do Benchmark: Em muitos casos, a precisão no benchmark aumentou ou permaneceu inalterada, enquanto a performance no alvo caía drasticamente. Isso confirma que métricas de benchmark não garantem generalização.
• Generalização entre Modelos: As rubricas enviesadas treinadas em um modelo (ex: Qwen) induziram a mesma deriva em outros modelos (ex: Gemma, DeepSeek), indicando que o problema está na lógica da rubrica, não no modelo específico.
• Qualidade da Rubrica: Avaliações cegas mostraram que as rubricas enviesadas eram frequentemente consideradas melhores ou equivalentes às originais por avaliadores independentes, provando que a deriva não é causada por rubricas "mal escritas", mas por uma reponderação sutil dos critérios.
• Impacto no Treinamento (DPO): Políticas treinadas com rótulos gerados por juízes com rubricas enviesadas ($\pi_{bias}$) apresentaram desempenho inferior às políticas treinadas com a rubrica original ($\pi_{seed}$) em todos os regimes de treinamento (apenas benchmark, apenas alvo, ou misto). O modelo final aprendeu o viés da rubrica.

5. Significado e Conclusão

O artigo revela um risco sistêmico no alinhamento de LLMs:

• Falha da Validação Estática: A validação baseada apenas em benchmarks fixos é insuficiente para garantir a estabilidade de preferências em domínios não vistos.
• Rubricas como Interface de Controle: As rubricas não são especificações passivas; são interfaces de controle editáveis que moldam ativamente o comportamento do sistema.
• Risco de Alinhamento: Um ataque simples na camada de avaliação pode corromper todo o pipeline de alinhamento, internalizando comportamentos indesejados nas políticas finais dos modelos.

Conclusão: O trabalho alerta que a comunidade de IA deve tratar o refinamento e a validação de rubricas como componentes críticos e ativos do pipeline de alinhamento, exigindo novas estratégias de defesa que vão além da simples concordância com benchmarks estáticos. O código do projeto está disponível publicamente para reprodução e estudo.