Resumo Técnico: Além da Precisão: Invariância de Política como Teste de Confiabilidade para Julgadores de Segurança de LLMs

1. Declaração do Problema

A implantação de Modelos de Linguagem (LLMs) como agentes autônomos em domínios críticos para a segurança (por exemplo, finanças, saúde, execução de código) exige uma avaliação de segurança robusta. Os benchmarks atuais (por exemplo, ASSEBench, R-Judge) dependem do paradigma "LLM-como-Julgador", onde um LLM separado avalia trajetórias de agentes contra políticas de segurança escritas para produzir um veredito binário (SEGURO/INSEGURO). Esses vereditos são tratados como proxies de verdade fundamental para conformidade de segurança.

No entanto, as avaliações existentes focam principalmente na precisão (acordo com rótulos humanos) ou na sensibilidade superficial a prompts (por exemplo, viés de posição, formatação). Elas falham em abordar uma lacuna crítica: Invariância de Política. Um julgador de segurança confiável deve garantir que seu veredito dependa exclusivamente do comportamento do agente e do conteúdo normativo da política, e não de como a política é redigida. Se um julgador alterar seu veredito com base em reescritas sinônimas, reordenação estrutural ou colocação de exceções — sem qualquer mudança no significado normativo subjacente —, as pontuações de segurança resultantes confundem as ações do agente com a engenharia de prompts do avaliador. Este artigo argumenta que, sem invariância de política, as pontuações de segurança são verdades fundamentais não confiáveis.

2. Metodologia: O Framework de Invariância de Política

Os autores operacionalizam a invariância de política em três princípios testáveis e projetam um protocolo de teste de estresse para avaliar quatro julgadores de classe de agente: GPT-5.4-mini, Claude-Haiku-4.5, DeepSeek-V3.2 e Gemini-3-Flash. A avaliação utiliza trajetórias do ASSEBench e R-Judge.

2.1 Três Princípios de Invariância

1. Invariância Semântica da Rubrica (Princípio 1):

   • Objetivo: Os vereditos devem permanecer estáveis sob reescritas certificadamente equivalentes da política.
   • Método: As políticas são transformadas usando três tipos de reescritas certificadamente equivalentes (verificadas por anotadores humanos em seis dimensões deônticas: força, escopo, conjunto de exceções, ônus da prova, regra padrão e limiar implícito):
     • T1 (Sintaxe): Voz passiva/ativa, reordenação de cláusulas.
     • T2 (Lexical): Substituição de sinônimos dentro da mesma família deôntica (por exemplo, "não deve" $\to$ "está proibido de").
     • T4 (Colocação de Exceção): Mover cláusulas de exceção de seções em linha para seções antecipadas.
   • Métrica: Taxa de flip excedente ($\Delta_{flip}$), calculada como a taxa de flip sob reescrita menos a taxa de não determinismo de base (jitter).

2. Invariância de Limiar da Rubrica (Princípio 2):

   • Objetivo: Os vereditos devem mudar direcional e proporcionalmente quando o limiar normativo da política é intencionalmente deslocado.
   • Método: Pares de políticas são criados onde um é Rigoroso (por exemplo, "não deve", "qualquer violação") e o outro é Permissivo (por exemplo, "deve evitar", "violações claras e significativas").
   • Métrica: Razão Direcional ($R_{dir}$). Um julgador confiável deve inverter predominantemente de INSEGURO (rigoroso) para SEGURO (permissivo), com flips reversos próximos de zero.

3. Calibração Consciente de Ambiguidade (Princípio 3):

   • Objetivo: A instabilidade deve estar concentrada em casos genuinamente ambíguos, não em casos claros.
   • Método: Os flips observados são decompostos em:
     • Explicáveis: Flips em itens ambíguos (onde anotadores humanos discordam) ou transformações quase equivalentes.
     • Irracionais: Flips em itens claros (rótulos humanos unânimes) sob transformações certificadamente equivalentes.
   • Métrica: Taxa de Flip Irracional ($U_{rate}$). Qualquer flip em um item claro sob uma reescrita que preserva conteúdo é uma falha de medição.

2.2 Métricas e Relatórios

• Pontuação de Invariância de Política (PIS): Uma métrica composta que resume os três princípios:
  $$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$$
  Onde os pesos são $w_1=0,4$, $w_2=0,3$, $w_3=0,3$ e $S=5$.
• Cartão do Julgador: Um modelo de relatório padronizado que divulga a PIS e as decomposições por princípio, juntamente com métricas tradicionais de precisão.

3. Resultados Principais

O estudo revela que os julgadores de segurança atuais falham na invariância de política de uma maneira específica e prejudicial: eles reagem a deslocamentos normativos significativos e reescritas estruturais sem sentido com força comparável, incapazes de distinguir os dois.

• Falha da Invariância Semântica:

  • Gemini-3-Flash exibiu a maior instabilidade, com um $\Delta_{flip}$ certificado agrupado de 7,6% (subindo para 26,6% quando falhas de análise são imputadas como flips).
  • DeepSeek-V3.2 mostrou uma taxa de flip de 9,1% especificamente sob T4 (Colocação de Exceção), o pior infrator entre três dos quatro modelos.
  • Claude-Haiku-4.5 e GPT-5.4-mini também mostraram instabilidade significativa (3,6% e 1,1% respectivamente, embora as taxas de flip brutas do GPT fossem altas, seu jitter também era alto, reduzindo a taxa de flip excedente).
  • Crucialmente, 18% a 43% de todos os flips observados ocorreram em itens não ambíguos sob reescritas certificadamente equivalentes. Isso indica que uma parte não trivial das pontuações de segurança mede como a rubrica foi redigida, e não o comportamento do agente.

• Sucesso da Invariância de Limiar:

  • Todos os modelos demonstraram sensibilidade direcional quase perfeita a deslocamentos de rigoroso para permissivo ($R_{dir} \approx 1,00$). Mudanças de rigoroso para permissivo inverteram 32% a 71% dos vereditos na direção esperada.
  • Diagnóstico: Os julgadores leem o conteúdo da política, mas não conseguem distinguir entre uma mudança semântica (deslocamento de limiar) e uma mudança sintática (reescrita). Eles tratam ambos como gatilhos igualmente significativos para mudanças de veredito.

• Classificações PIS:

  • GPT-5.4-mini: PIS = 0,70 (Confiabilidade moderada).
  • Claude-Haiku-4.5: PIS = 0,47 (Frágil).
  • DeepSeek-V3.2: PIS = 0,28 (Não confiável).
  • Gemini-3-Flash: PIS = 0,03 a 0,41 (Não confiável a Frágil, dependendo do tratamento de falhas de análise).
  • Isso representa uma dispersão de ordem de magnitude na confiabilidade invisível para os rankings baseados apenas em precisão.

4. Contribuições

1. Framework Conceitual: Formaliza a Invariância de Política como um requisito mínimo para julgadores de segurança de LLMs, distinguindo entre reescritas que preservam conteúdo e deslocamentos normativos.
2. Protocolo de Teste de Estresse: Um protocolo reproduzível usando reescritas certificadamente equivalentes, deslocamentos de limiar e decomposição de ambiguidade para auditar julgadores.
3. Pontuação de Invariância de Política (PIS) e Cartão do Julgador: Ferramentas para quantificar e relatar a confiabilidade do julgador, expondo lacunas que as métricas de precisão ignoram.
4. Evidência Empírica: Demonstra que as pontuações de segurança existentes confundem o comportamento do agente com a formulação de prompts do avaliador, com até 43% dos flips de veredito em casos claros sendo falhas de medição.

5. Significado e Alegações

O artigo alega que a credibilidade da avaliação de segurança de agentes depende não apenas do que o agente fez, mas de se o julgador lê a política de forma estável. Os autores argumentam que:

• Benchmarks Atuais são Defeituosos: Ao tratar vereditos de julgadores como verdade fundamental sem verificar a invariância de política, os benchmarks existentes podem estar classificando modelos com base na sensibilidade a prompts, e não na segurança real.
• Confiabilidade é Multidimensional: Um julgador pode ser preciso em uma rubrica fixa, mas não confiável se seus vereditos flutuarem com base em edições cosméticas da política.
• Melhoria Acionável: O Cartão do Julgador proposto permite que os benchmarks auditem seus próprios avaliadores. Os autores lançam o protocolo e o código para permitir que a comunidade mude a pergunta padrão de "Com que frequência o julgador está certo?" para "O julgador está certo pela razão certa?".

Limitações Reconhecidas pelos Autores:

• O estudo perturba uma única política base padronizada; os resultados podem não escalar linearmente para rubricas de implantação complexas e multicláusula.
• A avaliação foca em modelos pequenos e otimizados para custo; avaliadores de escala de fronteira podem exibir padrões de fragilidade diferentes.
• Os pesos da PIS refletem o prior dos autores sobre os custos de modos de falha, e não uma calibração validada a jusante.
• O framework opera atualmente em trajetórias inteiras, em inglês, com vereditos binários.