A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation

Resumo Técnico: Um Benchmark de Confiabilidade de Quatro Eixos para LLM-as-Judge em Regulação Baseada em Princípios

Declaração do Problema
Os atuais sistemas de conformidade automatizada em domos de alto risco (finanças, saúde, sistemas autônomos) dependem predominantemente de um paradigma de "baseado em regras", tratando as regulamentações como cláusulas de Horn — predicados binários que são ou satisfeitos ou violados. No entanto, os marcos regulatórios modernos, como o Consumer Duty da FCA do Reino Unido e o COBS 4.5A.3R, utilizam a regulação baseada em princípios. Esses padrões (ex: "justo, claro e não enganoso" ou "entregar bons resultados") são avaliativos e baseados em resultados, resistindo à redução à lógica binária. Uma promoção pode conter todos os avisos necessários e, ainda assim, ser enganosa no conjunto.

Embora os Modelos de Linguagem de Grande Escala (LLMs) estejam sendo cada vez mais implantados como "LLM-as-Judge" (LLM como Juiz) para avaliar esses princípios, eles apresentam lacunas significativas de confiabilidade: são frequentemente opacos, mal calibrados por padrão, carecem de justificativas por exemplo para interrogação regulatória e são vulneráveis ao gaming adversário. O artigo argumenta que, para uma implantação segura, um juiz LLM deve ser avaliado não apenas pela acurácia agregada, mas através de quatro eixos específicos: acurácia, robustez de paráfrase, robustez adversária e calibração.

Metodologia e Contribuições
O artigo introduz duas contribuições primárias para operacionalizar esta avaliação de quatro eixos:

1. Principle-Bench: O primeiro benchmark especificamente projetado para avaliação regulatória baseada em princípios.

   • Escopo: Contém 168 cenários mapeados para dois princípios da FCA do Reino Unido: COBS 4.5A.3R ("justo, claro e não enganoso") e PRIN 2A/FG22–5 Consumer Duty ("entregar bons resultados").
   • Estrutura: O conjunto de dados é dividido em quatro divisões:
     • Original (100): Cenários gerados a partir de resumos preparados pelos autores de materiais públicos da FCA.
     • Paráfrase (30): Reescritas com $\le$ 5 tokens de conteúdo compartilhados com qualquer exemplar.
     • Adversário (28): Entradas com "enchimento de palavras-chave" (keyword-stuffed), onde asserções factuais curtas são inseridas literalmente em promoções substantivamente não conformes para inverter o veredito.
     • Fronteira (10): Casos próximos ao limite (near-threshold).
   • Integridade: A rubrica de avaliação foi pré-registrada (com tag de git) antes de qualquer cenário ser pontuado ou rotulado, garantindo um registro à prova de adulteração.

2. Ceca (Calibrated Exemplar-Cluster Assessment): Uma alternativa de transparência por design em vez de juízes LLM opacos.

   • Mecanismo: O Ceca utiliza um embedder de sentence-transformer plugável para calcular a confiança do cluster bruto com base na média da similaridade de cosseno entre o input e os clusters de exemplares positivos/negativos.
   • Calibração: Os scores brutos são mapeados para uma probabilidade calibrada $s \in [0, 1]$ via Platt scaling em uma divisão de desenvolvimento.
   • Auditabilidade: Como uma função de forma fechada do conjunto de exemplares, o Ceca emite atribuições contrafatuais ($\Delta_e = s - s_{\setminus e}$), mostrando exatamente qual exemplar impulsionou o veredito e como o score mudaria se esse exemplar fosse removido.
   • Cascata: Uma abordagem híbrida onde o Ceca atua como o primário; se sua confiança cair dentro de uma banda de incerteza ajustada, ele delega a um juiz LLM.

Configuração Experimental
O autor avaliou seis métodos através dos quatro eixos:

• Contagem de Palavras-Chave: Uma abordagem determinística de saco de clusters (bag-of-clusters).
• Sentence-Transformers: Três embedders (MiniLM, BGE, Ollama-mxbai).
• LLM-Judge: Um modelo de pesos abertos (gpt-oss:120b) com prompt contendo o texto do princípio e os exemplares.
• Cascata: Palavra-chave como primário com fallback para o juiz LLM.

As métricas incluíram acurácia, F1, AUC, Erro de Calibração Esperada (ECE) e $\kappa$ de Cohen para concordância entre juízes.

Resultados Principais
O estudo constata que nenhum método único domina todos os quatro eixos, revelando um trade-off crítico entre o desempenho em inputs benignos e a robustez contra manipulação adversária.

• Desempenho Benigno: Nos inputs originais (benignos), o juiz LLM e a Cascata superam significativamente os sentence-transformers e a contagem de palavras-chave. Por exemplo, no COBS, o juiz LLM alcançou 0,96 de acurácia contra 0,50 dos embedders.
• Falha do "Teatro de Conformidade": O juiz LLM é altamente suscetível ao gaming adversário. No princípio do Consumer Duty, ao enfrentar inputs com enchimento de palavras-chave, a acurácia do juiz LLM colapsou de 0,74 para 0,27 (uma queda de 47 pontos). O modelo atribuiu crédito excessivo a asserções factuais superficiais inseridas no texto não conforme, efetivamente aprovando a promoção.
• Paradoxo da Robustez Adversária: Contra-intuitivamente, os embedders de sentence-transformer não calibrados foram os mais robustos na divisão adversária do Consumer Duty (0,67 de acurácia). Porque eles não conseguiram "ler" as frases injetadas como evidência semântica, eles foram cegos à manipulação que enganou o LLM.
• Vulnerabilidade do Modelo: A concordância entre juízes ($\kappa$) entre o juiz gpt-oss:120b e um juiz de outra família (kimi-k2.6) colapsou para $\kappa=0,16$ na divisão adversária do Consumer Duty, confirmando que a falha é inerente à arquitetura do modelo e não um artefato do corpus.
• Necessidade de Calibração: As confianças brutas do LLM foram polarizadas (ECE 0,22–0,27). O Platt scaling pós-hoc reduziu o ECE de teste para 0,04–0,10, demonstrando que a calibração é não-opcional para implantação regulatória.
• Auditabilidade: A atribuição contrafatual do Ceca mostrou-se fiel; remover o exemplar com maior atribuição alterou os scores significativamente (10$\times$ o efeito de um exemplar aleatório) e inverteu vereditos em 4% dos inputs, permitindo que reguladores contestassem evidências específicas.

Significância e Alegações
O artigo argumenta que o "juiz LLM mais forte" em benchmarks benignos é frequentemente o mais facilmente manipulável, uma falha de confiabilidade invisível em métricas de acurácia de manchete.

• Requisito de Implantação: Qualquer juiz LLM de nível de implantação para regulação baseada em princípios deve reportar taxas de decepção adversária por princípio e calibração pós-hoc juntamente com a acurácia agregada.
• Auditabilidade: Vereditos devem ser pareados com uma camada de atribuição contestável e auditável (como o Ceca) em vez de racionais narrativos opacos.
• Generalização: A metodologia (rubricas pré-registradas, fundamentação de sementes, suítes de perturbação) é aplicável a outros domos baseados em princípios, como "consentimento informado" na saúde ou "segurança razoável" em veículos autônomos.

O autor conclui que a avaliação de LLM segura e confiável para governança não pode depender apenas da acurácia agregada; ela deve ser fundamentada em evidências de múltiplos eixos que exponham vulnerabilidades à manipulação adversária e à falta de calibração.