Resumo Técnico: O que os Detectores de Conformidade Leem? Uma Auditoria de Sondas de Ativação e Modelos de Guarda

Declaração do Problema

A implantação de modelos de linguagem em setores regulamentados (proteção de dados, saúde, finanças) depende cada vez mais de "modelos de guarda" (guard models) e sondas de ativação para monitorar saídas em relação a regras regulatórias escritas. A premissa fundamental é que esses detectores verificam a conformidade ao raciocinar sobre a relação entre um cenário específico e uma regra governante.

O artigo identifica um modo de falha crítico denominado cegueira de regra (rule blindness): o veredito de detecção depende de características superficiais do cenário (ex: a presença de um sinal de violação) em vez da regra específica fornecida. Os autores demonstram que deletar, permutar ou substituir a regra governante deixa a precisão de detecção inalterada para cada modelo de guarda e sonda de ativação testados. Isso implica que o monitoramento de conformidade atual oferece apenas a aparência de garantia específica à regra, pois os detectores não conseguem distinguir um cenário da regra que o governa.

Metodologia

A Pontuação de Conformidade Interna (ICS)

Para auditar esses sistemas em escala sem o custo computacional de retreinamento, os autores introduzem a Pontuação de Conformidade Interna (ICS - Internal Compliance Score).

• Mecanismo: O ICS é uma leitura de ativação livre de treinamento. Ele computa uma direção de "diferença de médias" ($\hat{d}_\ell$) no fluxo residual de um modelo monitorado usando um pequeno conjunto de calibração (tipicamente 10 pares rotulados de textos aderentes e violadores).
• Pontuação: Para um novo caso, a pontuação é um único produto escalar entre a ativação do último token na camada-$\ell$ e a direção calibrada: $ICS_\ell(x) = \langle a_\ell(x), \hat{d}_\ell \rangle$.
• Eficiência: Não requer passos de gradiente, não exige passagens adicionais de forward (se as ativações forem retidas) e requer dados rotulados mínimos (10 pares por domínio). É projetado para ser recalibrado instantaneamente quando o modelo monitorado é ajustado (fine-tuned).

Estrutura de Avaliação

O artigo emprega um protocolo de avaliação rigoroso para distinguir o raciocínio genuinamente condicionado à regra de atalhos de nível superficial:

1. Ablação de Resultado: Remover o texto explícito do "veredito" das entradas de referência para garantir que os detectores não estejam simplesmente lendo a resposta.
2. Pisos Lexicais: Estabelecer linhas de base usando modelos de sacola de palavras (bag-of-words) cegos à política (TF-IDF) para determinar se um benchmark é "degenerado" (resolvível sem ler a regra).
3. Intervenções Contrafatuais:
   • Ablação de Regra: Deletar, embaralhar ou trocar o texto da regra para testar se o veredito do detector muda.
   • Benchmark Cruzado: Um benchmark construído especificamente onde duas regras e dois cenários são cruzados de tal forma que nem a regra nem o cenário sozinhos predizem o rótulo. Isso remove confusões como a polaridade da regra (permissiva vs. proibitiva).
4. Nulos com Orçamento Correspondente: Comparar detectores contra direções aleatórias selecionadas através do mesmo processo de busca de camadas para contabilizar o viés de seleção.

Principais Contribuições

1. Método (ICS): Uma leitura de ativação de primeira parte e livre de treinamento que pontua o risco de conformidade diretamente das ativações do modelo monitorado. É calibrado a partir de um pequeno conjunto de pares e pontuado via uma única projeção.
2. Avaliação (Auditoria de Benchmarks): Os autores auditam 13 benchmarks de conformidade públicos. Eles descobrem que quatro de sete são "lexicalmente degenerados", o que significa que um modelo simples de sacola de palavras pode resolvê-los sem ler a regra, tornando-os incapazes de adjudicar reiv beenções condicionadas à regra.
3. Caracterização (Cegueira de Regra): Através de testes contrafatuais, o artigo prova que o ICS e todos os detectores testados (incluindo guardas condicionados por política como LPG e Llama Guard 3) são cegos à regra.
   • Deletar a regra altera a precisão em $<0,003$.
   • Trocar uma regra violada por sua contraparte permissiva altera o veredito de um guarda condicionado por política em apenas ~7% dos casos, apesar de o guarda citar corretamente a posição da regra em 91–95% das vezes.
   • No benchmark cruzado, todos os detectores eficientes (sondas e guardas) performam ao nível do acaso (AUROC ~0,50). Apenas um modelo que permite o raciocínio passo a passo (Cadeia de Pensamento/Chain-of-Thought) resolve a tarefa.
4. Aplicação (Seleção de Candidatos): Embora o ICS não possa adjudicar regras, ele é útil para classificação (ranking). A seleção de respostas candidatas guiada pelo ICS melhora as taxas de passagem verificadas mecanicamente no IFEval em +5,2 pontos percentuais e na conformidade de aconselhamento regulatório em +11,5 pontos sobre a seleção aleatória. No entanto, esse ganho não é robusto a ataques white-box adaptativos.

Principais Resultados

• A Cegueira de Regra é Universal: A falha em ler a relação regra-cenário não é um artefato de um modelo ou benchmark específico. Afeta:
  • Guardas de taxonomia fixa (ex: Llama Guard 3) que nunca veem a regra.
  • Guardas condicionados por política (ex: LPG) que recebem explicitamente a regra via um canal customizado, mas ainda assim falham em condicionar seu veredito a ela.
  • Sondas de ativação (incluindo ICS e SIREN).
• Limites de Generalização: O ICS generaliza bem dentro de uma família de tarefas (ex: de um domínio de conformidade para outro), mas colapsa para o nível do acaso ao transferir entre famílias (ex: de conformidade para segurança de dados).
• Custo vs. Precisão: O ICS alcança um AUROC competitivo intra-domínio (0,952) com zero parâmetros treinados e custo de inferência negligenciável. No entanto, sua vantagem sobre um modelo de sacola de palavras desaparece quando ambos são avaliados contra seus respectivos nulos com orçamento correspondente, indicando que o sinal é amplamente estrutural ou lexical, em vez de um raciocínio semântico profundo.
• Vulnerabilidade Adversária: O ganho de seleção proporcionado pelo ICS é removido por um ataque white-box adaptativo (GCG) que otimiza um sufixo contra a direção do ICS.

Significância e Alegações

O artigo afirma que os atuais sistemas de monitoramento de conformidade, incluindo tanto os modelos de guarda implantados quanto as sondas de ativação, não leem as regras que deveriam aplicar. Em vez disso, eles detectam um "sinal de violação" amplo ou um "registro de conformidade" que é independente da cláusula governante específica.

• Alegações Modestas sobre Precisão: Os autores não alegam que o ICS é um adjudicador superior. Eles afirmam explicitamente que o ICS é uma "direção ampla de risco de conformidade" em vez de uma "direção de adjudicação específica de regra". Seu valor reside em sua eficiência de custo (livre de treinamento, reajustável) e em sua capacidade de classificar candidatos, não em sua capacidade de fazer julgamentos finais de conformidade.
• Valor de Auditoria: A principal contribuição é o protocolo contrafatual (incluindo o benchmark cruzado) que fornece um teste necessário para futuras alegações de raciocínio condicionado à regra. O artigo demonstra que, sem tais testes, a alta precisão em benchmarks padrão é provavelmente um artefato de degeneração do conjunto de dados.
• Utilidade Prática: O ICS é apresentado como uma ferramenta útil para triagem e classificação de candidatos em cenários não adversários, onde pode recuperar uma fração significativa do "headroom do oráculo" (a lacuna entre a seleção aleatória e a melhor seleção possível). No entanto, não é robusto o suficiente para aplicação adversária autônoma.

Em resumo, o artigo argumenta que o campo do monitoramento de conformidade superestimou as capacidades de raciocínio dos detectores atuais. O fenômeno da "cegueira de regra" sugere que os detectores estão rastreando a presença de um cenário de violação, em vez da lógica da regra, necessitando de uma mudança em direção a padrões de avaliação contrafatuais mais rigorosos.