Gaming the Metric, Not the Harm: Certifying Safety Audits against Strategic Platform Manipulation

Resumo Técnico: Jogar com a Métrica, Não com o Dano

Declaração do Problema
Os recentes quadros regulatórios, especificamente a Lei de Segurança Online do Reino Unido e o Regulamento de Serviços Digitais da UE, dependem cada vez mais de métricas escalares como evidência de conformidade para a segurança online. Este artigo identifica uma vulnerabilidade de segurança crítica: uma vez que uma métrica é publicada, ela torna-se um objetivo de otimização para a plataforma. Uma plataforma estratégica pode melhorar sua pontuação de segurança sem reduzir o dano real, roteando recomendações através de variantes de conteúdo semanticamente equivalentes que recebem pontuações mais baixas do detector do auditor. Isso constitui uma forma de "hacking de recompensa" ou Lei de Goodhart, onde a métrica é manipulada em vez de o dano subjacente ser mitigado. O artigo isola a superfície de ataque específica da escolha de representação dentro da classe sob um protocolo de auditoria congelado e publicado, questionando quando uma métrica de segurança ainda pode certificar um limite superior genuíno para a exposição a danos, apesar de tal manipulação estratégica.

Metodologia e Configuração
Os autores modelam a auditoria como um jogo entre um auditor e uma plataforma.

• Definição do Protocolo: Um protocolo publicado define um conjunto finito de variantes de conteúdo $\mathcal{V}$ e uma família de transformações $T_0$. Através de uma regra de validação e um limiar $\rho$, o protocolo induz uma partição de $\mathcal{V}$ em classes semânticas $\mathcal{C}$. Variantes dentro de uma classe são consideradas semanticamente equivalentes para fins de auditoria.
• Estratégia da Plataforma: A plataforma escolhe uma distribuição de probabilidade $x$ sobre as variantes para maximizar a utilidade sujeita a uma restrição de orçamento de auditoria ($M(x) \leq \tau$).
• Modelo de Ameaça: A plataforma pode trocar variantes dentro da mesma classe semântica (por exemplo, alterando uma legenda, miniatura ou paráfrase) para alterar a pontuação medida $m(v)$ enquanto mantém o dano latente $h^*(v)$ constante.
• Avaliação: O artigo emprega uma abordagem de verificação multicamada:
  1. Provas Teóricas: Definições formais de invariância à manipulação e certificação.
  2. Enumeração Exaustiva: Verificação de todas as estratégias mistas em uma grade de estados finitos.
  3. Codificação SMT: Uso de Z3 e cvc5 para verificar propriedades sobre o simplex contínuo.
  4. MDP Limitado: Modelagem da auditoria como um processo de decisão sequencial em PRISM-games.
  5. Testes de Estresse Sintéticos: Uso de catálogos determinísticos e aleatórios, incluindo um exemplo de protocolo derivado do HateCheck, para medir a "lacuna de manipulação".

Principais Contribuições

1. Formalização da Robustez da Métrica: O artigo formaliza a "invariância à manipulação" (a métrica não deve mudar se a plataforma trocar variantes semanticamente equivalentes) e a "certificação" (a métrica deve limitar superiormente a exposição real a danos) como propriedades de segurança de métricas de auditoria.
2. Prova de Fragilidade: É provado que qualquer métrica que pontua variantes diretamente é manipulável se duas variantes equivalentes em uma classe nociva tiverem pontuações diferentes.
3. O Reparo do Envelope Semântico: Os autores propõem um "levantamento do envelope semântico", onde cada variante em uma classe semântica recebe a pontuação máxima atingida por qualquer variante admissível naquela classe ($Env(m)(v) = \max_{u \in cl(v)} m(u)$).
   • Teorema: Este levantamento é o mínimo pontual único entre todos os reparos conservadores e constantes por classe. É o reparo menos conservador que restaura a invariância.
4. Teoremas de Certificação:
   • Caso Ideal: Se as classes são puras em termos de dano, a métrica do envelope fornece um certificado global $H(x) \leq (1/\alpha) M_{Env}(x)$, onde $\alpha$ é o máximo de pontuação mínima entre as classes nocivas.
   • Caso Imperfeito: O framework estende-se a protocolos e anotações imperfeitos introduzindo um termo de "massa de discordância" $\Delta(x)$. O certificado resultante é $H^*(x) \leq (1/\hat{\alpha}) M_{Env}(x) + \bar{\eta}$, onde $\bar{\eta}$ limita a discordância entre o dano latente e os rótulos auditados.
5. Sensibilidade do Protocolo: O artigo demonstra que o endurecimento do protocolo (elevando o limiar de validação) refina a partição semântica, o que diminui fracamente a pontuação do envelope ponto a ponto, permitindo que os auditores relatem uma faixa de sensibilidade monótona.

Resultados

• Fragilidade da Pontuação Direta: Em experimentos sintéticos, a "métrica frágil" (pontuação direta) permite que as plataformas alcancem a exposição máxima real a danos (por exemplo, $H=1.0$) enquanto permanecem dentro de um baixo orçamento de auditoria (por exemplo, $\tau=0.10$).
• Eficácia do Envelope: A métrica do envelope semântico força a plataforma a substituir-se por conteúdo benigno para atender ao mesmo orçamento. No estudo de caso determinístico, em $\tau=0.10$, a métrica do envelope reduziu a exposição real a danos para $0.000$ comparado a $1.000$ para a métrica frágil.
• Catálogos Aleatórios: Em 500 catálogos aleatórios, a "lacuna de manipulação" média (diferença no dano real entre estratégias frágeis e de envelope) foi de $0.884$. A métrica frágil consistentemente permitiu maior utilidade ao custo de danos significativamente maiores.
• Verificação: Todas as consultas SMT e verificações de alcançabilidade de MDP confirmaram que a métrica do envelope satisfaz as propriedades de invariância à manipulação e certificação, enquanto a métrica frágil falha na invariância.
• Exemplo HateCheck: Um protocolo derivado do conjunto de testes funcionais HateCheck confirmou que a superfície de ataque e a eficácia do reparo do envelope persistem mesmo quando as classes são fundamentadas em taxonomias de benchmarks do mundo real.

Significado e Alegações
O artigo faz uma alegação modesta, mas específica: as métricas de auditoria devem ser tratadas como objetos de segurança. Os autores não alegam resolver todo o problema de auditoria de plataforma ou fornecer uma solução implantável para auditorias da escala da Ofcom ou do DSA imediatamente. Em vez disso, eles argumentam que:

1. Endurecimento da Medição: Um simples reparo "máximo-sobre-classe" (o envelope semântico) remove uma superfície de ataque bem definida (manipulação dentro da classe) sem exigir alterações no classificador subjacente ou renegociação do protocolo.
2. Incerteza Explícita: Erros de anotação e protocolo não devem ser suposições ocultas, mas devem aparecer explicitamente como um termo de "folga de discordância" no certificado final de segurança.
3. Agnosticismo de Utilidade: As garantias teóricas valem para todas as estratégias da plataforma, independentemente da função de utilidade específica que a plataforma otimiza; o modelo de utilidade é usado apenas nos experimentos para selecionar uma melhor resposta adversária específica.

O trabalho posiciona-se como um passo fundamental no "endurecimento da medição", isolando a superfície de manipulação dentro da classe e fornecendo um reparo formal e verificável que restaura a invariância e a certificação. Ele exclui explicitamente meta-jogos mais amplos, como negociação de protocolos ou manipulação do lado do usuário, observando que estes requerem análise separada.