Gaming the Metric, Not the Harm: Certifying Safety Audits against Strategic Platform Manipulation

Resumen Técnico: Jugar con la Métrica, No con el Daño

Enunciado del Problema
Los marcos regulatorios recientes, específicamente la Ley de Seguridad en Línea del Reino Unido y la Ley de Servicios Digitales de la UE, dependen cada vez más de métricas escalares como evidencia de cumplimiento en materia de seguridad en línea. Este artículo identifica una vulnerabilidad de seguridad crítica: una vez que una métrica se publica, se convierte en un objetivo de optimización para la plataforma. Una plataforma estratégica puede mejorar su puntuación de seguridad sin reducir el daño real, redirigiendo las recomendaciones a través de variantes de contenido semánticamente equivalentes que reciben puntuaciones más bajas por parte del detector del auditor. Esto constituye una forma de "hackeo de recompensas" o la ley de Goodhart, donde se juega con la métrica en lugar de mitigar el daño subyacente. El artículo aísla la superficie de ataque específica de la elección de representación dentro de la clase bajo un protocolo de auditoría congelado y publicado, preguntando cuándo una métrica de seguridad aún puede certificar un límite superior genuino de la exposición dañina a pesar de dicha manipulación estratégica.

Metodología y Configuración
Los autores modelan la auditoría como un juego entre un auditor y una plataforma.

• Definición del Protocolo: Un protocolo publicado define un conjunto finito de variantes de contenido $\mathcal{V}$ y una familia de transformaciones $T_0$. A través de una regla de validación y un umbral $\rho$, el protocolo induce una partición de $\mathcal{V}$ en clases semánticas $\mathcal{C}$. Las variantes dentro de una clase se consideran semánticamente equivalentes para efectos de auditoría.
• Estrategia de la Plataforma: La plataforma elige una distribución de probabilidad $x$ sobre las variantes para maximizar la utilidad sujeta a una restricción de presupuesto de auditoría ($M(x) \leq \tau$).
• Modelo de Amenaza: La plataforma puede intercambiar variantes dentro de la misma clase semántica (por ejemplo, cambiando un pie de foto, una miniatura o una paráfrasis) para alterar la puntuación medida $m(v)$ mientras mantiene el daño latente $h^*(v)$ constante.
• Evaluación: El artículo emplea un enfoque de verificación multinivel:
  1. Demostraciones Teóricas: Definiciones formales de invarianza ante la manipulación y certificación.
  2. Enumeración Exhaustiva: Verificación de todas las estrategias mixtas en una cuadrícula de estados finitos.
  3. Codificación SMT: Uso de Z3 y cvc5 para verificar propiedades sobre el simplex continuo.
  4. MDP Acotado: Modelado de la auditoría como un proceso de decisión secuencial en PRISM-games.
  5. Pruebas de Estrés Sintéticas: Uso de catálogos deterministas y aleatorios, incluido un ejemplo de protocolo derivado de HateCheck, para medir la "brecha de juego".

Contribuciones Clave

1. Formalización de la Robustez de la Métrica: El artículo formaliza la "invarianza ante la manipulación" (la métrica no debe cambiar si la plataforma intercambia variantes semánticamente equivalentes) y la "certificación" (la métrica debe acotar superiormente la exposición dañina real) como propiedades de seguridad de las métricas de auditoría.
2. Prueba de Fragilidad: Se demuestra que cualquier métrica que puntúe variantes directamente es manipulable si dos variantes equivalentes en una clase dañina tienen puntuaciones diferentes.
3. La Reparación del Sobrecubrimiento Semántico: Los autores proponen un "levantamiento de sobrecubrimiento semántico", donde cada variante en una clase semántica se asigna la puntuación máxima alcanzada por cualquier variante admisible en esa clase ($Env(m)(v) = \max_{u \in cl(v)} m(u)$).
   • Teorema: Este levantamiento es el mínimo puntual único entre todas las reparaciones conservadoras y constantes por clase. Es la solución menos conservadora que restaura la invarianza.
4. Teoremas de Certificación:
   • Caso Ideal: Si las clases son puras en cuanto al daño, la métrica de sobrecubrimiento proporciona un certificado global $H(x) \leq (1/\alpha) M_{Env}(x)$, donde $\alpha$ es el máximo de puntuaciones mínimas a través de las clases dañinas.
   • Caso Imperfecto: El marco se extiende a protocolos y anotaciones imperfectos introduciendo un término de "masa de desacuerdo" $\Delta(x)$. El certificado resultante es $H^*(x) \leq (1/\hat{\alpha}) M_{Env}(x) + \bar{\eta}$, donde $\bar{\eta}$ acota el desacuerdo entre el daño latente y las etiquetas auditadas.
5. Sensibilidad del Protocolo: El artículo demuestra que el endurecimiento del protocolo (elevar el umbral de validación) refina la partición semántica, lo que disminuye débilmente la puntuación del sobrecubrimiento punto a punto, permitiendo a los auditores informar un rango de sensibilidad monótono.

Resultados

• Fragilidad de la Puntuación Directa: En experimentos sintéticos, la "métrica frágil" (puntuación directa) permite a las plataformas lograr una exposición dañina real máxima (por ejemplo, $H=1.0$) mientras se mantienen dentro de un presupuesto de auditoría bajo (por ejemplo, $\tau=0.10$).
• Efectividad del Sobrecubrimiento: La métrica de sobrecubrimiento semántico obliga a la plataforma a sustituir hacia contenido benigno para cumplir con el mismo presupuesto. En el estudio de caso determinista, en $\tau=0.10$, la métrica de sobrecubrimiento redujo la exposición dañina real a $0.000$ en comparación con $1.000$ para la métrica frágil.
• Catálogos Aleatorios: En 500 catálogos aleatorios, la "brecha de juego" media (diferencia en el daño real entre estrategias frágiles y de sobrecubrimiento) fue de $0.884$. La métrica frágil permitió consistentemente una mayor utilidad a costa de un daño significativamente mayor.
• Verificación: Todas las consultas SMT y comprobaciones de alcanzabilidad de MDP confirmaron que la métrica de sobrecubrimiento satisface las propiedades de invarianza ante la manipulación y certificación, mientras que la métrica frágil falla en la invarianza.
• Ejemplo HateCheck: Un protocolo derivado del conjunto de pruebas funcionales HateCheck confirmó que la superficie de ataque y la eficacia de la reparación del sobrecubrimiento persisten incluso cuando las clases se basan en taxonomías de referencia del mundo real.

Significado y Afirmaciones
El artículo hace una afirmación modesta pero específica: las métricas de auditoría deben tratarse como objetos de seguridad. Los autores no afirman resolver todo el problema de auditoría de plataformas ni proporcionar una solución desplegable para auditorías a escala de Ofcom o DSA de inmediato. En cambio, argumentan que:

1. Endurecimiento de la Medición: Una simple reparación de "máximo sobre clase" (el sobrecubrimiento semántico) elimina una superficie de ataque bien definida (manipulación dentro de la clase) sin requerir cambios en el clasificador subyacente o renegociación del protocolo.
2. Incertidumbre Explícita: Los errores de anotación y protocolo no deben ser supuestos ocultos, sino que deben aparecer explícitamente como un término de "holgura de desacuerdo" en el certificado de seguridad final.
3. Agnosticismo de Utilidad: Las garantías teóricas se mantienen para todas las estrategias de la plataforma, independientemente de la función de utilidad específica que optimice la plataforma; el modelo de utilidad solo se utiliza en experimentos para seleccionar una mejor respuesta adversaria específica.

El trabajo se posiciona como un paso fundamental en el "endurecimiento de la medición", aislando la superficie de manipulación dentro de la clase y proporcionando una reparación formal y verificable que restaura la invarianza y la certificación. Excluye explícitamente juegos meta más amplios como la negociación de protocolos o la manipulación del lado del usuario, señalando que estos requieren un análisis separado.