Resumen Técnico: Certificado en la Teoría, Roto en la Práctica

Planteamiento del Problema

El artículo aborda una vulnerabilidad crítica en los protocolos de Certificación de Modelos Criptográficos (CMC, por sus siglas en inglés) utilizados para la auditoría de aprendizaje automático preservadora de la privacidad. Si bien los marcos de CMC existentes utilizan pruebas de conocimiento cero (ZKP) y compromisos criptográficos para verificar las propiedades del modelo (por ejemplo, precisión, equidad, privacidad diferencial) sin revelar los componentes internos del modelo o los datos de entrenamiento, sufren de una brecha de suposición fundamental.

Las definiciones de seguridad actuales suelen certificar que un modelo satisface una propiedad $f$ en un conjunto de datos de auditoría fijo $S_{audit}$. Sin embargo, no logran garantizar que esta propiedad se generalice a la distribución de datos subyacente $D$ de la cual se extrajo $S_{audit}$. Los autores argumentan que si el proveedor del modelo (probador) conoce el conjunto de datos de auditoría antes de comprometerse con su modelo, puede llevar a cabo ataques de falsificación de datos. Al diseñar cuidadosamente los datos de entrenamiento, un proveedor malicioso puede producir un modelo que supere la auditoría criptográfica (exhibiendo un comportamiento "benigno" en $S_{audit}$) mientras exhibe un comportamiento "patológico" en muestras frescas de la misma distribución $D$. Esto crea una falsa sensación de seguridad, permitiendo el despliegue de modelos que fallan en cumplir sus garantías previstas en escenarios del mundo real.

Metodología

1. Modelo de Amenaza y Juego de Ataque

Los autores formalizan un modelo de amenaza que involucra a un proveedor de modelos malicioso (probador) y un auditor honesto pero curioso (verificador). Introducen un juego de Entrenamiento Adaptativo con Datos de Auditoría Conocidos (Definición 3) para demostrar la vulnerabilidad:

• Configuración: El adversario recibe un conjunto de datos de auditoría $S_{audit} \sim D^\ell$.
• Objetivo: El adversario genera una hipótesis $h$ y datos de entrenamiento $S_{train}$ tales que:
  1. El modelo supera la auditoría: $f(h, S_{train}, S_{audit}) = 1$.
  2. El modelo falla la verdadera propiedad de seguridad en la distribución: $F(h, S_{train}) = 0$.
  3. El modelo satisface un predicado de utilidad $L$ (por ejemplo, maximizar las denegaciones de reclamaciones para un proveedor de seguros).

2. Ataques de Falsificación de Datos

El artículo presenta tres estrategias concretas de falsificación de datos que eluden las defensas criptográficas estándar (ZKP y compromisos) sin alterar el proceso de entrenamiento en sí, sino manipulando los datos de entrada:

• Ataque a la Precisión: Utilizando el Algoritmo 1, el atacante construye un conjunto de entrenamiento $S'_{train}$ que contiene los puntos de auditoría con etiquetas correctas, aumentados por vecinos perturbados en $\epsilon$ etiquetados con la clase opuesta. Al entrenar con estos datos (por ejemplo, usando Árboles de Decisión hasta la homogeneidad de las hojas), el modelo logra una precisión perfecta en $S_{audit}$, pero predice la etiqueta opuesta para cualquier punto fuera del vecindario de $\epsilon$ de los datos de auditoría, lo que resulta en una precisión cercana a cero en el resto de la distribución.
• Ataque a la Equidad: Utilizando el Algoritmo 2, el atacante manipula los atributos sensibles y las etiquetas. En el conjunto de auditoría, las etiquetas se aleatorizan para asegurar la paridad demográfica (aparentando ser equitativo). En el resto de la distribución, el modelo aprende a predecir basándose en atributos sensibles, resultando en una inequidad máxima.
• Ataque a la Privacidad Diferencial (DP): Utilizando el Algoritmo 3, el atacante duplica puntos de datos específicos en el conjunto de entrenamiento. Dado que la sensibilidad de la DP depende del cambio en la salida cuando se modifica un solo registro, duplicar los registros rompe las suposiciones de sensibilidad, permitiendo al atacante entrenar un modelo con garantías de privacidad significativamente peores de las declaradas, mientras sigue pasando una prueba ZKP de "procedimiento de entrenamiento de DP correcto".

3. Evasión Estadística

Los autores demuestran que estos conjuntos de datos falsificados son indistinguibles de los conjuntos de datos honestos bajo pruebas estadísticas estándar. Al añadir suficientes copias de los datos de auditoría al conjunto de entrenamiento, el atacante asegura que los datos de entrenamiento y de auditoría superen la prueba t de Welch y la prueba de Levene (que comprueban la igualdad de medias y varianzas) con alta probabilidad, haciendo que la detección estadística sea ineficaz.

4. Plantilla de CMC Segura

Para mitigar estos ataques, el artículo propone una plantilla de protocolo Comprometer-Muestrear-Probar ($\Pi_{csp}$):

1. Compromiso: El proveedor del modelo primero se compromete con su modelo $h$ (y opcionalmente con sus datos de entrenamiento) utilizando un esquema de compromiso criptográfico.
2. Muestreo: Solo después de que se recibe el compromiso, el auditor muestrea el conjunto de datos de auditoría $S_{audit}$ de la distribución $D$.
3. Prueba: El proveedor y el auditor ejecutan una ZKP para verificar que el modelo comprometido satisface el predicado empírico $f$ en el nuevo $S_{audit}$ muestreado.

Este orden asegura que $S_{audit}$ sea independiente del modelo $h$ y de los datos de entrenamiento, evitando que el proveedor adapte los datos al conjunto de auditoría. Los autores proporcionan definiciones formales para la solidez del conocimiento $\tilde{F}$-relajada, asegurando que si un modelo supera la auditoría, satisface la propiedad deseada $F$ en la distribución (hasta un pequeño error cuantificable derivado de desigualdades de concentración).

Contribuciones Clave

1. Identificación de Vulnerabilidades Dependientes de los Datos: El artículo identifica que los esquemas de CMC existentes son vulnerables a la falsificación de datos cuando el conjunto de datos de auditoría es conocido por el proveedor antes del compromiso del modelo. Esta brecha permite la certificación de modelos que están "rotos en la práctica" a pesar de superar auditorías teóricas.
2. Demostración Empírica de Ataques: A través de experimentos en seis conjuntos de datos de referencia (ej. Adult, COMPAS, German Credit) utilizando Árboles de Decisión, XGBoost y Redes Neuronales, los autores muestran que:
   • Los modelos pueden lograr >99% de precisión en los datos de auditoría mientras caen a <30% en muestras frescas.
   • Los modelos pueden parecer perfectamente equitativos en los datos de auditoría mientras muestran una inequidad casi máxima en el despliegue.
   • Estos ataques eluden la detección por pruebas estadísticas estándar (prueba t de Welch).
3. Estudio de Caso Sistemático: Los autores analizaron nueve trabajos recientes en seguridad y aprendizaje automático (incluyendo zkCNN, Confidential-DPproof y OATH). Encontraron que seis de estos trabajos son al menos parcialmente vulnerables porque utilizan conjuntos de datos públicos para la auditoría o no imponen el compromiso antes de la revelación del conjunto de datos.
4. Marco de Seguridad Formal: El artículo introduce definiciones de seguridad rigurosas adaptadas a la CMC, distinguiendo entre garantías específicas del conjunto de datos y garantías distribucionales. Proporciona una plantilla de protocolo genérico ($\Pi_{csp}$) y demuestra su seguridad bajo supuestos criptográficos estándar, asegurando que las propiedades certificadas se generalicen a la distribución subyacente.

Resultados

• Vulnerabilidad: En el juego de ataque, los adversarios superaron con éxito auditorías que requerían un 99% de precisión mientras lograban solo ~30% de precisión en los datos de prueba. Del mismo modo, los modelos superaron auditorías de equidad con brechas de disparidad casi nulas, pero exhibieron una disparidad casi máxima en las pruebas.
• Indetectabilidad: Los conjuntos de datos de entrenamiento falsificados superaron las pruebas t de Welch y las pruebas de Levene contra el conjunto de datos de auditoría con niveles de significancia de $\alpha=0.05$, demostrando que las comprobaciones estadísticas no pueden distinguir de manera fiable los datos de entrenamiento maliciosos de los honestos en este contexto.
• Restauración de la Seguridad: Se demostró que la plantilla propuesta $\Pi_{csp}$ es compatible con las construcciones de ZKP existentes (por ejemplo, para árboles de decisión y CNN). Al aplicar el orden de "comprometer-luego-muestrear", se restaura la seguridad de estos protocolos, evitando los ataques de falsificación de datos.

Significado y Reivindicaciones

El artículo afirma que sus hallazgos sirven como evidencia de precaución más que como una declaración de que los trabajos criptográficos previos están técnicamente rotos. La afirmación central es que las garantías de seguridad proporcionadas por los marcos de CMC existentes no se alinean con los requisitos prácticos de la auditoría, que exigen que las propiedades certificadas se mantengan en datos frescos de la misma distribución, no solo en un conjunto de datos de auditoría específico.

Los autores enfatizan que:

• Las soluciones de auditoría seguras que utilizan conjuntos de datos públicos conocidos o que reutilizan conjuntos de datos de prueba (donde el proveedor conoce los datos) difícilmente proporcionarán garantías robustas.
• La importancia del muestreo continuo de datos frescos o de los mecanismos criptográficos que oculten los datos de auditoría hasta que el modelo sea comprometido es primordial para una infraestructura de auditoría exitosa.
• Los diseños futuros de auditoría de aprendizaje automático criptográficamente seguras deben abordar explícitamente la brecha entre la certificación específica del conjunto de datos y la generalización distributiva, lo que requiere una comunicación estrecha entre las comunidades de criptografía, seguridad y aprendizaje automático.

El trabajo no pretende resolver todos los desafíos de la auditoría preservadora de la privacidad (por ejemplo, la certificación de DP eficiente sigue siendo difícil debido a la necesidad de generación de datos de entrenamiento confiables), sino que proporciona un marco fundacional y una plantilla de protocolo específica para mitigar las vulnerabilidades de falsificación de datos identificadas.