Resumen Técnico: Auditoría de Privacidad con Cero (0) Ejecuciones de Entrenamiento

1. Declaración del Problema

La auditoría de privacidad es esencial para establecer empíricamente cotas inferiores de los parámetros de privacidad diferencial (PD) de los algoritmos de aprendizaje, complementando las garantías teóricas. Sin embargo, los métodos de auditoría existentes (por ejemplo, Múltiples Ejecuciones y Una Ejecución) dependen del acceso intervencionista al pipeline de entrenamiento. Requieren ya sea reentrenar modelos múltiples veces con inserciones de datos aleatorizadas o ejecutar el algoritmo una vez con indicadores de pertenencia aleatorizados.

Este requisito intervencionista hace que la auditoría sea inviable para modelos base desplegados a gran escala (por ejemplo, Modelos de Lenguaje Grandes) debido a:

• Prohibiciones Computacionales: Reentrenar o reejecutar pipelines de entrenamiento consume miles de días de GPU.
• Barreras Logísticas: El acceso a pipelines de datos internos y la capacidad de aleatorizar la inclusión de datos a menudo no están disponibles en despliegues de caja negra.
• La Brecha de Responsabilidad: Los sistemas que plantean los mayores riesgos de privacidad son los más aislados de la evaluación independiente, forzando la dependencia de la confianza en lugar de la verificación.

Además, un intento ingenuo de auditar sin intervención (utilizando conjuntos de datos estáticos de miembros conocidos y no miembros) falla porque introduce cambios de distribución confusos. Si los conjuntos de datos de miembros y no miembros siguen distribuciones subyacentes diferentes ($P_1 \neq P_0$), un ataque de inferencia de pertenencia (MIA) puede tener éxito explotando estas diferencias distribucionales en lugar de una fuga algorítmica, lo que lleva a falsos positivos y cotas de privacidad inválidas.

2. Metodología: Auditoría de Cero Ejecuciones

Los autores proponen la Auditoría de Cero Ejecuciones, un marco post-hoc que trata la auditoría de privacidad como un problema de inferencia observacional, análogo a la inferencia causal. El marco opera sin modificar el algoritmo ni el pipeline de datos, confiando únicamente en la salida del modelo y dos conjuntos de datos fijos:

1. $D_1$ (Miembros): Un subconjunto de los datos de entrenamiento (o datos de pre-entrenamiento conocidos).
2. $D_0$ (No miembros): Un conjunto de datos conocido por estar excluido del entrenamiento (por ejemplo, datos posteriores al entrenamiento o muestras sintéticas).

El marco procede en cuatro pasos:

1. Observación: El auditor observa la salida del modelo $\theta = A(D_{train})$ y los datos observacionales $\{X_i\} = D_1 \cup D_0$.
2. Inferencia de Pertenencia: Un MIA estándar genera conjeturas brutas $T_i \in \{-1, 0, 1\}$ para cada $X_i$.
3. Estimación de Propensión: El auditor estima una puntuación de propensión $\hat{\pi}(X_i) \approx P(S_i=1 | X_i)$, que representa la probabilidad de que un punto de datos sea un miembro basándose únicamente en sus características. Esto aísla la probabilidad de selección estructural de la señal algorítmica.
4. Corrección: El marco aplica correcciones para desentrañar el cambio de distribución de la fuga algorítmica utilizando dos enfoques complementarios.

Enfoques de Corrección

El artículo formaliza dos métodos para corregir el efecto confuso del cambio de distribución:

• Corrección Global (Composición Adaptativa):

  • Modela la fuga observada como la composición adaptativa de dos mecanismos: un mecanismo de cambio de distribución ($M_{DS}$) y el algoritmo auditado ($A$).
  • Trata la fuga total como $f_{Tot} = f \otimes f_{DS}$, donde $\otimes$ es el producto tensorial de las funciones de compromiso.
  • Resultado: Produce cotas globales conservadoras. Asume una fuga de cambio de distribución en el peor de los casos en todos los puntos de datos, lo que puede llevar a una pérdida de poder estadístico si el cambio es heterogéneo.

• Corrección Condicional (Auditoría Punto a Punto):

  • Condiciona en los ejemplos observados $X_i$. Reconoce que la contribución del cambio de distribución a la inferencia es local, definida por los log-odds $\epsilon_{DS}(x_i) = |\log \pi(x_i) - \log(1-\pi(x_i))|$.
  • Mecanismo de Manipulación: Para evitar la sobreconfianza derivada del cambio de distribución, el marco "manipula" las conjeturas del MIA. Para un ejemplo con una puntuación de propensión altamente desequilibrada (por ejemplo, $\pi(x) \approx 1$), una conjetura correcta es menos indicativa de fuga algorítmica. El marco retiene tales conjeturas con una probabilidad más baja $b_i$, efectivamente aleatorizando la abstención.
  • Resultado: Genera cotas más agudas y dependientes de la instancia que son robustas a los cambios de distribución sin las severas penalizaciones del enfoque global del peor de los casos.

Cuantificación de la Incertidumbre

Dado que las puntuaciones de propensión deben estimarse a partir de datos, el marco incorpora bootstrapping para cuantificar la incertidumbre. Mediante el remuestreo del conjunto de datos de estimación de propensión, el método produce cotas inferiores empíricas que tienen en cuenta el error de estimación, asegurando que la auditoría final permanezca válida con alta probabilidad.

3. Contribuciones Clave

1. Formalización de la Auditoría de Cero Ejecuciones: El artículo define un régimen de auditoría post-hoc donde la pertenencia no se aleatoriza. Demuestra que las auditorías ingenuas en tales datos sobreestiman la fuga y conecta explícitamente este escenario con la inferencia causal observacional, requiriendo un supuesto de "solapamiento" (positividad) entre las distribuciones de miembros y no miembros.
2. Marcos de Corrección de Fugas:
   • Una Perspectiva de Composición que deconvioluciona el cambio de distribución de la fuga algorítmica mediante composición adaptativa.
   • Una Perspectiva Condicional que ajusta las conjeturas de pertenencia punto a punto basándose en puntuaciones de propensión, generando correcciones robustas y dependientes del cambio.
3. Cuantificación de la Incertidumbre: Integración de bootstrapping para proporcionar cotas inferiores estadísticamente válidas que tienen en cuenta los errores en la estimación de puntuaciones de propensión.
4. Escalabilidad: Demostración de que las auditorías de privacidad pueden realizarse en modelos grandes desplegados donde el reentrenamiento es computacional o logísticamente imposible.

4. Resultados Experimentales

Los autores evalúan la auditoría de Cero Ejecuciones en datos sintéticos y puntos de referencia del mundo real (iWildCam):

• Datos Sintéticos: Bajo magnitudes crecientes de cambio de distribución, las auditorías estándar de Una Ejecución (ignorando el cambio) producen cotas inválidas. Las correcciones globales pierden rápidamente poder estadístico debido a las penalizaciones del peor de los casos. En contraste, la corrección condicional consciente de la propensión mantiene cotas empíricas informativas y relativamente planas a través de los niveles de cambio.
• Datos del Mundo Real (iWildCam): En presencia de cambios de distribución naturales severos (geográficos/ambientales), los métodos globales y no conscientes de la propensión producen cotas no positivas (inútiles). La corrección condicional consciente de la propensión extrae con éxito una cota inferior de privacidad válida ($\hat{\mu} = 0.645$) para datos fuera de distribución (OOD), coincidiendo estrechamente con la cota lograda por una división IID ideal ($\hat{\mu} = 0.652$).
• Costo: El enfoque de Cero Ejecuciones incurre en una penalización de aproximadamente $\approx 1$ unidad en la métrica $\mu$-GDP en comparación con la auditoría ideal de Una Ejecución, atribuida al costo de la estimación de puntuaciones de propensión y la cuantificación de la incertidumbre.

5. Significado y Afirmaciones

El artículo afirma que la auditoría de privacidad post-hoc es posible pero debe tratarse como un problema de inferencia observacional. El significado clave radica en:

• Cerrando la Brecha de Responsabilidad: Proporcionar a reguladores e investigadores herramientas para verificar las garantías de privacidad de modelos base sin requerir acceso a la infraestructura de entrenamiento.
• Analogía Causal: Aplicar con éxito principios de inferencia causal (puntuaciones de propensión, ajuste de confusores) al dominio de la auditoría de privacidad.
• Practicidad: Habilitar la evaluación de privacidad en escenarios donde las garantías teóricas son opacas y la reejecución experimental es inviable.

Los autores permanecen modestos, reconociendo limitaciones:

• Estimación de Propensión: El marco depende de una estimación precisa de puntuaciones de propensión, lo cual es un desafío en configuraciones de alta dimensión y muestras finitas.
• Limitaciones Heredadas: La auditoría de Cero Ejecuciones hereda las ineficiencias de muestras finitas de los métodos de Una Ejecución y depende de la fuerza base del MIA subyacente.
• Falsabilidad: Si bien la auditoría es válida, las propias cotas de puntuación de propensión no pueden certificarse formalmente; son falsables computacionalmente mediante pruebas adversarias pero dependen de la validación empírica.

En conclusión, el artículo establece que el cambio de distribución es una fuente distinta de información de pertenencia que debe cuantificarse y corregirse. Al utilizar puntuaciones de propensión, la auditoría de Cero Ejecuciones convierte estos factores confusos en cotas inferiores empíricas válidas sobre la fuga de privacidad algorítmica.