Resumen Técnico: Sobre la Fiabilidad de la Evaluación Eficiente de la Vulnerabilidad a Inferencia de Pertenencia

1. Declaración del Problema

Los Ataques de Inferencia de Pertenencia (AIP) son el método empírico estándar para evaluar la fuga de privacidad en los modelos de aprendizaje automático. La vulnerabilidad se mide típicamente mediante la Tasa de Verdaderos Positivos (TVP) a una Tasa de Falsos Positivos (TFP) fija y baja. Sin embargo, estimar de manera fiable la TVP a TFP muy bajas (por ejemplo, $TFP \le 0.01$) requiere un número prohibitivo de modelos objetivo ($M$), ya que $M$ debe satisfacer $M \ge 10/TFP$ para una estimación estable.

Para eludir este costo computacional, los practicantes suelen agregar las puntuaciones de AIP a través de múltiples modelos objetivo y múltiples muestras de datos (concatenación). El artículo identifica dos fallas críticas en este pipeline de evaluación "eficiente":

1. Mala calibración en la evaluación concatenada: Simplemente concatenar puntuaciones de diferentes muestras y aplicar un umbral global único no garantiza una TFP uniforme en las muestras individuales. Esto conduce a TFPs heterogéneas por muestra, lo que hace que la métrica global sea poco fiable para auditar la privacidad diferencial o comparar defensas.
2. Sesgo de población finita en LiRA eficiente: La implementación ampliamente utilizada de "LiRA eficiente" (Carlini et al., 2022) recicla un conjunto finito de modelos sombra. Dado que estos modelos se entrenan en subconjuntos superpuestos de un conjunto de datos finito sin reemplazo, la varianza empírica de los resultados de aprendizaje se subestima. Esto resulta en un sesgo positivo en las estimaciones de vulnerabilidad, haciendo que los modelos parezcan más vulnerables de lo que son en relación con la distribución de datos subyacente.

2. Metodología

Marco Teórico

Los autores enmarcan el AIP como una prueba de hipótesis binaria ($H_0$: muestra $\notin$ conjunto de entrenamiento vs. $H_1$: muestra $\in$ conjunto de entrenamiento). Distinguen entre:

• Vulnerabilidad por muestra: La distinguibilidad de una muestra específica $x$ a través de diferentes resultados de aprendizaje (estocasticidad en el entrenamiento).
• Vulnerabilidad concatenada: Agregar puntuaciones a través de $M$ modelos y $N$ muestras para estimar una vulnerabilidad promedio.

Soluciones Propuestas

A. Post-procesamiento para la Calibración de TFP

Para abordar la mala calibración de las puntuaciones concatenadas, los autores proponen un método de post-procesamiento basado en transformaciones afines de las puntuaciones de AIP (puntuaciones LiRA).

• Suposición: Las distribuciones de entrada/salida para una muestra $x$ pueden aproximarse como Gaussianas: $S^{out}_x \sim \mathcal{N}(\mu_{out,x}, \sigma^2_{out,x})$ y $S^{in}_x \sim \mathcal{N}(\mu_{in,x}, \sigma^2_{in,x})$.
• Transformación: Las puntuaciones se estandarizan utilizando los parámetros de la distribución de salida:
  $$f_x(t) = \text{sign}(\Delta_x) \frac{t - \mu_{out,x}}{\sigma_{out,x}}$$
  donde $\Delta_x = \mu_{in,x} - \mu_{out,x}$.
• Efecto: Bajo esta transformación, la distribución de salida para todas las muestras se convierte en una normal estándar $\mathcal{N}(0, 1)$. Luego se puede aplicar un único umbral global $t_\alpha = \Phi^{-1}(1-\alpha)$ para garantizar que la TFP sea exactamente $\alpha$ para cada muestra (asumiendo varianzas iguales o utilizando la aproximación de la normal estándar).
• Varianzas Desiguales: Incluso si las varianzas difieren ($\sigma_{in,x} \neq \sigma_{out,x}$), la transformación asegura que la distribución de salida sea normal estándar, preservando la calibración de la TFP. Aunque la prueba ya no es la prueba Uniformemente Más Potente (UMP), proporciona un límite inferior calibrado sobre la vulnerabilidad promedio.

B. Corrección de Población Finita (CPF)

Para abordar el sesgo en LiRA eficiente, los autores aplican la teoría clásica de muestreo (Cochran, 1977).

• Observación: Cuando los conjuntos de entrenamiento se muestrean sin reemplazo de un superconjunto finito $D_{full}$ de tamaño $N_+$, la varianza del estimador se reduce por un factor de $(1 - N/N_+)$, donde $N$ es el tamaño del conjunto de entrenamiento.
• Corrección: Las varianzas empíricas estimadas a partir de los modelos sombra deben escalarse hacia arriba por el inverso del factor de Corrección de Población Finita (CPF):
  $$\text{CPF} = 1 - \frac{N}{N_+}$$
  $$\sigma^2_{corregido} \approx \frac{\sigma^2_{empírico}}{\text{CPF}}$$
  Esta corrección alinea la varianza empírica con la varianza esperada de extracciones independientes de la distribución de la población subyacente.

3. Contribuciones Clave

1. Análisis Teórico de la Agregación: El artículo explica las fuentes de aleatoriedad en las evaluaciones de AIP por muestra versus concatenadas, demostrando que un único umbral global induce TFPs heterogéneas por muestra, haciendo que la concatenación ingenua sea poco fiable para la auditoría de baja TFP.
2. Método de Calibración: Se propone un método simple de post-procesamiento para calibrar las TFPs por muestra, permitiendo que las evaluaciones concatenadas informen una TVP promedio en una TFP objetivo bajo suposiciones Gaussianas leves.
3. Identificación del Sesgo de Población Finita: Los autores identifican que las implementaciones de LiRA eficiente sufren de subestimación de la varianza debido al reuso de conjuntos de datos sombra finitos. Proponen una solución basada en CPF para corregir este sesgo.
4. Validación Empírica: Los experimentos en modelos TabPFN entrenados en los conjuntos de datos UCI Adult y Credit demuestran que la concatenación ingenua sobreestima el riesgo de privacidad, mientras que el post-procesamiento propuesto produce estimaciones más estables y bajas. Las simulaciones confirman que la corrección CPF recupera la desviación estándar analítica de los resultados de aprendizaje.

4. Resultados Experimentales

• Comparación de Estrategias: Utilizando modelos TabPFN, los autores compararon la concatenación ingenua, la concatenación post-procesada y el promedio por muestra.
  • Concatenación Ingenua: Produjo consistentemente TVPs más altas, sobreestimando el riesgo porque no tuvo en cuenta las diferencias de varianza por muestra.
  • Concatenación Post-procesada (PP): Produjo estimaciones de TVP más bajas y estables. A medida que aumentaba el número de modelos ($M$), la "TVP Promedio/Muestra" (la verdad fundamental para la agregación por muestra) convergió a la "TVP Concatenada (PP)", validando a PP como un proxy fiable y computacionalmente eficiente.
  • Umbralización: El uso de un umbral analítico basado en $\mathcal{N}(0,1)$ condujo a TVPs infladas para $M$ pequeño. El uso de un umbral de la distribución $t$ de Student proporcionó resultados más precisos para $M \ge 256$.
• Sesgo de Población Finita: En simulaciones analíticas con datos Gaussianos, la desviación estándar empírica ($\sigma_{emp}$) de LiRA eficiente fue consistentemente menor que la desviación estándar analítica ($\sigma_{ana}$). La relación $\sigma_{emp}/\sigma_{ana}$ se concentró alrededor de $\sqrt{\text{CPF}}$. La aplicación de la corrección CPF recuperó con éxito la varianza analítica.

5. Significado y Afirmaciones

El artículo afirma proporcionar un marco más fiable y eficiente para evaluar la vulnerabilidad de AIP, específicamente para la vulnerabilidad promedio en un conjunto de datos a bajas TFPs.

• Fiabilidad: El post-procesamiento propuesto asegura que la TVP informada corresponda a la TFP prevista en todas las muestras, abordando una falla crítica en las prácticas actuales de auditoría "eficiente".
• Eficiencia: El método permite una estimación válida de baja TFP sin requerir el enorme número de modelos objetivo que de otro modo serían necesarios para la calibración por muestra.
• Corrección de Sesgo: La identificación y corrección del sesgo de población finita en LiRA eficiente previene la sobreestimación sistemática de la vulnerabilidad causada por el reuso de conjuntos de datos sombra finitos.

Los autores mantienen una postura modesta, señalando que, aunque la TVP promedio es una métrica útil, puede "diluir" el riesgo de las muestras más vulnerables. Reconocen que identificar y probar las muestras más vulnerables sigue siendo el estándar de oro, pero es prohibitivo desde el punto de vista computacional. Su enfoque ofrece una "alternativa relativamente barata y fácil" para obtener una TVP válida en una TFP conocida, una capacidad previamente no disponible en los pipelines de evaluación eficiente.