Resumen Técnico: Inferencia Estadística de Membresía (SMI) para la Auditoría Confiable de Modelos Olvidados

1. Declaración del Problema

El Olvido de Máquina (MU) es un mecanismo crítico para hacer cumplir el "derecho al olvido", permitiendo eliminar datos de entrenamiento específicos de un modelo sin volver a entrenarlo desde cero. Un desafío central en este campo es la auditoría: verificar de manera confiable si un modelo ha olvidado verdaderamente los datos especificados.

Los estándares actuales de auditoría dependen predominantemente de los Ataques de Inferencia de Membresía (MIAs). La suposición predominante es que, si un MIA no logra identificar una muestra como miembro, el modelo la ha olvidado con éxito. Los autores argumentan que esta suposición es fundamentalmente defectuosa por dos razones principales:

1. Sesgo de Alineación: Las muestras olvidadas ($F_u$) ocupan un espacio de características distinto tanto de las muestras miembro originales ($F_m$) como de las muestras no miembro genuinas ($F_n$). Mientras que $F_m$ contribuye con gradientes positivos, $F_n$ no contribuye con gradientes y $F_u$ induce gradientes negativos. Los MIAs convencionales asumen que $F_u$ se alinea con $F_n$; sin embargo, la inferencia fallida a menudo resulta de esta desalineación en lugar de un olvido real, lo que conduce a un "olvido ilusorio".
2. Sobrecarga Computacional: Los métodos de auditoría MIA más avanzados (por ejemplo, LiRA, RMIA) requieren entrenar numerosos "modelos sombra" para establecer líneas base, incurriendo en costos computacionales prohibitivos comparables a volver a entrenar el modelo objetivo en sí mismo.

2. Metodología: Inferencia Estadística de Membresía (SMI)

Para abordar el sesgo de alineación y la ineficiencia computacional, los autores proponen la Inferencia Estadística de Membresía (SMI), un marco de auditoría libre de entrenamiento.

Fundamento Teórico

El artículo reformula el problema de auditoría utilizando la teoría del Transporte Óptimo. En lugar de ver el olvido como una tarea de clasificación binaria (miembro frente a no miembro), SMI modela la distribución de características olvidadas $F_u$ como una mezcla convexa de la distribución de miembros $F_m$ y la distribución de no miembros $F_n$:
$$F_u \approx (1 - \rho)F_m + \rho F_n$$
Aquí, $\rho$ representa la proporción de mezcla (o tasa de olvido). El objetivo de la auditoría cambia de entrenar un clasificador a estimar $\rho$. Los autores demuestran mediante la teoría PAC-Bayes (utilizando la divergencia $\chi^2$) que la auditoría basada en MIA sufre de un término de error de alineación inevitable controlado por el desplazamiento de distribución entre los datos de entrenamiento del atacante y los datos olvidados reales.

Variantes Algorítmicas

SMI estima $\rho$ igualando los momentos estadísticos de las distribuciones sin entrenar ningún modelo auxiliar:

1. SMI (Momentos de Bajo Orden):

   • Asume que el modelo de mezcla se mantiene para los dos primeros momentos (media $\mu$ y covarianza $\Sigma$).
   • Deriva una solución de forma cerrada minimizando la discrepancia de la norma de Frobenius entre la covarianza empírica de los datos olvidados y la covarianza predicha por el modelo de mezcla.
   • Resuelve una ecuación cúbica univariada para encontrar el $\rho$ óptimo.

2. SMI-M (Discrepancia de la Media Máxima):

   • Aborda la inestabilidad de la estimación de covarianza en espacios de alta dimensión y distribuciones no gaussianas.
   • Incrusta las distribuciones de características en un Espacio de Hilbert de Núcleo Reproductivo (RKHS) utilizando incrustaciones de media de núcleo.
   • Formula la estimación como un problema de programación cuadrática convexa para minimizar la MMD entre la distribución olvidada y la combinación convexa de las distribuciones de miembros y no miembros.

Cuantificación de la Incertidumbre

A diferencia de los métodos MIA que dependen de modelos sombra para intervalos de confianza, SMI emplea bootstrapping en el conjunto de características de auditoría. Mediante el remuestreo de los datos olvidados y la reestimación de $\rho$, SMI proporciona rangos de referencia (por ejemplo, percentiles del 5 al 95) para cuantificar la fiabilidad del resultado de la auditoría.

3. Contribuciones Clave

• Perspectiva Teórica: El artículo demuestra que la inferencia fallida de membresía no implica un olvido real debido a un "sesgo de alineación" inherente entre las muestras olvidadas y los no miembros. Establece que la auditoría debe medir proporciones de mezcla distributivas en lugar del éxito de la clasificación binaria.
• Marco Libre de Entrenamiento: SMI elimina la necesidad de modelos sombra y del entrenamiento de clasificadores MIA, reduciendo significativamente la sobrecarga computacional.
• Métricas de Fiabilidad: El marco proporciona rangos de referencia basados en bootstrapping, ofreciendo una manera fundamentada para evaluar la confianza de las decisiones de auditoría.
• Superioridad Empírica: Experimentos extensivos demuestran que SMI (particularmente SMI-M) supera consistentemente a las líneas base existentes basadas en MIA (incluyendo LiRA, RMIA, IAM y RULI) en precisión de estimación a través de diversos conjuntos de datos (CIFAR-10/100, CINIC-10) y arquitecturas de modelos (ResNet, ViT).

4. Resultados Experimentales

Los autores evaluaron SMI frente a siete líneas base basadas en MIA en configuraciones de caja blanca:

• Precisión: SMI-M logró la mayor precisión de estimación ($\rho^*$) en todos los conjuntos de datos, superando a menudo el 90% de precisión en escenarios de olvido completo (objetivos de reentrenamiento), mientras que los métodos MIA mostraron una variación significativa y una menor precisión.
• Eficiencia: Las variantes de SMI requirieron solo un pase de inferencia (más bootstrapping) y ningún entrenamiento de modelo sombra. En contraste, las líneas base MIA requirieron entrenar de 8 a 64 modelos sombra, resultando en costos computacionales órdenes de magnitud más altos que SMI.
• Robustez: SMI-M se mantuvo estable bajo variaciones en las elecciones de núcleo y anchos de banda. El método demostró un rendimiento confiable con tan solo 20 muestras por clase, aunque el rendimiento mejoró con conjuntos de auditoría más grandes.
• Escenarios Prácticos: Al aplicarse a métodos de olvido aproximado (FineTune, Fisher, Scrub), SMI diferenció con éxito entre diversos niveles de olvido, identificando a Scrub como el método aproximado más efectivo entre los probados.

5. Significado y Afirmaciones

El artículo posiciona a SMI como una alternativa fundamentada y eficiente a la auditoría basada en MIA. Su significado radica en:

1. Corregir un Defecto Fundamental: Cuestiona la dependencia de la comunidad de MIA para la verificación del olvido, demostrando que la heurística "ataque fallido = olvidado" es estructuralmente insostenible.
2. Escalabilidad: Al eliminar la dependencia de modelos sombra, SMI hace viable la auditoría confiable para modelos a gran escala donde entrenar modelos sombra es computacionalmente prohibitivo.
3. Garantías Teóricas: El método se basa en cotas PAC-Bayes y teoría de transporte óptimo, proporcionando una base matemática rigurosa para auditar el rendimiento del olvido.

Los autores concluyen que SMI establece un nuevo estándar para la auditoría de modelos olvidados, ofreciendo tanto garantías teóricas como un rendimiento empírico sólido sin la carga computacional de enfoques anteriores.