Resumen Técnico: RULER – Verificación a Nivel de Representación del Olvido de Máquina

Declaración del Problema

El olvido de máquina (machine unlearning) tiene como objetivo eliminar la influencia de registros de entrenamiento específicos (el conjunto de olvido) de un modelo desplegado sin incurrir en el costo computacional de reentrenar desde cero, preservando al mismo tiempo el rendimiento del modelo en los datos restantes (el conjunto de retención). Los protocolos de evaluación actuales se basan en criterios a nivel de salida:

1. Precisión del Ataque de Inferencia de Membresía (MIA): Debe estar cerca de 0.50 (nivel de azar).
2. Precisión en el conjunto de retención: Debe preservarse.
3. Precisión en el conjunto de olvido: Debe coincidir con un oráculo de reentrenamiento (un modelo entrenado desde cero únicamente sobre el conjunto de retención).

Los autores identifican una limitación crítica en estos protocolos: un modelo puede satisfacer los tres criterios a nivel de salida y, sin embargo, seguir codificando información sobre los registros olvidados en sus representaciones intermedias. Las métricas existentes no examinan cómo un modelo organiza internamente la información sobre registros individuales, lo que potencialmente deja una "falsa sensación de privacidad" donde el modelo se comporta correctamente en las salidas pero conserva trazas estructurales de los datos que debía olvidar.

Metodología: RULER

El artículo introduce RULER (Verificación a Nivel de Representación del Olvido de Máquina), un marco que comprende dos lentes de métricas de verificación basadas en la similitud coseno de la capa penúltima. El marco opera sobre los embeddings $h_\theta(x)$ inmediatamente antes de la cabeza de salida específica de la tarea.

Lente 1: Métricas Comparativas con Oráculo (Requiere un Oráculo de Reentrenamiento)

Estas métricas comparan el modelo olvidado ($\theta_u$) contra un oráculo de reentrenamiento ($\theta_r$) entrenado desde cero sobre el conjunto de retención. Para asegurar que las diferencias representacionales reflejen el procedimiento de olvido y no una inicialización aleatoria, el modelo original ($\theta_o$) y el oráculo ($\theta_r$) comparten la misma semilla aleatoria.

• M1 (Similitud de Comparación con Oráculo): La similitud coseno media entre los registros del conjunto de olvido en $\theta_u$ y $\theta_r$. Aunque se desea una alta similitud, M1 carece de un valor nulo fijo para pruebas de significancia.
• M2 (Brecha de Calibración Firmada): La métrica principal del Lente 1. Calcula la diferencia entre la similitud media de los registros del conjunto de olvido y la similitud mediana de los registros del conjunto de retención entre $\theta_u$ y $\theta_r$.
  • Hipótesis Nula: $M2 = 0$.
  • Interpretación: Los valores negativos indican memorización residual (los registros del conjunto de olvido son menos similares al oráculo que los registros del conjunto de retención). Los valores positivos indican una sobre-corrección. Se utiliza la mediana para la línea base de retención para evitar la inflación por distribuciones sesgadas a la derecha.
• M3 (Desplazamiento de Representación): Mide el cambio en la similitud con el oráculo antes y después del olvido. Los valores positivos indican que el procedimiento de olvido acercó las representaciones al oráculo; los valores negativos indican que se alejaron más.

Lente 2: Métrica Libre de Oráculo (No Requiere Oráculo de Reentrenamiento)

• M4 (Rango Percentil): Esta métrica opera únicamente sobre la geometría interna del modelo olvidado $\theta_u$. Para cada registro de olvido, encuentra al vecino más cercano en el conjunto de retención y mide su similitud coseno. Esta similitud se clasifica luego frente a la distribución de similitudes de vecinos más cercanos entre los propios registros de retención (leave-one-out).
  • Hipótesis Nula: $M4 = 0.50$.
  • Interpretación: Un valor de 0.50 implica que el registro de olvido es geométricamente indistinguible de un registro retenido. Valores $> 0.50$ indican memorización residual (el registro de olvido es demasiado similar al conjunto de retención). Valores $< 0.50$ indican sobre-desplazamiento (el registro ha sido empujado demasiado lejos de la distribución de retención).

Configuración Experimental

• Conjuntos de Datos: Se utilizaron diez conjuntos de datos tabulares de clasificación (por ejemplo, Ingresos Adultos, Cáncer de Mama, Crédito Alemán) como escenario principal. El marco también se aplicó a datos tabulares a gran escala, clasificación de imágenes (CIFAR-10, SVHN, CIFAR-100), texto clínico (MTSamples con Bio_ClinicalBERT) y olvido de identidad facial (LFW).
• Modelos: Un MLP de dos capas ocultas fijo (TabularMLP) para datos tabulares; CNNs y ResNet-18 para imágenes; modelos basados en BERT para texto.
• Métodos de Olvido: Se evaluaron cuatro métodos aproximados: Ascenso de Gradiente, NegGrad+, Ajuste Fino (Fine-Tuning) y SCRUB (basado en destilación). Se incluyó un quinto método, Bad Teacher, para probar la discordancia estructural frente a la específica del método.
• Protocolo: Los experimentos utilizaron 10 conjuntos de datos, 10 semillas de entrenamiento y tres fracciones de olvido ($1\%, 5\%, 10\%$). El análisis estadístico empleó Modelos de Efectos Mixtos Lineales (LMM) con el conjunto de datos como intercepto aleatorio, junto con pruebas de rangos con signo de Wilcoxon.

Resultados Clave

1. Discordancia entre los Niveles de Salida y de Representación

Los cuatro métodos aproximados de olvido aprobaron las evaluaciones estándar a nivel de salida (precisión MIA dentro de $\pm 0.05$ de 0.50, precisión de retención preservada). Sin embargo, M2 detectó residuos estadísticamente significativos en 10 de 12 condiciones ($p < 0.05$).

• Direccionalidad: M2 fue consistentemente negativo en todos los métodos y fracciones de olvido, lo que indica que los registros del conjunto de olvido permanecen más lejos de la representación del oráculo que los registros retenidos.
• Magnitud del Efecto: Las magnitudes del efecto ($r_{rb}$) aumentaron a medida que crecía la fracción de olvido, alcanzando magnitudes grandes ($0.90 - 0.96$) en una fracción de olvido del $10\%$.
• Independencia del Método: Las pruebas post-hoc no mostraron diferencias significativas entre los cuatro métodos en M2, M4 o MIA. La discordancia es una propiedad de la tarea de olvido en sí misma, no de un algoritmo específico.

2. Validación con Bad Teacher

El método Bad Teacher, que utiliza un mecanismo fundamentalmente diferente (entrenar a un estudiante para que coincida con un profesor inicializado aleatoriamente en registros de olvido), también aprobó las verificaciones a nivel de salida pero exhibió valores negativos significativos en M2. Esto confirma que la falla en borrar las representaciones intermedias es una limitación estructural de los enfoques actuales de olvido aproximado, y no un artefacto de técnicas específicas basadas en gradientes o de destilación.

3. Utilidad Diagnóstica de M4

• Datos Tabulares/Generales: M4 mostró rangos medios ligeramente superiores a 0.50, impulsados por conjuntos de datos con memorización detectable (por ejemplo, Cáncer de Mama, Enfermedad Cardíaca).
• Identidad Facial (LFW): En un escenario de identidad facial donde el modelo fue entrenado para clasificación de género pero codificó incidentalmente la identidad, los valores de M4 previos al olvido fueron extremadamente altos ($0.73 - 0.94$), confirmando una fuerte memorización a nivel de identidad. Después del olvido, ningún método borró completamente esta señal; el Ascenso de Gradiente y el Ajuste Fino la dejaron mayormente intacta, mientras que SCRUB causó sobre-desplazamiento en fracciones de olvido bajas.
• Escala Grande/Memorización Débil: En conjuntos de datos tabulares e imágenes a gran escala donde los modelos originales mostraron M4 $\approx 0.50$ (sin memorización detectable), los métodos de olvido a veces introdujeron artefactos (sobre-desplazamiento o desplazamiento), lo que sugiere que el olvido puede degradar la calidad de la representación cuando no es estrictamente necesario.

Significado y Afirmaciones

El artículo afirma que la evaluación a nivel de salida es insuficiente para verificar el olvido de máquina. Un modelo puede satisfacer todos los criterios estándar de privacidad y utilidad mientras retiene trazas medibles de datos olvidados en sus representaciones internas.

• RULER como Herramienta de Verificación: Los autores proponen M2 y M4 como adiciones necesarias al protocolo de evaluación. M2 proporciona una prueba a nivel de población para la memorización residual frente a un oráculo, mientras que M4 sirve como un diagnóstico libre de oráculo tanto para antes del olvido (evaluar si el olvido es necesario) como para después del olvido (detectar un borrado incompleto o sobre-desplazamiento).
• Limitaciones de los Métodos Actuales: El M2 negativo consistente a través de diversos métodos y arquitecturas sugiere que los objetivos actuales de olvido aproximado están optimizados para el comportamiento de salida pero fallan en restringir las representaciones intermedias.
• Alcance Modesto: Los autores declaran explícitamente que estas métricas son herramientas de verificación técnica, no pruebas de cumplimiento legal para el Artículo 17 del GDPR. Caracterizan los residuos representacionales pero no afirman definir la adecuación regulatoria. Además, las métricas dependen de la similitud coseno, que no es invariante a la rotación, lo que hace necesaria la diseño de semillas apareadas para M2.

En conclusión, el artículo demuestra que el "olvido" en el aprendizaje automático es actualmente una ilusión a nivel de salida para muchos métodos aproximados, y que el borrado verdadero requiere verificación a nivel de representación.