Resumen Técnico: Sobre la Importancia de Múltiples Semillas de Entrenamiento para Evaluar el Desaprendizaje de Máquinas

Planteamiento del Problema

El desaprendizaje de máquinas (machine unlearning) tiene como objetivo eliminar la influencia de puntos de datos específicos de un modelo entrenado sin el costo prohibitivo del reentrenamiento completo. Si bien el desaprendizaje exacto (reentrenamiento desde cero) es el "estándar de oro", a menudo es infactible. En consecuencia, los investigadores dependen de algoritmos de desaprendizaje aproximados (por ejemplo, Random Labels, UNSIR, Bad Teacher, SSD, LFSSD). Debido a que estos algoritmos suelen ser difíciles de analizar matemáticamente, su rendimiento debe evaluarse empíricamente.

Una práctica prevalente en la literatura es evaluar estos métodos de desaprendizaje ejecutando el algoritmo de desaprendizaje múltiples veces de forma independiente (usando múltiples semillas de desaprendizaje) partiendo de un único modelo preentrenado (usando una única semilla de entrenamiento). Este artículo argumenta que esta estrategia de evaluación es defectuosa. Específicamente, el rendimiento del desaprendizaje puede ser altamente sensible a la semilla de entrenamiento inicial. Depender de una única semilla de entrenamiento puede generar resultados no representativos, lo que conduce a conclusiones poco fiables sobre la eficacia o robustez de un algoritmo. Este problema es particularmente agudo para los métodos de desaprendizaje deterministas, que producen resultados idénticos cuando se parte de la misma semilla, haciendo que las múltiples semillas de desaprendizaje sean redundantes en tales casos.

Metodología

Los autores proponen un marco de evaluación empírica riguroso que tiene en cuenta la variabilidad tanto en la fase de entrenamiento como en la fase de desaprendizaje.

1. Procedimiento de Evaluación Genérico

El artículo formaliza un procedimiento de evaluación (Algoritmo 1) que involucra:

• $I$ Semillas de Entrenamiento: Entrenar $I$ modelos independientes desde cero utilizando distintas semillas aleatorias.
• $J$ Semillas de Desaprendizaje: Para cada modelo entrenado, ejecutar el algoritmo de desaprendizaje $J$ veces utilizando distintas semillas de desaprendizaje.
• Agregación de Métricas: Calcular el valor promedio de las métricas de desaprendizaje (por ejemplo, precisión de olvido, precisión de retención) a través de todos los $I \times J$ modelos resultantes.

2. Análisis de Descomposición de Varianza

La contribución teórica central es una descomposición de la varianza de la métrica de desaprendizaje $Z$:
$$\text{Var}[Z] = \frac{1}{I} \left( \sigma^2_{\text{train}} + \frac{1}{J} \sigma^2_{\text{unlearn}} \right)$$
Donde:

• $\sigma^2_{\text{train}}$ es la varianza atribuible a la elección de la semilla de entrenamiento.
• $\sigma^2_{\text{unlearn}}$ es la varianza atribuible a la elección de la semilla de desaprendizaje.
• El $ICC$ (Coeficiente de Correlación Intraclase) se define como $\sigma^2_{\text{train}} / \sigma^2_{\text{overall}}$.

El análisis demuestra que si $\sigma^2_{\text{train}} > 0$ (es decir, $ICC > 0$), aumentar el número de semillas de desaprendizaje ($J$) no puede estimar consistentemente el rendimiento del desaprendizaje; se debe aumentar el número de semillas de entrenamiento ($I$). El artículo deriva estrategias de asignación óptimas para presupuestos computacionales con el fin de minimizar la varianza o alcanzar un ancho de intervalo de confianza objetivo, mostrando que priorizar $I$ es generalmente más efectivo que priorizar $J$ cuando la varianza de entrenamiento es significativa.

3. Correcciones de Implementación

Los autores identificaron y corrigieron un problema de implementación en el código de referencia para SSD y LFSSD. La implementación original utilizaba el promedio por lotes antes de elevar al cuadrado, lo que sesgaba las puntuaciones de importancia de los parámetros e introducía no determinismo entre las semillas de desaprendizaje. Los autores introdujeron una versión "determinista" (det.) que utiliza el cálculo de importancia a nivel de muestra no sesgado, asegurando que estos métodos produzcan resultados idénticos para una semilla de entrenamiento fija.

Resultados Experimentales

Los autores realizaron experimentos extensos en tres dominios: Clasificación de Imágenes, Aprendizaje Federado de Clasificación de Información (Federated Online Learning-to-Rank o FOLTR) y Modelos de Lenguaje Extensos (LLMs).

Clasificación de Imágenes (CIFAR-100, CIFAR-20)

• Análisis de Varianza: Utilizando 75 semillas de entrenamiento y 10 semillas de desaprendizaje, el estudio encontró que para la mayoría de los métodos (incluyendo SSD, LFSSD, Bad Teacher y UNSIR), la varianza atribuible a las semillas de entrenamiento ($\sigma^2_{\text{train}}$) era significativamente mayor que la varianza de las semillas de desaprendizaje ($\sigma^2_{\text{unlearn}}$).
• Métodos Deterministas: Para las implementaciones corregidas de SSD (det.) y LFSSD (det.), $\sigma^2_{\text{unlearn}}$ era efectivamente cero, confirmando que múltiples semillas de desaprendizaje no proporcionan información adicional si la semilla de entrenamiento es fija.
• Intervalos de Confianza: Los cálculos basados en la Ecuación 2 indican que lograr intervalos de confianza estrechos (por ejemplo, ancho $W=1$) a menudo requiere cientos o miles de semillas de entrenamiento, mientras que aumentar las semillas de desaprendizaje ofrece rendimientos decrecientes.

Aprendizaje Federado de Clasificación de Información (FOLTR)

• Los experimentos en el conjunto de datos MQ2007 con 10 clientes mostraron que la evaluación con una sola semilla de entrenamiento ($I=1, J=10$) produjo trayectorias que no eran representativas de la verdadera variabilidad entre semillas.
• La evaluación a través de múltiples semillas de entrenamiento ($I=10, J=1$) reveló una varianza sustancialmente mayor en el rendimiento post-desaprendizaje, confirmando que el problema se extiende a las tareas de clasificación federada.

Modelos de Lenguaje Extensos (LLMs)

• Utilizando Llama-3.2-1B-Instruct en el conjunto de datos TOFU, el estudio observó una varianza sustancial entre semillas tanto en la Utilidad del Modelo como en la Calidad del Olvido para métodos como GradAscent y Runlearning.
• Las semillas de entrenamiento individuales abarcaban casi todo el rango de resultados posibles, reforzando que las evaluaciones de una sola semilla son insuficientes para caracterizar el comportamiento del desaprendizaje en los LLM.

Contribuciones Clave

1. Demostración Empírica de la Sensibilidad de la Semilla de Entrenamiento: El artículo demuestra numéricamente que las evaluaciones de una sola semilla de entrenamiento pueden producir resultados no representativos en la clasificación de imágenes, un hallazgo que se extiende a FOLTR y LLMs.
2. Justificación Teórica: Proporciona un análisis de descomposición de la varianza que demuestra que aumentar las semillas de desaprendizaje no puede compensar la falta de semillas de entrenamiento cuando $\sigma^2_{\text{train}} > 0$.
3. Guía Práctica: Los autores proporcionan fórmulas y tablas (Tablas 1 y 2) para guiar a los investigadores en la asignación de recursos computacionales entre las repeticiones de entrenamiento y desaprendizaje para lograr la confianza estadística deseada.
4. Correcciones de Implementación: El artículo corrige el comportamiento no determinista en las implementaciones de referencia de SSD y LFSSD, distinguiendo entre las versiones originales ("orig.") y las versiones actualizadas deterministas ("det.").

Significancia y Afirmaciones

El artículo afirma que la práctica común de usar una sola semilla de entrenamiento con múltiples semillas de desaprendizaje conduce a evaluaciones poco fiables de los métodos de desaprendizaje de máquinas. Los autores sostienen que:

• Fiabilidad: Una evaluación precisa requiere el promedio a través de múltiples semillas de entrenamiento, ya que la variabilidad introducida por la inicialización del entrenamiento suele dominar la variabilidad introducida por el proceso de desaprendizaje.
• Generalizabilidad: Esta limitación no es específica de la clasificación de imágenes, sino que es una propiedad general del marco de evaluación, observada en el aprendizaje federado y en los LLM.
• Factibilidad: A pesar del alto costo de entrenamiento, el uso de múltiples semillas de entrenamiento sigue siendo factible incluso para los LLM (por ejemplo, entrenar un modelo Llama-3.2-1B toma aproximadamente diez minutos), lo que hace que la evaluación rigurosa propuesta sea práctica.

El trabajo extiende los hallazgos previos (por ejemplo, Cadet et al., Triantafillou et al.) al aumentar la escala de las semillas de entrenamiento utilizadas (75 frente a 10), explicando explícitamente por qué las múltiples semillas de desaprendizaje no logran compensar las semillas de entrenamiento únicas, y proporcionando directrices concretas para el diseño experimental.