Shape of Memory: a Geometric Analysis of Machine Unlearning in Second-Order Optimizers

Resumen Técnico: La Forma de la Memoria (Análisis Geométrico del Machine Unlearning en Optimizadores de Segundo Orden)

1. El Problema: La Insuficiencia de las Definiciones Actuales

El objetivo del machine unlearning (desaprendizaje automático) es eliminar la influencia de datos específicos de un modelo entrenado para garantizar la privacidad. Actualmente, la mayoría de las definiciones de "desaprendizaje exitoso" se centran en el primer orden: se considera que el desaprendizaje es exitoso si los parámetros del modelo ($\mathbf{w}$) son indistinguibles de un modelo que nunca vio esos datos.

Sin embargo, este enfoque ignora los optimizadores de segundo orden (como el Online Newton Step o ONS). Estos algoritmos mantienen un estado auxiliar ($\mathbf{A}_t$), una matriz que codifica la curvatura de la superficie de pérdida y la trayectoria histórica de los datos. El problema planteado es que, aunque los parámetros ($\mathbf{w}$) parezcan correctos tras una eliminación de datos, la "memoria geométrica" contenida en el estado del optimizador ($\mathbf{A}_t$) puede retener información residual de los datos borrados, lo que invalida la garantía de privacidad.

2. Metodología

El estudio utiliza un entorno de Optimización Convexa Online (OCO) bajo ataques de eliminación adversaria. Se comparan dos modelos:

• Línea base (Primer Orden): Online Gradient Descent (OGD), que no posee estado auxiliar más allá de los parámetros.
• Modelo de estudio (Segundo Orden): Online Newton Step (ONS), que mantiene una matriz de precondicionamiento que actúa como memoria de la curvatura.

Diseño Experimental:
Se simulan episodios de aprendizaje con flujos de datos estacionarios y con deriva (drifting). En el tiempo $\tau = 200$, se solicita la eliminación de 10 observaciones. Para intentar "limpiar" la memoria del optimizador de segundo orden, el autor aplica dos tipos de intervenciones espectrales en la matriz $\mathbf{A}_t$:

1. Partial Reset (Reinicio Parcial): Resta un valor constante $\alpha$ a los autovalores de la matriz.
2. Eigenvalue Decay (Decaimiento de Autovalores): Escala el espectro de la matriz por un factor $\beta$.

El éxito se mide comparando la trayectoria del modelo "desaprendido" con una trayectoria contrafactual (el modelo ideal que nunca vio los datos eliminados), utilizando métricas como el regret (arrepentimiento), el error de seguimiento (tracking error) y la volatilidad del estado.

3. Contribuciones Clave

• Identificación de la "Histeresis Geométrica": El artículo demuestra que el desaprendizaje en segundo orden no es solo un problema de rendimiento (qué tan bien predice el modelo), sino un problema de alineación de estados (qué tan cerca está la geometría interna del modelo del ideal).
• Detección de Información Residual: Propone que la información no eliminada persiste como volatilidad en el estado del optimizador, algo que las métricas de primer orden (basadas solo en parámetros) no pueden detectar.
• Crítica a la Certificación de Privacidad: Argumenta que las certificaciones actuales de desaprendizaje son "subespecificadas" para optimizadores con estado, ya que pueden dar una falsa sensación de seguridad.

4. Resultados Principales

• Recuperación de Rendimiento vs. Estado: El ONS muestra una recuperación casi inmediata en términos de regret (rendimiento predictivo), lo que podría engañar a un analista. Sin embargo, el error de seguimiento de los parámetros y la volatilidad de la similitud de coseno del estado muestran que el modelo sigue una trayectoria distinta a la contrafactual.
• Efecto de las Intervenciones: Las intervenciones espectrales modifican la geometría del optimizador pero no necesariamente restauran la trayectoria ideal. Las intervenciones agresivas (como un decaimiento alto de autovalores) aumentan la discontinuidad geométrica.
• Persistencia de la Memoria: Los diagnósticos espectrales revelan que, tras la eliminación, el número de condición y la alineación del estado presentan discontinuidades significativas, confirmando que la "forma" de la memoria persiste a pesar de que el modelo siga siendo funcional.

5. Significancia y Conclusiones

El trabajo tiene implicaciones profundas para la privacidad de datos y la regulación (como el GDPR). Si un optimizador de segundo orden retiene la "huella geométrica" de un usuario eliminado, el desaprendizaje no es completo desde una perspectiva de seguridad de la información.

El autor concluye que el desaprendizaje efectivo en sistemas avanzados requiere un control de la memoria del optimizador (borrar la geometría) y no simplemente una perturbación de los parámetros del modelo. Abre una nueva línea de investigación hacia el desarrollo de métodos de desaprendizaje certificados para optimizadores de alto orden y entornos de aprendizaje continuo.