🔬 materials science

Bounding Retraining Equivalence and the Deletion Floor in Materials Machine Unlearning

Este artículo aborda la ambigüedad de la precisión post-eliminación en el aprendizaje automático de materiales mediante la definición de un "suelo de eliminación" basado en la equivalencia de reentrenamiento, estableciendo límites teóricos que vinculan los suelos de eliminación bajos con la redundancia de los datos retenidos, y demostrando empíricamente que las evaluaciones de desaprendizaje a nivel de solicitud deben informar conjuntamente la pérdida de referencia, el cambio de predicción y la utilidad retenida para distinguir entre un desaprendizaje efectivo y la mera supresión de datos.

Autores originales: Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

Publicado 2026-09-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ciencia de materiales, los investigadores utilizan potentes modelos computacionales para predecir las propiedades de nuevas sustancias antes de que lleguen a construirse en un laboratorio. Estos modelos aprenden de vastas bases de datos de estructuras químicas conocidas, mapeando la disposición de los átomos con resultados como cuánta energía almacena un material o qué tan estable es. Debido a que las leyes de la física son consistentes, muchas fórmulas químicas diferentes pueden producir estructuras cristalinas casi idénticas. Esto crea una redundancia natural en los datos: si se elimina un registro específico de un cristal del conjunto de entrenamiento, el modelo a menudo aún puede predecir sus propiedades con precisión porque ha aprendido los mismos patrones físicos de otros registros muy similares que permanecen. Esto plantea un desafío único para un campo llamado desaprendizaje de máquinas (machine unlearning), que tiene como objetivo hacer que los sistemas de inteligencia artificial "olviden" puntos de datos específicos, a menudo para cumplir con las leyes de privacidad. Si un sistema aún puede predecir un elemento eliminado perfectamente debido a sus vecinos, ¿realmente lo ha olvidado, o simplemente está utilizando un camino diferente para llegar a la misma respuesta?

Un equipo de investigadores se propuso resolver esta ambigüedad definiendo un nuevo estándar para lo que significa el desaprendizaje exitoso de un dato en la ciencia de materiales. Introdujeron un concepto llamado "suelo de eliminación" (deletion floor), que representa el error más bajo posible que un modelo puede tener sobre un elemento eliminado si simplemente se reentrenara desde cero sin dicho elemento. Su trabajo revela que, en muchos casos, el mejor reentrenamiento posible sigue prediciendo el elemento eliminado con alta precisión, simplemente porque los datos restantes son tan similares. Encontraron que el éxito de un intento de desaprendizaje no puede juzgarse solo por la precisión; debe medirse comparando las nuevas predicciones del modelo contra este umbral específico de lo que el reentrenamiento produciría naturalmente.

Los investigadores probaron estas ideas utilizando una colección masiva de más de 44,000 estructuras cristalinas de una base de datos pública conocida como el Materials Project. Se centraron en predecir la energía de formación, una medida de cuánta energía se requiere para construir un cristal a partir de sus elementos. Para entender cómo la redundancia afecta al olvido, primero crearon un experimento controlado con datos sintéticos. Construyeron grupos de elementos casi idénticos, luego eliminaron un miembro de cada grupo y reentrenaron el modelo. Cuando eliminaron un elemento que no tenía parientes cercanos, el error del modelo en ese elemento fue mayor que cuando eliminaron un elemento que tenía parientes similares restantes. De hecho, el error de la mediana cayó casi ocho veces cuando solo quedó un registro similar. Esto demostró que el modelo no estaba realmente "olvidando" el comportamiento físico del cristal eliminado; simplemente estaba apoyándose en sus parientes supervivientes para llenar el vacío.

Para ver si esto se mantenía en escenarios del mundo real, el equipo aplicó sus métodos a miles de estructuras cristalinas reales. Compararon dos formas de entrenar los modelos: una con una configuración más simple y otra con una configuración más compleja que utilizaba muchas más características para describir los cristales. Descubrieron un compromiso sorprendente. El modelo más complejo era generalmente más preciso en general, pero también era mucho más sensible a la eliminación de un solo registro. Cuando se eliminaba un registro, la predicción del modelo complejo para ese elemento específico cambiaba mucho más que la del modelo simple. Sin embargo, paradójicamente, el modelo complejo seguía obteniendo una tasa de error más baja en el elemento eliminado después del reentrenamiento. Esto significa que el modelo era altamente sensible al cambio en sus datos de entrenamiento, pero aun así lograba predecir el valor del elemento eliminado casi perfectamente porque los datos circundantes eran tan informativos.

El estudio también examinó varios métodos para aproximar el proceso de desaprendizaje sin realizar realmente el reentrenamiento desde cero, una tarea que es computacionalmente costosa. Encontraron que algunos métodos lograban aumentar el error en el elemento eliminado específico, pero a menudo a costa de que el modelo fuera peor prediciendo otros elementos no relacionados. Otros mantenían el rendimiento general del modelo alto, pero fallaban en cambiar significativamente la predicción para el elemento eliminado, dejando esencialmente la "memoria" de ese registro intacta. Los investigadores concluyeron que simplemente verificar si un modelo es menos preciso en un elemento eliminado no es suficiente. Un proceso de desaprendizaje exitoso debe ser evaluado observando tres cosas en conjunto: cuánto cambió la predicción para el elemento eliminado, cómo se compara ese cambio con lo que un reentrenamiento completo habría producido, y si se preservó la capacidad del modelo para predecir otros materiales.

Al establecer este "suelo de eliminación", los investigadores proporcionaron un punto de referencia claro para la comunidad científica. Mostraron que en campos como la ciencia de materiales, donde las leyes físicas crean conexiones fuertes entre diferentes puntos de datos, un modelo puede parecer olvidar un registro mientras aún predice dicho elemento con precisión. Esto no es un fallo del proceso de desaprendizaje, sino un reflejo de la física subyacente. El artículo argumenta que las evaluaciones futuras deberían dejar de tratar la precisión post-eliminación como una métrica simple de aprobado o reprobado. En su lugar, deberían reportar el error de base específico dejado por el reentrenamiento, el cambio real en la predicción del modelo y la salud general del modelo. Este enfoque asegura que, cuando se le pide a un sistema que olvide, sepamos exactamente qué ha dejado ir y qué ha conservado, fundamentados en la realidad de los datos en lugar de una noción vaga de privacidad.

Resumen Técnico: El Límite de Reentrenamiento y el Suelo de Eliminación en el Desaprendizaje de Máquinas para Materiales

1. Planteamiento del Problema

En el aprendizaje automático de materiales, los conjuntos de datos mapean composiciones químicas y estructuras cristalinas hacia objetivos termodinámicos (por ejemplo, la energía de formación). Surge un desafío fundamental porque las estructuras retenidas estrechamente relacionadas (debido a sustituciones iónicas que preservan las redes cristalinas) pueden mantener predicciones de propiedades precisas incluso después de que se elimina un registro específico. En consecuencia, las métricas de error de predicción post-eliminación estándar se vuelven ambiguas; un modelo puede parecer que "olvida" un registro simplemente porque los registros relacionados en el conjunto de datos permiten al modelo predecir el objetivo con precisión mediante el reentrenamiento.

Los marcos de evaluación actuales suelen basarse en la comparación de modelos actualizados contra referencias entrenadas sin los registros eliminados. Sin embargo, sin establecer qué predice exactamente el propio reentrenamiento para un objetivo eliminado, la precisión post-eliminación continua no puede servir como una señal definitiva del rendimiento del desaprendizaje. Además, las mediciones simples de la brecha de precisión a menudo entran en conflicto con las puntuaciones de olvido basadas en distribuciones, y los ataques de inferencia de membresía pueden sobreestimar las garantías de privacidad. El problema central es distinguir entre la eliminación de la contribución de entrenamiento de un registro específico y la eliminación del comportamiento físico más amplio representado por dicho registro.

2. Metodología

El Suelo de Eliminación y la Equivalencia de Reentrenamiento

Los autores definen el suelo de eliminación ( $\Phi$ ) como el error esperado del objetivo bajo un procedimiento de reentrenamiento especificado en el punto del registro eliminado. Esto sirve como una referencia base de lo que el propio reentrenamiento predice inherentemente para un objetivo eliminado.

Para evaluar las actualizaciones restringidas por la equivalencia de reentrenamiento, el artículo emplea la equivalencia de reentrenamiento simétrica $(\epsilon, \delta)$ , que requiere que la distribución de salida de un algoritmo de actualización ( $P$ ) sea estadísticamente indistinguible de la distribución reentrenada ( $Q$ ).

Transferencia de Pérdida Acotada Aguda (Teorema 1): Los autores derivan un intervalo agudo que acota la pérdida esperada del objetivo de una actualización en relación con el suelo de eliminación. Este intervalo depende de los parámetros de equivalencia $(\epsilon, \delta)$ y del límite de pérdida $B$ . A medida que $(\epsilon, \delta) \to (0,0)$ , los límites convergen al suelo de eliminación $\Phi$ .
Umbrales de Supresión de Objetivos: El artículo establece condiciones necesarias (Ecuación 1) para que un objetivo de desaprendizaje aumente el error del objetivo a un umbral específico $\tau$ mientras mantiene la equivalencia, cuantificando el "presupuesto de equivalencia" requerido.

Mecanismos de Predictibilidad Retenida

El artículo investiga por qué el reentrenamiento a menudo deja los objetivos eliminados como predecibles:

Límite del Vecino Condicional: Los autores demuestran que si un vecino retenido se ajusta con precisión, las predicciones varían suavemente y las etiquetas se alinean, el ejemplo retenido restringe el error de predicción sobre el objetivo eliminado. Esto vincula el suelo de eliminación directamente con el soporte estructural retenido, el acuerdo de etiquetas locales y la regularidad de la predicción.
FloorScore: Se construye un diagnóstico empírico como un sustituto a nivel de solicitud para el límite teórico, estimando el suelo basado en el ajuste del vecino reteniente más cercano y la variación de la predicción.

Descomposición de Ridge Exacta

Utilizando la regresión de Ridge, los autores derivan una identidad de Ridge exacta que desacopla el ajuste residual del modelo de los cambios de predicción inducidos por la eliminación.

Residuales de Reentrenamiento: Una expresión exacta en forma cerrada (Ecuación 4) calcula el residual reentrenado y el suelo de eliminación utilizando la identidad de Sherman-Morrison. Esto revela que el error de reentrenamiento está gobernado por el residual ajustado de los datos completos y el apalancamiento (leverage) del punto eliminado.
Cambio de Predicción: El cambio total de la predicción tras la eliminación se descompone en un componente de "reescalado de penalización" y un componente de "eliminación de la fila" (Ecuación 5). Esto demuestra que un ajuste de modelo altamente preciso aún puede exhibir una fuerte sensibilidad de predicción tras la eliminación de un registro.

Protocolo Experimental

El estudio utiliza 44,344 estructuras cristalinas del Materials Project (MP) y conjuntos de datos sintéticos con redundancia controlada.

Métricas: El protocolo rastrea la pérdida del objetivo al cuadrado relativa al suelo de reentrenamiento, las razones de error normalizadas y los cambios de predicción (residuales con signo) entre los modelos originales, reentrenados y actualizados.
Comparaciones: El estudio compara actualizaciones aproximadas (por ejemplo, NegGrad+, estilo SCRUB, estilo Newton, ascenso de gradiente) contra el reentrenamiento exacto y un control de "no actualización" sin editar.

3. Contribuciones Clave

Derivación de un Intervalo de Referencia a Nivel de Solicitud: El artículo formula un intervalo de pérdida acotado agudo que identifica con precisión los errores de objetivo compatibles con la equivalencia de reentrenamiento aproximada, yendo más allá del acuerdo escalar hacia restricciones distribucionales.
Mecanismo Teórico de Predictibilidad Retenida: Demuestra un límite de vecino condicional que vincula el suelo de eliminación con el soporte retenido y deriva una descomposición de Ridge exacta que separa el ajuste residual de la sensibilidad inducida por la eliminación.
Protocolo de Evaluación Robusto: Los autores proponen un protocolo que requiere el reporte independiente del error de referencia (suelo de eliminación), el cambio de predicción y la utilidad retenida. Demuestran que estas métricas miden propiedades distintas y que la precisión post-eliminación debe interpretarse frente a lo que el propio reentrenamiento deja atrás.

4. Resultados

Impacto de la Redundancia: En barridos sintéticos controlados, la transición de un conjunto de datos donde un registro eliminado es el único miembro de su familia ( $k=1$ ) a uno donde existe un pariente retenido ( $k=2$ ) resulta en una caída de aproximadamente 8 veces en la pérdida de reentrenamiento normalizada mediana. Esto confirma que los parientes retenidos pueden mantener predicciones precisas incluso después del reentrenamiento exacto.
Dependencia del Régimen de Ajuste: El estudio del Materials Project mostró que dos regímenes de Ridge distintos (2,048 características frente a 8,192 características) demostraron que el suelo de eliminación varía sistemáticamente con la capacidad del modelo y la regularización. El régimen de mayor capacidad logró suelos de reentrenamiento más bajos (mejor precisión) pero exhibió mayores cambios de predicción tras la eliminación.
Desacoplamiento de Precisión y Sensibilidad: En un conjunto compartido de 200 solicitudes, el modelo de mayor capacidad logró un suelo de reentrenamiento más bajo en 132 solicitudes, mientras que exhibió un mayor cambio de predicción en 172 solicitudes. Esto confirma que una mayor precisión post-eliminación no implica una menor sensibilidad a la eliminación.
Actualizaciones Aproximadas vs. Utilidad: Las comparaciones sistemáticas mostraron que, si bien algunas actualizaciones (por ejemplo, NegGrad+, Ascenso de Gradiente) lograron aumentar el error del objetivo (supresión), a menudo degradaron la utilidad general del modelo (aumento del MSE de prueba). Por el contrario, métodos como el ajuste fino de retención y las actualizaciones de tipo Newton permanecieron cerca del control de "no actualización" en términos de utilidad, resaltando que la supresión del objetivo por sí sola no significa un desaprendizaje exitoso sin considerar el acuerdo de referencia y la utilidad.

5. Significación y Reivindicaciones

El artículo sostiene que el suelo de eliminación establece una base explícita para evaluar el desaprendizaje de regresión, midiendo el error residual del objetivo dejado por el reentrenamiento exacto. Los autores argumentan que:

Resolución de Ambigüedad: La precisión continua post-eliminación es una señal ambigua a menos que se interprete en relación con el suelo de eliminación. Si el propio reentrenamiento predice el objetivo con precisión debido al soporte estructural retenido, una actualización que coincida con esa precisión no es necesariamente un "fallo" en el olvido; es que coincide con la referencia de reentrenamiento.
Estandarización de la Evaluación: Estandarizar la evaluación del desaprendizaje requiere reportar conjuntamente las predicciones de reentrenamiento, los desplazamientos por eliminación de registros y la utilidad del modelo retenido. El artículo enfatiza que demostrar la equivalencia formal de reentrenamiento requiere una certificación distributiva más allá del acuerdo escalar de puntos.
Limitación del Alcance: Los autores declaran modestamente que sus hallazgos reflejan alcances teóricos y experimentales específicos (por ejemplo, regímenes de ajuste específicos, apalancamiento de Ridge). Distinguen su trabajo de objetivos más amplios como la "eliminación de comportamiento más amplio" o el "desaprendizaje distributivo", señalando que su protocolo proporciona una contabilidad transparente para el desaprendizaje a nivel de solicitud, pero deja la eliminación de conocimiento más amplio como un objetivo distinto que requiere marcos expandidos.

El trabajo concluye que las evaluaciones de desaprendizaje a nivel de solicitud deben interpretar la precisión post-eliminación frente al "suelo de eliminación" para desacoplar la supresión deliberada del objetivo de la utilidad general preservada del modelo.