🤖 machine learning

Unlearning at Scale: State-Exact Trace-Preserving Deletion in Billion-Parameter Language Models

Este artículo demuestra que los modelos de lenguaje de miles de millones de parámetros pueden lograr una eliminación exacta al estado y que preserva la traza mediante la repetición del entrenamiento desde un almacén de tokens que excluye ejemplos específicos, siempre que la ejecución original haya sido instrumentada para registrar la procedencia y se conserve un punto de control no contaminado, aunque este método no garantiza la eficiencia computacional para solicitudes de eliminación dispersas.

Autores originales: Abdullah X

Publicado 2026-08-14

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abdullah X

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás horneando un pastel masivo de múltiples capas para una fiesta enorme. En el mundo de la inteligencia artificial, este pastel es un "modelo de lenguaje", un programa informático entrenado para escribir, chatear y resolver problemas "comiendo" terabytes de texto. Normalmente, una vez que el pastel ha sido horneado, no puedes extraer fácilmente un ingrediente específico —por ejemplo, un tipo particular de vainilla— sin arruinar todo el conjunto. Si intentas rasparlo, las capas podrían colapsar o el sabor podría cambiar de formas impredecibles. Este es el problema del "desaprendizaje de máquinas" (machine unlearning): ¿cómo haces que una IA "olvide" datos específicos con los que fue entrenada, especialmente cuando las leyes (como el RGPD) dicen que las personas tienen derecho a que se eliminen sus datos?

Los científicos han estado tratando de resolver esto ya sea volviendo a hornear todo el pastel desde cero sin ese ingrediente (lo cual es lento y costoso) o intentando eliminar quirúrgicamente el sabor (lo que a menudo deja extraños rastros químicos). Pero hay un detalle: las computadoras no solo aprenden de qué comen; aprenden del orden en que lo comen, de la temperatura del horno y del momento exacto en que se bate la mezcla. Si cambias el orden de los ingredientes, incluso si eliminas el ingrediente malo, el pastel final puede saber diferente a un pastel que fue horneado perfectamente sin ese ingrediente desde el principio. Este artículo se sumerge en la desordenada y técnica cocina de la IA para plantear una pregunta muy específica: ¿Podemos demostrar que un pastel horneado después de eliminar un ingrediente es exactamente igual, bit por bit, a un pastel que fue horneado con el plan de ignorar ese ingrediente desde el principio?

La Receta del Pastel de "Viaje en el Tiempo"

Este artículo, titulado "Unlearning at Scale" (Desaprendizaje a Escala), es como un equipo de panaderos súper precisos que decidieron probar una receta muy estricta para eliminar ingredientes. No solo intentan hacer que el pastel parezca que olvidó la vainilla; quieren demostrar que el pastel es matemáticamente idéntico a uno que nunca debió tener vainilla en primer lugar.

Para lograr esto, construyeron un sistema especial de "viaje en el tiempo". Imagina que estás horneando un pastel, pero antes de empezar, escribes una tarjeta de receta súper detallada e inalterable. Esta tarjeta no solo enumera los ingredientes; registra el segundo exacto en que rompes cada huevo, la temperatura precisa del horno en cada minuto y el orden específico en el que añades la harina. Esto es lo que el artículo llama una ejecución de "preservación de traza" (trace-preserving).

Ahora, imagina que un cliente llama y dice: "Quiero eliminar las vainas de vainilla de mi pedido". En una cocina normal, podrías simplemente saltarte la vainilla y seguir mezclando. Pero en la cocina de este artículo, los panaderos tienen un truco. Mantienen la tarjeta de la receta exactamente igual. Cuando la receta dice "añadir vainilla en el paso 5", los panaderos siguen yendo al paso 5, pero en lugar de añadir vainilla real, añaden un ingrediente "ficticio" que no tiene sabor y no pesa nada. Hacen esto sin cambiar el orden de los otros pasos, la temperatura del horno o la velocidad del batido.

La Gran Prueba: Pasteles de Mil Millones de Parámetros

Los investigadores probaron esta idea en tres diferentes "pasteles" (modelos de IA) de diversos tamaños:

Un pastel pequeño llamado Pythia 160M (160 millones de parámetros).
Un pastel gigante llamado Pythia 2.8B (2.8 mil millones de parámetros).
Otro tipo de pastel llamado Llama 3.2 1B (1 mil millón de parámetros).

Realizaron un experimento masivo. Primero, hornearon un pastel "perfecto" donde siguieron la receta pero añadieron un elemento ficticio de "peso cero" para el ingrediente prohibido. Este es el "Oráculo": el estándar de oro de cómo debería ser el pastel. Luego, hornearon un segundo pastel usando su método de "redacción" (redacted): eliminaron físicamente el ingrediente prohibido de la despensa (el almacén de datos) pero siguieron exactamente la misma tarjeta de receta, sustituyendo con el elemento ficticio cada vez que la receta pedía el artículo faltante.

El Resultado: Una Coincidencia Perfecta

El resultado fue impactante en su precisión. Al comparar los dos pasteles, descubrieron que el pastel "redactado" era bit por bit idéntico al pastel "Oráculo".

Para el modelo Pythia 2.8B, revisaron 2,775,208,960 números individuales (el estado del modelo) y no encontraron diferencias.
Para el modelo Llama 3.2 1B, revisaron 1,498,482,688 números y encontraron cero diferencias.
Incluso el "estado del optimizador" (que es como la memoria de cómo el panadero ajustó la receta a medida que avanzaba) era exactamente el mismo.

Esto demuestra que si tienes la "tarjeta de la receta" adecuada (el plan de ejecución) y comienzas desde un punto de control limpio (una instantánea del pastel antes de que se añadiera el ingrediente malo), puedes eliminar datos y obtener un resultado que es matemáticamente indistinguible de un pastel que nunca debió tener esos datos.

El Detalle: No es una Varita Mágica

Sin embargo, el artículo es muy cuidadoso en no llamar a esto una "varita mágica" para eliminar datos rápidamente. El autor señala una limitación importante: el Tiempo.

Si el ingrediente prohibido se añadió temprano en el proceso de horneado, o si los ingredientes estaban dispersos aleatoriamente a lo largo de la receta, los panaderos tienen que volver atrás y rehornear casi todo el pastel desde el principio para obtener el mismo resultado exacto.

En sus pruebas, si pedían eliminar un 5% aleatorio de los datos, tenían que reproducir casi el 100% de los pasos de entrenamiento.
El artículo establece explícitamente que esto no establece una "eliminación barata". No es una solución rápida; es una reconstrucción lenta y precisa.

Lo que esto NO significa

El autor es muy estricto con lo que sus resultados no prueban:

No es una garantía de comportamiento: Solo porque los números sean idénticos no significa automáticamente que la IA se "comportará" de manera diferente de una forma que satisfaga una solicitud legal de eliminación. El artículo realizó algunas pruebas estándar para ver cómo se comportaba la IA, pero las trata solo como notas "descriptivas", no como una prueba de que el método funcione para la eliminación legal en el mundo real.
No es una solución universal: Esto solo funciona si planeaste con antelación. No puedes tomar un modelo de IA antiguo que no fue construido con esta especial "tarjeta de receta" y hacer que funcione de esta manera mágicamente después.
No es un escudo de privacidad: El artículo admite que, aunque los números han desaparecido del almacén de reproducción específico, esto no prueba que los datos hayan sido eliminados de cada copia de seguridad, caché o disco duro en el universo.

La Conclusión

En términos simples, este artículo es una prueba de concepto para un tipo de "olvido" muy específico y muy estricto. Muestra que si construyes tu proceso de entrenamiento de IA con un plan rígido e inalterable y una forma de registrar cada paso, puedes eliminar datos quirúrgicamente y obtener un resultado que es matemáticamente perfecto. Es como demostrar que puedes cambiar una vaina de vainilla real por una falsa en una receta compleja y terminar con un pastel que es indistinguible de uno que nunca tuvo vainilla.

Pero el artículo también nos advierte: este es un proceso pesado y lento. Requiere planificación previa, y si los datos que quieres eliminar están esparcidos por todas partes, es como si fuera mejor simplemente hornear todo el pastel de nuevo. Es una herramienta poderosa para los científicos que necesitan demostrar exactamente qué sucedió en un programa informático, pero aún no es un botón rápido para borrar datos en el mundo real.

Resumen Técnico: Desaprendizaje a Escala: Eliminación Preservadora de la Traza y Exacta en el Estado en Modelos de Lenguaje de Mil Millones de Parámetros

1. Formulación del Problema

El artículo aborda el desafío del desaprendizaje de máquinas en modelos de lenguaje de gran tamaño (LLM) reformulando el problema de una tarea de optimización conductual a una cuestión de sistemas exacta en el estado. Mientras que la literatura existente a menudo define el desaprendizaje como la producción de un modelo conductualmente indistinguible de uno entrenado sin datos específicos, este enfoque sufre de ambigüedad en los procesos de entrenamiento deterministas.

En el entrenamiento moderno, el estado realizado depende no solo del conjunto de datos, sino también de los controles de ejecución: el orden de muestreo, el consumo de números pseudoaleatorios (RNG), los límites de acumulación de gradientes, los esquemas de tasa de aprendizaje y los núcleos numéricos específicos de hardware. Simplemente eliminar datos y reentrenar (reempaquetado denso) altera estos controles, lo que resulta en una traza de ejecución diferente y un estado final distinto. Por consiguiente, "el modelo entrenado sin $F$ " no identifica un estado de referencia único a menos que la ejecución o la distribución de referencia se especifiquen explícitamente.

El artículo define una eliminación preservadora de la traza contrafáctica: un escenario donde los controles lógicos de la ejecución de entrenamiento original (ranuras de micro-lotes, semillas, límites de acumulación, índices de paso del optimizador) permanecen fijos, pero la contribución de pérdida de los identificadores solicitados se establece en cero. El objetivo es verificar si un sistema de reproducción puede reconstruir este estado contrafáctico específico bit a bit, incluso cuando las filas de datos físicos correspondientes a los identificadores eliminados están ausentes del almacén de reproducción.

2. Metodología

2.1 Definición de Eliminación Preservadora de la Traza

El autor formaliza una Eliminación Preservadora de la Traza ($TD$) donde:

El plan de ejecución $P$ permanece inmutable.
Se conserva cada registro de plan de micro-lote, pero los identificadores en el conjunto de olvido $F$ se mapean a secuencias dummy fijas con peso de muestra cero.
Los identificadores retenidos, las semillas, las tasas de aprendizaje y los índices lógicos de paso del optimizador permanecen sin cambios.
Regla de segmento vacío: En los límites de acumulación de gradientes, ocurre una transición del optimizador solo si existe al menos una contribución ponderada retenida en ese segmento. Si un segmento contiene solo ranuras de peso cero (eliminadas), el límite lógico se preserva, pero se omite el paso del optimizador para evitar alterar los momentos del optimizador (por ejemplo, los momentos de AdamW) con gradientes de cero.

2.2 Diseño del Sistema

El sistema propuesto se basa en la instrumentación prospectiva y la redacción física:

Plan de Ejecución Inmutable: La ejecución de entrenamiento original registra un plan en formato JSONL que contiene identificadores de muestra ordenados, semillas de RNG por micro-lote, tasas de aprendizaje y banderas de acumulación.
Registro de Escritura Anticipada (WAL): Durante el entrenamiento, un WAL binario compacto de 32 bytes registra el estado de ejecución (etiqueta de ID ordenado, semilla, tasa de aprendizaje, índice de paso, banderas, CRC32) junto con un manifiesto de ID ordenado.
Redacción Física: Antes de la reproducción, se materializa un nuevo almacén de tokens que contiene solo las filas retenidas. El plan inmutable aún hace referencia a los identificadores eliminados como marcadores de ranura lógica.
Mecanismo de Reproducción: Durante la reproducción, el sistema intercepta las solicitudes de identificadores eliminados. En lugar de buscar los datos faltantes, sustituye la secuencia dummy fija por un peso de cero. Esto asegura que el micro-lote numérico (tokens, etiquetas, pesos) sea idéntico al oráculo de la traza, a pesar de la ausencia física de las filas de datos.

2.3 Protocolo de Verificación

El sistema verifica la Exactitud de la Traza comparando el estado terminal de la reproducción redactada contra un Oráculo de Traza ejecutado por separado. El Oráculo ejecuta la misma lógica contrafáctica (dummies de peso cero) desde un checkpoint elegible. La exactitud se define como parámetros del modelo ( $\theta$ ) y estados del optimizador ( $\Omega$ ) bit a bit idénticos en los tipos de datos registrados.

3. Contribuciones Clave

Definición de Eliminación Exacta Condicionada a la Ejecución: El artículo formaliza el desaprendizaje como un contrafactual preservador de la traza, separando la definición del estado objetivo del método para lograrlo (por ejemplo, el reempaquetado denso).
Sistema de Reproducción Instrumentado Prospectivamente: Un sistema que registra la procedencia de la ejecución (WAL + manifiesto) y permite la reproducción desde almacenes físicamente redactados manteniendo el control determinista de los inputs.
Evidencia de Mil Millones de Parámetros Bit a Bit Exacta: Demostración empírica de la exactitud del estado a través de tres puntos finales:
- Pythia 160M: Exacto en 162 millones de parámetros y estado del optimizador para cuatro geometrías de eliminación (temprana, media, tardía, aleatoria).
- Pythia 2.8B: Exacto en 2.77 mil millones de parámetros para una solicitud de eliminación aleatoria del 5%.
- Llama 3.2 1B + TOFU: Exacto en 1.49 mil millones de parámetros tras omitir 400 de 4,000 ejemplos.
Análisis de Localidad de la Reproducción: Un análisis estructural que muestra que, mientras que las solicitudes tardías localizadas permiten una reproducción de sufijo eficiente, las solicitudes grandes y dispersas obligan a una reproducción casi total, limitando la eficiencia computacional de este enfoque para eliminaciones dispersas.
Artefacto de Investigación Auditable: Un lanzamiento público que contiene revisiones de la fuente, hashes de datos, planes de ejecución y hashes de estado, tratando las métricas conductuales estandarizadas (OpenUnlearning) como diagnósticos descriptivos en lugar de evidencia causal.

diện 4. Resultados

Exactitud del Estado: En todos los escenarios probados, la reproducción redactada produjo un estado de modelo y optimizador bit a bit idéntico al oráculo de la traza ejecutado por separado. Esto incluyó coincidencias exactas en los momentos del optimizador (estados de Adam), los cuales son críticos para la continuidad del entrenamiento futuro.
Distinción Contrafáctica: Los experimentos en Pythia 160M confirmaron que el reempaquetado denso (reentrenar en $D \setminus F$ con nuevo loteo) y el filtrado físico (eliminar filas antes del pase hacia adelante) resultan en diferencias de estado no nulas en comparación con el oráculo de la traza. Esto valida que "entrenar en los datos retenidos" no es equivalente a una "eliminación preservadora de la traza".
Escalabilidad: El método escaló con éxito a 2.8 mil millones de parámetros (Pythia 2.8B) y arquitecturas de distintas familias (Llama 3.2), demostiendo que el invariante se mantiene a escalas de miles de millones de parámetros bajo entornos de GPU única fijados.
Análisis de Costos: La procedencia del control (WAL + manifiesto) es pequeña en relación con los checkpoints del modelo (0.019% – 0.20%). Sin embargo, el costo de la reproducción depende de la localidad. Para una eliminación aleatoria del 5% en un modelo de 2.8B, la reproducción requirió reiniciar desde el paso cero, tomando casi el mismo tiempo que la ejecución original. El artículo señala que las solicitudes dispersas fuerzan estructuralmente una reproducción casi total.

5. Significado y Reivindicaciones

El artículo realiza una contribución modesta pero precisa al campo del desaprendizaje de máquinas:

Alcance de la Reivindicación: El autor establece explícamente que no pretende lograr una "eliminación barata" o una superioridad universal sobre los métodos de desaprendizaje aproximado (por ejemplo, Ascenso de Gradiente, NPO). El método requiere instrumentación prospectiva y puede incurrir en costos de reproducción total para solicitudes dispersas.
Estado vs. Conducta: El artículo separa rigurosamente la exactitud del estado de la oblitera de la conducta. Aunque los estados liberados fueron evaluados utilizando el benchmark OpenUnlearning TOFU, el autor trata estos resultados únicamente como diagnósticos descriptivos. Evita explícitamente realizar afirmaciones causales de que la preservación de la traza causa comportamientos de olvido específicos, citando la falta de controles emparejados (por ejemplo, un control de base de datos solo de datos retenidos y métricas previas al ajuste fino).
Auditable: La principal significancia es el establecimiento de una definición algorítmica auditable de la eliminación. Al fijar el contrato de ejecución y demostrar la igualdad bit a bit con un contrafactual declarado, el sistema proporciona una garantía verificable de que una ejecución específica fue neutralizada, distinta de las afirmaciones sobre la ausencia de datos a nivel de parámetros.
Limitaciones: El autor reconoce que el método no garantiza la eliminación de copias de seguridad, cachés u otras capas de almacenamiento, ni satisface por sí solo las obligaciones legales (por ejemplo, el Artículo 17 del RGPD). Es un primitivo de sistemas para reconstruir un estado histórico específico, no una solución de política de propósito general.

En resumen, el artículo demuestra que la exactitud del estado a escala de miles de millones de parámetros es alcanzable para un contrafactual de eliminación preservadora de la traza específico, siempre que el sistema de entrenamiento esté instrumentado prospectivamente y el entorno de ejecución esté fijado. Establece que el "desaprendizaje" debe definirse por el programa contrafáctico específico que se está ejecutando, no solo por el conjunto de datos retenidos.