🤖 machine learning

Subtract or Replay? Exact Deletion from Language-Model Memory

Este artículo demuestra que la eliminación exacta de la memoria de un modelo de lenguaje está determinada fundamentalmente por la representación de la memoria, donde los registros direccionables pueden eliminarse mediante sustracción algebraica mientras que las escrituras entrelazadas requieren una reconstrucción basada en la repetición para lograr una restauración de estado bit a bit.

Autores originales: Vishwajith Ramesh

Publicado 2026-07-31

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vishwajith Ramesh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un asistente digital superinteligente que nunca olvida nada. Le cuentas un secreto y este lo guarda en una biblioteca gigante e invisible dentro de su cerebro. Más tarde, podrías pedirle que escriba una historia o que dé un consejo, y él extrae ese secreto para ayudar. Pero, ¿qué pasa si cambias de opinión? ¿Qué pasa si le dices al asistente: "En realidad, nunca dije eso" o "Eso fue un error, por favor bórralo"? En el mundo real, si quemas una carta, las palabras desaparecen. Pero en una computadora, simplemente decirle a la máquina que "olvide" es complicado. La computadora podría simplemente esconder el secreto en lo más profundo, o podría haber ya usado ese secreto para construir otras partes de su cerebro, haciendo que sea imposible simplemente "borrarlo" sin romper todo lo demás. Este es el problema del "desaprendizaje de máquinas" (machine unlearning). Los científicos están tratando de descubrir cómo hacer que una IA olvide verdaderamente cosas específicas bajo demanda, no solo que finja hacerlo. Es algo de gran importancia para la privacidad, como tener un "Derecho al Olvido" para tu vida digital, asegurando que si le pides a un robot que borre un recuerdo, realmente lo haga, sin dejar rastros fantasmales detrás.

Este artículo, titulado "Subtract or Replay?" (¿Restar o Reproducir?), aborda este problema planteando una pregunta sencilla: ¿Cómo se almacena la memoria? Los autores, Vishwajith Ramesh y sus colegas, descubrieron que la respuesta depende enteramente de los "muebles" que hay dentro de la habitación de la memoria de la IA. Descubrieron que hay dos formas muy diferentes de borrar un recuerdo, y tienes que elegir la herramienta adecuada para el trabajo, o fallarás.

Las dos formas de borrar un recuerdo

El artículo pone a prueba esta idea en dos tipos diferentes de modelos de IA, que actúan como dos tipos distintos de bibliotecas.

1. La biblioteca "Direccionable" (El modelo Gemma)
Imagina una biblioteca donde cada libro tiene un número de estante específico y único. Si quieres quitar un libro, simplemente vas a ese estante y lo sacas. No necesitas reconstruir toda la biblioteca.
Los autores probaron esto en un modelo llamado Gemma. Reemplazaron algunas de sus partes de memoria estándar con un sistema especial que actúa como esta biblioteca direccionable. En este sistema, cada pieza de información tiene un "coeficiente" (piensa en ello como una perilla de volumen) que controla cuánto influye en las respuestas de la IA.

El truco de magia: Para borrar un recuerdo, simplemente bajaron la perilla del volumen a cero. Esto se llama un "decremento algebraico".
El resultado: Funcionó perfectamente. Cuando bajaron la perla, la salida de la IA se volvió matemáticamente idéntica a lo que habría sido si el recuerdo nunca hubiera estado allí. La diferencia fue tan diminuta que era casi cero (un número llamado divergencia KL de 5.4 × 10⁻¹⁵).
La trampa: Esto solo funciona bien en modelos pequeños (1 billón de parámetros). A medida que el modelo se hace más grande (4 billones y 12 billones), este método se vuelve desordenado y costoso, ralentizando el rendimiento de la IA en un 11.2% y 44.3% respectivamente. Por lo tanto, aunque el truco de "bajar la perilla" es perfecto para bibliotecas pequeñas, no es una solución para todos los casos en bibliotecas gigantes.

2. La biblioteca "Tejida" (El modelo Kimi)
Ahora, imagina una biblioteca diferente donde los libros no están en estantes. En su lugar, las páginas de cada libro están tejidas entre sí en un gran tapiz único. Si tiras de un hilo (un recuerdo), todo el tapiz se desplaza y el patrón cambia de maneras impredecibles.
Los autores probaron esto en un modelo llamado Kimi, que utiliza un "estado recurrente" (una memoria tipo tapiz). Aquí, cada nueva pieza de información cambia todo el estado de la memoria.

El problema: Intentaron simplemente "restar" el recuerdo como hicieron con Gemma. Falló. Debido a que la memoria está tejida, eliminar un hilo no solo deja un hueco, sino que deja un patrón distorsionado. Las matemáticas mostraron que entre el 12% y el 49% de la influencia de la memoria cambió dependiendo de lo que viniera después de la parte eliminada. No puedes simplemente restarlo; el "recibo" de la eliminación ya no es válido.
La solución: Dado que no puedes restar un hilo de un tapiz tejido sin arruinar el patrón, tienes que reconstruirlo. Los autores utilizaron un método de "punto de control y reproducción" (checkpoint and replay). Guardaron una instantánea del tapiz antes de que el hilo no deseado fuera tejido en él. Luego, rebobinaron la IA hasta esa instantánea y reprodujeron todo lo que sucedió después del mal recuerdo, pero esta vez, saltándose el hilo malo.
El resultado: Esto funcionó perfectamente. La memoria de la IA después de la reproducción era bit por bit idéntica a una memoria que nunca vio el hilo malo en absoluto. Probaron esto con notas clínicas reales de hasta 18,842 tokens de largo, y funcionó siempre. También permitió "enmendar" un registro perfectamente al intercambiar el hilo malo por uno bueno antes de la reproducción.

Lo que esto significa para ti

La conclusión principal del artículo es que la "eliminación exacta" no es un único botón mágico. Es una propiedad de cómo se construye la memoria.

Si la memoria mantiene una dirección clara para cada registro (como el montaje especial de Gemma), puedes restar rápidamente y perfectamente.
Si la memoria teje todo junto (como el tapiz de Kimi), no puedes restar. Debes reconstruir la historia desde un punto de control guardado, saltándote la parte mala.

Los autores son muy claros sobre lo que no encontraron: demostraron que el simple hecho de intentar "enmascarar" o "suprimir" un recuerdo (decirle a la IA que lo ignore) no es suficiente. La IA aún puede "recordarlo" de formas ocultas, y los atacantes a menudo pueden extraerlo de nuevo. La verdadera eliminación requiere o una resta perfecta o una reconstrucción perfecta.

En resumen, si quieres que una IA olvide verdaderamente, primero tienes que revisar su habitación de la memoria. ¿Es una biblioteca con estantes? Baja la perilla. ¿Es un tapiz tejido? Rebobina y reproduce. No hay atajos, pero ahora sabemos exactamente qué herramienta usar para cada trabajo.

Resumen Técnico: Eliminación Exacta de la Memoria de Modelos de Lenguaje

1. Definición del Problema

El artículo aborda el desafío de la eliminación exacta de la memoria persistente de modelos de lenguaje autorregresivos (LLM) desplegados. A diferencia del desaprendizaje en el espacio de pesos, que intenta modificar los parámetros del modelo para "olvidar" datos, este trabajo se centra en la memoria en contexto: registros que ya han sido ingeridos en el estado persistente del modelo (cachés de atención o estados recurrentes) y que están moldeando las salidas posteriores.

El problema central es que añadir una corrección a un prompt no elimina la influencia del registro erróneo original del estado interno del modelo. Los autores definen la eliminación exacta mediante un estándar contrafáctico: la salida del modelo tras la eliminación debe coincidir con la salida de un estado de memoria construido como si el registro nunca hubiera sido ingerido.
$f(q; D_j(B(R))) = f(q; B(R \setminus j))$
El artículo argumenta que si esta igualdad es alcanzable o no sin un reentrenamiento completo depende enteramente de la representación de la memoria. Si la influencia de un registro conserva una "dirección" específica (un coeficiente reversible o una entrada de caché), puede ser restada. Si la influencia de un registro se entrelaza en un estado recurrente compartido mediante escrituras posteriores, la resta falla y se requiere una reconstrucción.

2. Metodología

Los autores operacionalizan esta distinción probando dos arquitecturas de memoria y estrategias de eliminación distintas:

A. Memoria Direccionable: Soporte de Vector de Grafo (Gemma 3)

Para modelos donde la influencia es direccionable, los autores proponen un decremento algebraico.

Arquitectura: Reemplazan las capas de atención global de Gemma 3 (1B, 4B y 12B parámetros) con una capa de Memoria de Vector de Soporte (SVM). Esta capa trata las claves de contexto como entradas de un SVM de una clase, donde los pesos de atención son coeficientes ( $\alpha$ ) del ajuste.
Mecanismo: Utilizando el algoritmo incremental de Cauwenberghs & Poggio (2000) a la inversa, el sistema puede matemáticamente "decrementar" el coeficiente de un token específico. Si un token es un token de "reserva" (coeficiente = 0), no contribuye con nada. Eliminar un token implica revertir la resolución para devolver el sistema al estado que tendría sin ese token.
Recuperación: Para mantener la calidad del lenguaje tras el injerto, los autores congelan el modelo base y entrenan adaptadores LoRA de Rango-8 (0.149% de los parámetros) para recuperar la perplejidad.
Auditoría: La eliminación se audita comparando el estado decrementado contra un reajuste de claves retenidas (resolver el SVM con el token eliminado pero manteniendo las otras claves fijas).

B. Memoria No Direccionable: Replay (Kimi Linear Hybrid)

Para modelos donde las escrituras posteriores transforman la contribución de un registro (haciéndolo no direccionable), los autores proponen un reproducción con puntos de control (checkpointed rewind-and-replay).

Arquitectura: Analizan un modelo Kimi Linear híbrido de 48B que intercala capas de Atención Multicabeza (MLA) global con 20 capas recurrentes KDA (Gated DeltaNet).
Fallo de la Sustracción: Los autores demuestran que la regla delta de KDA (que lee el estado antes de actualizarlo) destruye la separabilidad por registro. La contribución de un registro al estado depende del sufijo que le sigue (1_varianza de 12–49%), lo que significa que un "recibo" fijo para la eliminación no puede funcionar incluso con correcciones de decaimiento.
Mecanismo: El sistema guarda puntos de control (checkpoints) del estado recurrente en los límites de los registros. Para eliminar un registro, el sistema restaura el estado antes de que el registro fuera ingerido y reproduce únicamente el sufijo.
Auditoría: El resultado se audita contra un estándar de igualdad bit a bit: los logits y todos los estados recurrentes deben ser idénticos a una ejecución donde el registro nunca fue ingerido.

3. Contribuciones Clave

Criterio a Nivel de Representación: El artículo establece que la eliminación exacta es una propiedad de la representación de la memoria. Distingue entre influencia direccionable (restablecible mediante decremento algebraico) e influencia transformada (que requiere reconstrucción de estado).
Eliminación Direccionable en LLMs: Los autores logran injertar con éxito una capa de memoria SVM en Gemma 3. A la escala de 1B, el decremento algebraico coincide con el reajuste de claves retenidas con una divergencia KL mediana de $5.4 \times 10^{-15}$ . Las pruebas de comportamiento muestran que el proxy de reajuste enmascarado es estadísticamente indistinguible de una base de "nunca ingerido" bajo ataques de elicitación, re-aprendizaje y LiRA.
Eliminación Exacta mediante Replay: Para el Kimi híbrido, donde la sustracción falla, los autores demuestran que el replay con puntos de control logra la igualdad bit a bit (en logits y en los 20 estados recurrentes) para contextos de hasta 18,842 tokens. Este método también permite enmiendas exactas (reproducir con un registro corregido).
Análisis de Escala: El artículo proporciona una visión matizada de los costes de utilidad. Mientras que el injerto de Gemma 1B incurre solo en un exceso de perplejidad del +2.0%, este coste aumenta a 11.2% en 4B y 44.3% en 12B, indicando que el injerto no es un reemplazo general para la atención a escalas mayores.

4. Resultados

Gemma 3 (1B):
- Exactitud: El decremento y el reajuste coinciden con una KL mediana de $5.4 \times 10^{-15}$ sobre 31 eliminaciones de tokens de soporte.
- Utilidad: Exceso de perplejidad del +2.0% en comparación con un control emparejado.
- Comportamiento: El reajuste enmascarado es indistinguible del suelo de "nunca ingerido"; la edición en el espacio de pesos (ascenso de gradiente) es reversible y deja residuos.
Gemma 3 (Escalabilidad):
- En 4B y 12B, el coste de utilidad aumenta bruscamente (11.2% y 44.3% respectivamente). La ejecución injertada de 12B con rango-16 diverge, lo que sugiere que el método es actualmente viable principalmente a la escala de 1B.
Kimi Linear (48B):
- Fallo de la Regla Delta: El 12–49% de la contribución de un registro al estado cambia con el sufijo, invalidando los recibos fijos.
- Éxito del Replay: El replay logra la igualdad bit a bit con el estado de "nunca ingerido" para registros clínicos reales (MIMIC-IV) hasta 18,842 tokens.
- Coste: La latencia es proporcional únicamente a la longitud del sufijo (media de 3.49s frente a 6.77s para una reconstrucción completa), con costes de almacenamiento de ~41.4 MiB por límite de punto de control.

5. Significado y Reivindicaciones

El artículo afirma que la eliminación exacta es un contrato con la representación de la memoria, no una solución algorítmica universal.

Principio de Diseño: Si una representación preserva una dirección para la influencia de un registro, la eliminación puede ser una operación algebraica económica. Si la representación entrelaza los registros en un estado compartido mediante actualizaciones no aditivas (como la regla delta), la eliminación exacta requiere reconstruir el sufijo.
Auditabilidad: El trabajo proporciona un marco para auditar la eliminación. Distingue entre "supresión" (donde la respuesta se oculta pero el estado está corrupto) y "eliminación exacta" (donde el estado coincide con la referencia contrafáctica).
Limitaciones: Los autores son modestos sobre el alcance. No afirman que puedan eliminar de los pesos preentrenados o de las salidas generadas antes del evento de eliminación. Reconocen que el coste de utilidad del injerto de Gemma escala mal, y que el método de replay de Kimi depende de implementaciones deterministas y de la sobrecarga de los puntos de control.
Contexto Ético: El trabajo respalda los requisitos regulatorios (por ejemplo, el Artículo 17 del RGPD) y la retirada del consentimiento clínico al proporcionar un mecanismo para verificar que un registro específico ha sido eliminado del estado de memoria activa del modelo, en lugar de simplemente suprimir su salida.

El artículo concluye que el campo debe pasar de un "desaprendizaje aproximado" (que deja residuos recuperables) a una eliminación consciente de la representación, probando si la influencia sigue siendo direccionable antes de elegir entre la sustracción y la reconstrucción.