🤖 machine learning

Forget Narrowly, Retain Broadly: Unlearning as an Asymmetric Generalization Problem

Este artículo presenta el protocolo de evaluación SUITE y el algoritmo JensUn++ para abordar los desafíos de la generalización asimétrica en el desaprendizaje de máquinas, donde los métodos actuales no logran eliminar de manera confiable el conocimiento específico sin borrar inadvertidamente información no relacionada, proporcionando un conjunto de datos exhaustivo que captura el complejo límite entre el olvido y la retención y demostrando que una mejora en los datos de entrenamiento es tan crítica como el diseño algorítmico para lograr compensaciones de utilidad óptimas.

Autores originales: Amit Peleg, Naman Deep Singh, Naama Pearl, Bibhabasu Mohapatra, Matthias Hein

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Amit Peleg, Naman Deep Singh, Naama Pearl, Bibhabasu Mohapatra, Matthias Hein

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot de biblioteca gigante y superinteligente llamado "LLM" que sabe casi todo. A veces, por razones de privacidad o seguridad, necesitas pedirle a este robot que olvide un secreto específico y vergonzoso; digamos, los detalles exactos de los problemas legales de una famosa estrella del pop. Pero aquí está el truco: no quieres que el robot olvide todo lo demás. Quieres que siga sabiendo cómo hornear un pastel, resolver problemas matemáticos y hablar sobre el espacio, incluso si no puede hablar de esa estrella del pop en particular.

El problema es que las pruebas que hemos estado usando para comprobar si el robot realmente olvidó el secreto son como jugar a un juego de "Adivina la Palabra" donde las reglas están amañadas.

Los dos grandes errores: el olvido insuficiente y el olvido excesivo

Los autores de este artículo argumentan que las pruebas actuales pasan por alto dos fallas enormes, que ellos llaman olvido insuficiente (under-forgetting) y olvido excesivo (over-forgetting).

Olvido insuficiente (La trampa de la paráfrasis): Imagina que le dices al robot: "Olvida el nombre del abogado de la estrella del pop". Si preguntas: "¿Quién era el abogado?", es posible que diga: "No lo sé". Pero si preguntas: "¿Quién fue el tutor legal?" o "¿Quién manejó el caso judicial para la cantante en 2007?", ¡el robot podría recordar de repente! Es como si el robot solo hubiera olvidado la frase exacta que le dijiste que olvidara, pero aún conoce el secreto si se lo preguntas de una manera diferente. El artículo llama a esto olvido insuficiente: el robot cree que ha olvidado, pero solo está escondiendo la respuesta hasta que le haces la pregunta adecuada.
Olvido excesivo (La trampa del daño colateral): Ahora, imagina que le dices al robot que olvide a la estrella del pop. En un ataque de pánico, el robot decide olvidar todo lo relacionado con la palabra "estrella", "música" o incluso "casos judiciales". De repente, no puede hablarte de otro cantante, o se le olvida cómo hablar de sistemas legales en general. Es como intentar quitar una manzana podrida de una cesta y, accidentalmente, destrozar toda la cesta. El artículo llama a esto olvido excesivo: el robot tiene tanto miedo del secreto que destruye conocimientos útiles no relacionados.

La nueva solución: SUITE (El "Profesor Estricto")

Para solucionar esto, los autores construyeron un nuevo kit de pruebas superestricto llamado SUITE (Selective Unlearning of Isolated Topics and Events). Piensa en SUITE como un profesor estricto que no se limita a hacer la misma pregunta dos veces.

En el lado del "Olvidar": El profesor hace la misma pregunta secreta de docenas de maneras diferentes. Pregunta directamente, pregunta al revés ("¿Qué cantante tuvo este abogado?") y pregunta indirectamente usando pistas que requieren que el robot conecte puntos (razonamiento de múltiples pasos o multi-hop). Si el robot comete un error y responde cualquiera de estas, falló.
En el lado del "Retener": El profesor comprueba si el robot todavía sabe cosas que son casi iguales al secreto, pero no exactamente. Por ejemplo, si el secreto es sobre el desastre del transbordador espacial "Challenger", el profesor pregunta sobre el desastre del transbordador "Columbia", o sobre la palabra "Challenger" en un contexto completamente diferente (como una fosa oceánica profunda). Esto asegura que el robot no haya olvidado accidentalmente todo lo que suena parecido al secreto.

El artículo muestra que cuando usaron este estricto test SUITE, muchos métodos anteriores parecían estar haciendo un gran trabajo, pero en realidad, estaban fallando estrepitosamente. O bien seguían recordando el secreto (olvido insuficiente) o estaban rompiendo otras partes del cerebro del robot (olvido excesivo).

El nuevo algoritmo: JensUn++ (El "Rechazo Cortés")

Los autores también crearon una nueva forma de enseñar al robot a olvidar, llamada JensUn++.

La mayoría de los métodos antiguos intentaban "suprimir" la respuesta. Imagina que se obliga al robot a decir "No lo sé", pero debido a que está siendo forzado, empieza a tener fallos y a escupir tonterías como "El cielo es verde y el número es púrpura". Esto es peligroso y poco útil.

JensUn++ es diferente. En lugar de obligar al robot a guardar silencio o a tener un fallo, entrena al robot para dar un rechazo cortés y natural. Le enseña al robot a decir: "Lamentablemente, no puedo verificar esta información", y luego detenerse. Es como enseñarle al robot a decir "No puedo contarte eso" con una voz tranquila y humana, en lugar de tener un colapso nervioso.

El artículo encontró que JensUn++ funciona mucho mejor que los métodos antiguos. En sus pruebas, logró que el robot olvidara los secretos (incluso cuando se le preguntaba de forma truculenta e indirecta) sin causar que el robot olvidara hechos no relacionados o empezara a decir disparates.

¿Qué tan seguros están?

Los autores están muy seguros de estos resultados porque no solo adivinaron; lo midieron. Probaron su nuevo método (JensUn++) y su nuevo kit de pruebas (SUITE) en tres cerebros de robots del mundo real diferentes (Llama, Ministral y Qwen).

Demostraron que el uso de sus nuevos datos de entrenamiento (SUITE) hizo que todos los métodos funcionaran mejor, no solo el suyo.
Mostraron que su nuevo método, JensUn++, logró el mejor equilibrio entre olvidar lo malo y mantener lo bueno. En el entorno secuencial (aprendiendo un tema tras otro), produjo 0% de respuestas de disparates. En el entorno conjunto (aprendiendo todos los temas a la vez), produjo solo un 0.1% de disparates, lo cual sigue siendo insignificante.
Incluso probaron a los robots contra trucos "adversarios" (como preguntar en diferentes idiomas o usar juegos de rol) y descubrieron que su método se mantenía firme. El mejor modelo (Mistral) reveló el secreto el 0% de las veces en el entorno conjunto, mientras que en el entorno secuencial, lo reveló solo el 3% (subiendo al 4% bajo las condiciones adversarias más estrictas). En contraste, otros métodos funcionaron mucho peor; por ejemplo, GradDiff reveló secretos el 38% de las veces y JensUn el 29% de las veces en el entorno secuencial en el modelo Llama.

En resumen, el artículo sugiere que no podemos simplemente decirle a un robot que "olvide" y esperar lo mejor. Necesitamos probarlo con preguntas truculentas y variadas para asegurarnos de que realmente olvidó, y necesitamos entrenarlo para que diga "no" cortésmente en lugar de romperse. Con los datos y el método adecuados, podemos hacer que estos robots olviden lo que necesitan, sin perder la cabeza.

Resumen Técnico: Olvidar de forma estrecha, retener de forma amplia

Declaración del Problema

El desaprendizaje de máquinas en los Modelos de Lenguaje de Gran Tamaño (LLMs) tiene como objetivo eliminar conocimientos específicos (por ejemplo, para privacidad o seguridad) mientras se preservan todas las demás capacidades. Sin embargo, los benchmarks de evaluación actuales no logran medir el éxito de manera fiable debido a un problema de generalización asimétrica.

Los benchmarks actuales sufren dos modos principales de fallo:

Sub-olvido: Los modelos parecen olvidar los hechos objetivo cuando se les consulta directamente, pero la información resurge ante consultas parafraseadas, indirectas o de razonamiento de múltiples saltos (multi-hop). Las evaluaciones existentes suelen carecer de la diversidad de formulaciones de consulta necesaria para probar la generalización intensiva en el conjunto de "olvido".
Sobre-olvido: El desaprendizaje de los modelos degrada inadvertidamente el rendimiento sobre el conocimiento ajeno al objetivo, incluyendo conceptos semánticamente relacionados, consultas sintácticamente similares y términos con solapamiento léxico. Los benchmarks existentes no logran definir el límite "olvido-retención" de un nivel fino, careciendo de sondas de proximidad semántica, estructura sintáctica y sensibilidad léxica.

El desafío central es que el conjunto de "retención" se define implícitamente como "todo lo demás", lo que dificulta distinguir el olvido genuino de la supresión, o la retención genuina del daño colateral.

Metodología

SUITE: Desaprendizaje selectivo de temas y eventos aislados

Para abordar estas brechas, los autores introducen SUITE, un protocolo de evaluación y un corpus de entrenamiento de grano fino diseñado para capturar la naturaleza asimétrica del desaprendizaje. SUITE se construye en torno a cuatro temas fácticos del mundo real (por ejemplo, el desastre del Challenger, los juicios de Salem) y define el límite de olvido-retención a través de tres ejes:

Construcción del Conjunto de Olvido ( $D_F$ ):
- Consultas Directas, Inversas e Indirectas: Más allá de las preguntas directas estándar, SUITE incluye preguntas inversas (proporcionar la respuesta para identificar el tema) y, crucialmente, preguntas indirectas que requieren razonamiento de múltiples saltos y que omiten el nombre de la entidad objetivo por completo.
- Variación Lingüística: Cada pregunta es aumentada con paráfrasis y variantes de completar el espacio en blanco generadas por diferentes LLMs para evitar el sobreajuste de estilo.
- División de Entrenamiento/Evaluación: Las divisiones de entrenamiento y evaluación utilizan refraseos disjuntos para asegurar que la generalización se prueca en formas de consulta no vistas.
Construcción del Conjunto de Retención ( $D_R$ ):
- Proximidad Semántica: El conjunto de retención está organizado en 16 niveles de proximidad semántica decreciente (Nivel 0 a Nivel 15). El Nivel 0 cubre el concepto general del tema de olvido (por ejemplo, el programa del Transbordador Espacial sin el desastre), mientras que los niveles superiores cubren temas cada vez más distantes.
- Control Sintáctico y Léxico: El conjunto incluye preguntas que comparten la estructura sintáctica de las consultas de olvido pero usan entidades no relacionadas, y preguntas que usan términos del conjunto de olvido en contextos no relacionados (por ejemplo, "Challenger Deep" frente a "desastre del Challenger").
- Conocimiento General: Incluye consultas fácticas amplias de dominios no relacionados para probar la utilidad general del modelo.

JensUn++: Un Algoritmo de Desaprendizaje

Basándose en los conocimientos de SUITE, los autores proponen JensUn++, un algoritmo de desaprendizaje que mejora al estado del arte anterior (JensUn) centráéndose en generar rechazos válidos en lugar de suprimir el conocimiento (lo que a menudo conduce a la generación de texto sin sentido o gibberish). Sus componentes clave incluyen:

Objetivo de Emparejamiento de Distribución: El modelo es entrenado para coincidir con la distribución preentrenada original en el conjunto de retención (usando la divergencia de Jensen-Shannon) mientras aprende a generar una cadena de rechazo específica en el conjunto de olvido.
Mezcla de Prefijos Estocástica: Para asegurar que el modelo rechace incluso cuando está condicionado por respuestas parciales, los datos de entrenamiento se aumentan muestreando una longitud de prefijo aleatoria de la respuesta original y añadiendo la cadena de rechazo. Esto obliga al modelo a transicionar hacia un rechazo desde cualquier punto en la secuencia de generación.
Equilibrio de Pérdida Adaptativo: Se introduce un factor de escala dinámico para equilibrar las pérdidas de olvido y retención basadas en sus normas de gradiente, evitando que un objetivo domine al otro durante diferentes etapas de entrenamiento.
Emparejamiento de Consultas: Las muestras de olvido y retención se emparejan por tipo de aumentación para fomentar que el modelo dependa del contenido semántico en lugar de correlaciones superficiales.

Principales Contribuciones

Reencuadre de la Evaluación del Desaprendizaje: El artículo reencuadra el desaprendizaje como un problema de generalización asimétrica, motivando la necesidad de benchmarks que prueben tanto la generalización intensiva (lado del olvido) como la generalización extensiva (lado de la retención).
Dataset y Protocolo SUITE: La introducción de SUITE, que proporciona la primera anotación de grano fino del límite olvido-retención, incluyendo consultas indirectas para el sub-olvido y sondas graduadas semánticas/sintácticas/léxicas para el sobre-olvido.
Análisis Empírico de los Datos de Entrenamiento: Un estudio exhaustivo que demuestra que la elección de los datos de entrenamiento es tan crítica como el diseño algorítmico. Los métodos entrenados con SUITE muestran mejoras sustanciales sobre aquellos entrenados con benchmarks previos (como LKF*), revelando que las evaluaciones anteriores sobreestimaron significativamente el rendimiento del desaprendizaje.
Algoritmo JensUn++: Un nuevo método de desaprendizaje que logra el mejor equilibrio entre olvido y retención en tres LLMs diferentes (Llama-3.2-3B, Ministral-3-3B y Qwen3.5-9B) tanto en entornos de desaprendizaje secuencial como conjunto. Produce de forma única rechazos naturales y consistentes, evitando el texto sin sentido y las alucinaciones comunes en los métodos basados en la supresión.

Resultados

Discrepancia de Evaluación: Cuando se evalúan con SUITE, los métodos que parecían exitosos bajo LKF* (por ejemplo, PDU, RMU, NPO) exhibieron un severo sub-olvido (tasas de olvido >90%) y sobre-olvido (caídas significativas en la precisión de retención en niveles semánticamente cercanos).
Impacto del Entrenamiento: Entrenar con SUITE mejoró significativamente el rendimiento de todos los métodos excepto RMU, el cual no logró beneficiarse de los datos de grano fino, exponiendo una limitación en su capacidad para manejar consultas indirectas y reversas.
Rendimiento de JensUn++:
- Rendimiento de Olvido: Logró un olvido casi completo (tasa de conocimiento olvidado en el peor de los casos de 0–3%) en todos los modelos y configuraciones, con un 0% de salidas sin sentido (gibberish).
- Rendimiento de Retención: Mantuvo una alta precisión de retención, con una degradación mínima (caída de 1–3%) en comparación con los modelos preentrenados, incluso en los niveles semánticamente cercanos (Nivel 0).
- Robustez: Demostró resiliencia contra consultas adversarias (por ejemplo, juegos de rol, cambio de idioma) y ataques de "reaprendizaje benigno", donde el conocimiento olvidado no resurgió durante el entrenamiento posterior sobre datos no relacionados.
- Utilidad: Preservó mejor las capacidades generales de uso descendente (puntuaciones MMLU, diversidad de generación y calidad de respuesta) que los métodos competidores.

Significado

El artículo argumenta que el desaprendizaje está mal definido sin un límite de olvido-retención de grano fino. SUITE proporciona la estructura necesaria para diagnosticar tanto el sub-olvido como el sobre-olvido, sirviendo como base para un desaprendizaje más fiable. Los resultados indican que la calidad de los datos de entrenamiento es al menos tan importante como el diseño algorítmico; sin datos que codifiquen explícitamente el límite entre lo que se debe olvidar y lo que se debe retener, incluso los algoritmos sofisticados fallan al generalizar correctamente. JensUn++ demuestra que con los datos adecuados y un enfoque basado en el rechazo, es posible lograr un desaprendizaje efectivo que sea robusto, seguro (produciendo rechazos válidos) y que preserve la utilidad del modelo.