🤖 machine learning

Unforgettable Generalization in Language Models

Este artículo investiga cómo se comportan los modelos de lenguaje al "desaprender" habilidades mediante el ajuste fino con etiquetas aleatorizadas, revelando que la generalización del olvido es altamente impredecible y dependiente de la tarea, fallando a menudo en extenderse más allá de ejemplos de entrenamiento específicos a pesar de producir salidas superficialmente aleatorias, mientras que las capacidades subyacentes de la tarea permanecen intactas según lo evidenciado por el éxito del sondeo lineal.

Autores originales: Eric Zhang, Leshem Choshen, Jacob Andreas

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eric Zhang, Leshem Choshen, Jacob Andreas

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot superinteligente que ha leído casi todo en internet. Puede escribir poemas, resolver problemas matemáticos y decirte por qué el cielo es azul. Pero, a veces, este robot aprende cosas que no quieres que sepa, o se vuelve demasiado bueno en un truco específico que quieres "desenseñarle". Este es el mundo del "desaprendizaje de máquinas" (machine unlearning), una rama de la investigación en inteligencia artificial que plantea una pregunta difícil: ¿Podemos hacer que un robot olvide de verdad?

Para entender el experimento, necesitas saber dos cosas. Primero, estos robots (llamados Modelos de Lenguaje Extensos) son entrenados leyendo toneladas de texto y luego son "ajustados" (fine-tuned) con ejemplos específicos para mejorar en un trabajo, como responder preguntas científicas. Segundo, una forma común de intentar hacer que olviden es mostrarles las mismas preguntas de nuevo, pero con las respuestas completamente desordenadas o inventadas. La idea es que, si confundes al robot lo suficiente con respuestas incorrectas, podría simplemente rendirse ante ese tema por completo. El gran misterio que los investigadores han estado persiguiendo es: ¿Se propaga esta confusión? Si confundes al robot sobre una pregunta específica, ¿olvida cómo responder a todas las preguntas similares, o solo se confunde sobre ese ejemplo específico?

El Gran Experimento del "Des-entrenamiento"

En este artículo, los investigadores Eric Zhang, Leshem Choshen y Jacob Andreas del MIT decidieron jugar un juego de "desaprendizaje" con un modelo de lenguaje gigante llamado Llama2. Trataron al modelo como a un estudiante que acaba de aprobar un examen con nota excelente, y luego intentaron hacer que olvidara el material volviendo a enseñárselo con respuestas aleatorias y sin sentido. Querían ver si el estudiante olvidaría toda la materia o solo los problemas de práctica específicos que se le mostraron.

La Gran Sorpresa: Depende de la Materia
Los investigadores probaron esto en 21 tipos diferentes de tareas, que iban desde el "sentido común físico" (como averiguar qué objeto es más pesado) hasta la "implicación" (decidir si una oración sigue lógicamente a otra). Los resultados fueron salvajes e impredecibles.

A veces, el olvido funcionaba perfectamente. Si intentaban hacer que el modelo olvidara cómo hacer una clasificación de implicación (un acertijo lógico sobre oraciones), el modelo se quedaba en blanco. Empezaba a dar respuestas aleatorias e inútiles a nuevas preguntas que nunca había visto antes. Era como si el robot hubiera perdido la capacidad de realizar ese tipo específico de lógica por completo.

Pero otras veces, el olvido era un fracaso total. Cuando intentaban hacer que el modelo olvidara el sentido común físico (como cómo funciona la gravedad) o las pregcciones científicas, el modelo se mostraba obstinado. ¡Incluso después de ser entrenado con respuestas aleatorias y erróneas, seguía respondiendo correctamente a nuevas preguntas científicas! Era como un estudiante al que se le obligó a memorizar las respuestas incorrectas para un examen de práctica específico, pero cuando llegó el examen real, todavía sabía las respuestas correctas. El modelo parecía haber olvidado los ejemplos específicos con los que fue entrenado, pero mantenía intacto su conocimiento general.

No se Trata de Qué Tan Difícil sea el Examen
Podrías pensar que el modelo solo olvida las cosas fáciles y recuerda las difíciles. Los investigadores comprobaron esto, y resulta que eso no es cierto. Descubrieron que la dificultad de la tarea no predecía si el modelo olvidaría o no. Por ejemplo, el modelo era en realidad mejor recordando las respuestas de las preguntas de "ARC Challenge" que las de "ARC Easy", a pesar de que ambas eran preguntas de ciencia. La dificultad de la pregunta no importaba; el tipo de pregunta era lo que importaba.

Las Pistas Secretas: Confianza y Variabilidad del "Cerebro"
Entonces, ¿qué hace que una habilidad sea fácil o difícil de olvidar? Los investigadores encontraron dos pistas escondidas dentro del "cerebro" del modelo (sus representaciones de datos internas):

Confianza: Si el modelo ya estaba muy inseguro sobre la respuesta antes de que comenzaran el experimento de olvido, era más fácil hacerlo olvidar. Si el modelo era seguro, se aferraba con más fuerza.
Variabilidad del Cerebro: Esto es un poco como observar cuánto "vibran" los pensamientos del modelo. Si las "representaciones" internas del modelo para una tarea estaban por todos lados (alta variabilidad), era más difícil de borrar. Si los pensamientos eran muy consistentes y similares (baja variabilidad), el modelo era más fácil de "des-entrenar".

El Olvido "Superficial"
Aquí es donde la parte más asombrosa ocurre. Incluso cuando el modelo parecía haber olvidado con éxito una habilidad —dando respuestas aleatorias a todo el mundo—, los investigadores descubrieron que la información no se había ido realmente. Construyeron una herramienta simple llamada "sonda lineal" (piensa en ella como un detector pequeño y especializado) y observaron las ondas cerebrales internas del modelo.

Sorprendentemente, este detector aún podía leer las respuestas correctas perfectamente, a pesar de que el modelo mismo actuaba como si no supiera nada. Es como un estudiante que finge estar confundido y da respuestas aleatorias en clase, pero si revisas sus notas, las respuestas correctas todavía están escritas allí con una caligrafía perfecta. El "olvido" era solo un acto superficial; el conocimiento profundo seguía ahí, esperando ser encontrado.

La Conclusión Final
El artículo concluye que intentar hacer que la IA olvide habilidades específicas simplemente re-entrenándola con respuestas aleatorias es una apuesta. Funciona para algunas tareas (como los acertijos lógicos) pero falla para otras (como la ciencia y el sentido común). Además, incluso cuando parece funcionar, la información no se elimina realmente; solo se esconde detrás de una capa de confusión. Los investigadores sugieren que necesitamos comprender mucho más sobre cómo estos modelos aprenden y almacenan la información antes de que podamos hacer que olviden de manera confiable lo que no queremos que sepan.

Resumen Técnico: Generalización Inolvidable en Modelos de Lenguaje

Declaración del Problema

El artículo aborda una brecha crítica en el campo del desaprendizaje (unlearning) de máquinas para Modelos de Lenguaje (LM). Mientras que la investigación reciente se ha centrado en desarrollar técnicas para eliminar habilidades específicas o conocimiento declarativo de los LM —a menudo mediante el ajuste fino (fine-tuning) sobre etiquetas aleatorizadas para "desaprender" una tarea—, existe una comprensión limitada de cómo este olvido se generaliza. Específicamente, cuando un LM es entrenado para olvidar una capacidad en un conjunto de entrenamiento específico, ¿cambia su comportamiento de manera predecible en ejemplos no vistos de la misma tarea, o el olvido permanece localizado solo en los datos de entrenamiento? Los autores investigan si la eliminación dirigida de una habilidad mediante el ajuste fino resulta en un desaprendizaje robusto y generalizable, o si el modelo retiene la capacidad de realizar la tarea "olvidada" en nuevas instancias.

Metodología

Los autores llevan a cabo un estudio sistemático utilizando el modelo base Llama2 de 7 mil millones de parámetros, con validación adicional en GPT-J-6B y GPT-2. La configuración experimental involucra 21 tareas diversas de opción múltiple que abarcan razonamiento de sentido común, comprensión de lectura, matemáticas, detección de toxicidad y clasificación de implicación (entailment).

El procedimiento central sigue un flujo de tres etapas:

Pre-entrenamiento: Partiendo de un LM pre-entrenado.
Ajuste Fino (Fine-tuning): El modelo es ajustado finamente en una tarea objetivo ( $T_{train}$ ) para maximizar la precisión, estableciendo una línea base de la capacidad aprendida.
Olvido: El modelo es ajustado finamente nuevamente en el mismo conjunto de entrenamiento ( $T_{train}$ ) pero con etiquetas elegidas uniformemente al azar. Este es un método estándar para inducir el olvido.

Métricas:
Para cuantificar el éxito del olvido, los autores definen dos métricas:

Brecha de Olvido (Forget Gap): La diferencia entre la precisión después del olvido y la precisión aleatoria esperada (50% para tareas binarias). Una brecha de 0 implica un olvido completo.
Ratio de Olvido (Forget Ratio): Una medida normalizada que compara la caída en la precisión tras el olvido contra la ganancia total posible del ajuste fino. Un ratio de 1 indica un olvido completo; 0 indica ningún olvido.

Dimensiones de Análisis:
El estudio evalúa el olvido a través de varias dimensiones:

Generalización a Nivel de Tarea: Comparando el rendimiento del olvido entre diferentes tipos de tareas.
Olvido Transversal de Tareas (Cross-Task Forgetting): Ajuste fino sobre etiquetas aleatorias de la Tarea A y evaluación en la Tarea B.
Predictores del Olvido: Analizando correlaciones entre el éxito del olvido y la dificultad de la tarea, la confianza del modelo y la varianza de las representaciones de los estados ocultos.
Orden de Aprendizaje vs. Olvido: Investigando la relación entre el orden en que se aprenden los ejemplos y el orden en que se olvidan.
Profundidad del Olvido: Entrenando sondas lineales (linear probes) en las representaciones ocultas del modelo después del procedimiento de olvido para determinar si la información es verdaderamente borrada o simplemente censurada.

Resultados Clave

1. Alta Variabilidad en la Generalización

El hallazgo principal es que la generalización del olvido es altamente dependiente de la tarea e impredecible.

Tareas Robustas: Las tareas que involucran razonamiento de sentido común (ej. PIQA, ARC) y respuesta de preguntas científicas (ej. SciQ, PubMedQA) son notablemente resilientes al olvido. Incluso después de entrenar con etiquetas aleatorias, estos modelos a menudo mantienen una alta precisión en ejemplos de prueba, fallando efectivamente en generalizar el comportamiento de "olvido".
Tareas Frágiles: Las tareas lingüísticas de nivel inferior, particularmente la clasificación de implicación (ej. MNLI, RTE, CoLA) y la aceptabilidad gramatical, se olvidan fácilmente. Los modelos entrenados con etiquetas aleatorias para estas tareas tienden a producir predicciones casi aleatorias en nuevas instancias de prueba.

2. La Tarea de Evaluación Determina el Éxito

En experimentos de tareas transversales, los autores encontraron que la efectividad del procedimiento de olvido está determinada en gran medida por la tarea que se está evaluando, no por la tarea utilizada para el entrenamiento. Por ejemplo, entrenar a un modelo para olvidar el razonamiento de sentido común a menudo falla en inducir el olvido en esa tarea específica, pero puede causar inadvertidamente que el modelo olvide otras tareas lingüísticas no relacionadas.

3. Predictores del Olvido

Dificultad de la Tarea: Contrario a la intuición, la dificultad de la tarea (medida por la precisión del ajuste fino) no es un predictor confiable de la olvidabilidad. Las tareas más difíciles no son necesariamente más difíciles de olvidar.
Confianza del Modelo: El artículo establece explícamente en su conclusión que la dificultad del conjunto de datos y la confianza del modelo no son predictivas de si una tarea es olvidada, a pesar de observar una débil correlación en diagramas de dispersión específicos.
Varianza de la Representación: La varianza total de los estados ocultos (específicamente el último token de la pregunta en la capa penultimate) es un fuerte predictor. Las tareas con menor varianza en las representaciones de sus datos de entrenamiento están asociadas con una mayor generalización del olvido. Esto sugiere que las tareas "más amplias" o más diversas son más difíciles de olvidar.

4. Naturaleza Superficial del Olvido

Incluso en casos donde el modelo parece haber olvidado una tarea con éxito (produciendo salidas aleatorias), la información no ha sido eliminada realmente. Las sondas lineales entrenadas en las representaciones ocultas del modelo aún pueden recuperar con fiabilidad las etiquetas correctas de la tarea con alta precisión. Esto indica que el ajuste fino con etiquetas aleatorias induce un olvido superficial, censurando efectivamente la salida sin borrar la capacidad subyacente de la representación del modelo.

5. Robustez a través de Modelos y Métodos

Las tendencias observadas se mantienen a través de diferentes arquitecturas de modelos (Llama2, GPT-J, GPT-2) y diferentes estrategias de olvido (etiquetas aleatorias vs. etiquetas invertidas/flipped labels), lo que sugiere que estos son propiedades fundamentales de cómo el ajuste fino interactúa con las estructuras de las tareas en lugar de ser artefactos de un modelo o método específico.

Significancia y Reivindicaciones

El artículo afirma resaltar la dificultad e imprevisibilidad de realizar la eliminación dirigida de habilidades de modelos de lenguaje mediante técnicas estándar de ajuste fino.

Imprevisibilidad: Los autores enfatizan que no se puede asumir que entrenar a un modelo para olvidar una habilidad en un conjunto de datos específico resultará en que dicha habilidad sea olvidada en nuevas instancias similares. El comportamiento está gobernado por variabilidades trans-tarea complejas y estructuradas.
Eliminación Superficial: El estudio cuestiona la eficacia del ajuste fino con etiquetas aleatorias como un verdadero mecanismo de "desaprendizaje". Dado que las sondas lineales pueden recuperar las capacidades olvidadas, el método no elimina la información de las representaciones internas del modelo, lo que plantea preocupaciones sobre su utilidad para aplicaciones de privacidad o seguridad donde se requiere una eliminación real de datos.
Dependencia de la Tarea: Los hallazgos sugieren que el éxito del desaprendizaje es intrínseco a la naturaleza de la tarea que se evalúa, más que a los datos de entrenamiento específicos utilizados para el proceso de olvido.

Los autores concluyen que, si bien el ajuste fino con etiquetas aleatorias es un método simple y ampliamente utilizado para el olvido, resulta en resultados altamente variables y a menudo superficiales, subrayando la necesidad de una mayor investigación sobre la relación entre los datos de entrenamiento para el olvido y la generalización de las predicciones del modelo.