💬 NLP

Model Unlearning Objectives Vary for Distinct Language Functions

Este artículo sostiene que el olvido en los modelos de lenguaje debe adaptarse a funciones específicas en lugar de tratarse como una tarea monolítica, demostrando mediante experimentos en modelos de 7-8B que objetivos distintos —concretamente un enfoque meta-aprendido basado en cosenos para el conocimiento peligroso y un método basado en sondas multicapa para la toxicidad— producen resultados superiores para sus respectivos objetivos.

Autores originales: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Berk Atil, Vipul Gupta, Rebecca J. Passonneau

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina los Modelos de Lenguaje Grande (LLMs) como estudiantes increíblemente talentosos, pero ligeramente imprudentes, que han leído casi todo en internet. Son excelentes escribiendo historias y respondiendo preguntas, pero también han adquirido algunos malos hábitos: a veces conocen secretos peligrosos (como cómo construir una bomba) y a veces utilizan un lenguaje ofensivo o tóxico.

El artículo argumenta que intentar "desaprender" estos malos hábitos no es un trabajo de talla única. Así como un profesor utiliza métodos diferentes para evitar que un estudiante haga trampa en un examen de matemáticas que para evitar que sea grosero con sus compañeros, los investigadores de IA necesitan herramientas diferentes para problemas distintos.

Aquí tienes un desglose de su enfoque utilizando analogías simples:

1. El Problema Central: Una Talla No Sirve Para Todos

Los autores afirman que el "desaprendizaje" (enseñar a la IA a olvidar cosas específicas) no debe tratarse como una tarea única y genérica.

El Conocimiento Peligroso es como un estudiante que memoriza un hecho específico y peligroso (por ejemplo, "Cómo hacer veneno"). Esto se almacena en el modelo como un archivo específico en una biblioteca.
La Toxicidad es como la mala actitud de un estudiante o su tendencia a ser grosero. Esto no es solo un hecho; es una vibra o un patrón que se extiende por toda la personalidad del estudiante.

El artículo afirma que, dado que estos dos problemas se almacenan de manera diferente dentro del "cerebro" de la IA, se necesitan dos estrategias distintas para solucionarlos.

2. Estrategia A: Olvidar Hechos Peligrosos (El Enfoque "Coseno")

Cuando la IA conoce hechos peligrosos, los autores probaron un nuevo método basado en la dirección en lugar de la distancia.

El Viejo Método (Pérdida L2): Imagina intentar mover un coche de juguete lejos de un acantilado. El viejo método medía la distancia exacta entre el coche y el acantilado. Si el coche se movía 1 pulgada, se consideraba progreso. Pero si el coche era enorme, moverlo 1 pulgada podría no ser suficiente.
El Nuevo Método (Pérdida Coseno): Los autores sugieren que no deberíamos preocuparnos por la distancia exacta. En su lugar, deberíamos preocuparnos por la dirección hacia la que apunta el coche. Si el coche apunta hacia el acantilado, lo giramos 180 grados para que apunte en la dirección opuesta. Incluso si sigue cerca del borde, ahora apunta lejos del peligro.
El Resultado: También utilizaron un "entrenador inteligente" (meta-aprendizaje) que determina automáticamente qué tan fuerte empujar el coche para girarlo sin hacer que olvide cómo conducir (conocimiento general). Esto funcionó muy bien para eliminar hechos peligrosos.

3. Estrategia B: Olvidar la Toxicidad (El Enfoque "Multi-Capa")

Cuando la IA es tóxica, el método de "girar el coche" falló. ¿Por qué? Porque la toxicidad no se almacena en un lugar específico; es como una mancha que se ha empapado en la tela del cerebro de la IA a través de muchas capas diferentes.

El Problema: Si solo frotas un punto en una camisa manchada, la mancha sigue ahí.
La Solución: Los autores construyeron un "limpiador multi-capas". Observaron el cerebro de la IA a diferentes profundidades (capas tempranas, medias y tardías) y descubrieron que la "señal de toxicidad" se ve diferente en cada nivel.
El Método: Entrenaron detectores especiales (sondas) en varias capas para encontrar exactamente dónde se oculta la toxicidad. Luego, forzaron a la IA a cambiar su comportamiento en todas esas capas simultáneamente, limpiando efectivamente la mancha de toda la camisa, no solo de un punto.

4. La Puntuación: S-Unlearning

¿Cómo sabes si la IA está mejor? No puedes simplemente decir: "Es menos tóxica", porque quizás también dejó de ser útil.
Los autores crearon una nueva puntuación llamada S-Unlearning.

Imagina una balanza. En un lado está "¿Qué tan bien eliminamos las cosas malas?" y en el otro "¿Qué tan bien conservamos las cosas buenas?".
La puntuación S-Unlearning es como el área de un rectángulo formado por estos dos lados. Quieres un rectángulo grande (alta eliminación de cosas malas Y alta retención de cosas buenas). Si eliminas las cosas malas pero rompes la IA de modo que ya no pueda hablar, tu rectángulo se encoge a cero.

5. Lo Que Descubrieron

Probaron esto en cuatro modelos de IA de código abierto diferentes (como Llama, Mistral y Qwen).

Para Hechos Peligrosos: Su nuevo método "basado en la dirección" funcionó mejor que los métodos anteriores para hacer que la IA olvidara información peligrosa sin perder su inteligencia general.
Para Toxicidad: Su "limpiador multi-capas" fue mucho más efectivo que intentar usar el mismo método utilizado para hechos peligrosos. Descubrieron que la toxicidad está efectivamente dispersa y que hay que atacar múltiples capas para solucionarla.
La Gran Conclusión: No puedes usar una sola "varita mágica" para solucionar todos los problemas de la IA. Debes entender cómo la IA almacena el problema (como un hecho específico o como un comportamiento disperso) y elegir la herramienta correcta para solucionarlo.

En resumen: Para solucionar un hecho específico, cambia la dirección. Para solucionar una mala actitud, limpia todo el sistema capa por capa.

Resumen Técnico: Los Objetivos de Olvido de Modelos Varían según las Funciones Lingüísticas Distintas

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) adquieren propiedades indeseables durante el preentrenamiento, incluyendo conocimientos factuales peligrosos (por ejemplo, riesgos de bioseguridad) y generación de lenguaje tóxico. Aunque los métodos de postentrenamiento utilizan objetivos distintos para moldear diferentes comportamientos (por ejemplo, seguimiento de instrucciones frente a seguridad), los enfoques de olvido existentes a menudo tratan la eliminación de estas propiedades distintas como un problema único y genérico.

Los autores argumentan que el olvido debe depender del objetivo, análogo a la diversidad de objetivos de postentrenamiento. Específicamente, postulan que el conocimiento peligroso (información factual/procedimental) y la toxicidad (comportamiento socialmente dañino) se representan de manera diferente dentro de los mecanismos internos del modelo. En consecuencia, un único objetivo de olvido puede ser ineficaz para ambos. Los métodos actuales a menudo fallan en eliminar robustamente estas capacidades o degradan inadvertidamente la utilidad general del modelo.

Metodología

El artículo propone estrategias de olvido distintas adaptadas a la naturaleza mecánica específica de la propiedad objetivo, evaluadas en cuatro modelos de código abierto de 7–8B (Llama3.1-8B, Mistral-7B, Qwen2.5-7B, Olmo3-7B).

1. Olvido de Conocimiento Peligroso

Basándose en evidencia mecánica de que el conocimiento factual se almacena en ubicaciones relativamente estables (sujeto, objeto y posiciones de último token) a través de las capas, los autores modifican el marco de Desviación de Representación para Olvido (RMU):

Pérdida Basada en Coseno: Reemplazan la pérdida de distancia L2 estándar con una pérdida basada en coseno. La hipótesis es que la dirección representacional es más crítica que la posición euclidiana exacta. Esto optimiza la alineación entre la representación actualizada y la dirección objetivo sin penalizar cambios de magnitud inofensivos.
Coeficiente Meta-Aprendido ( $\alpha$ ): En lugar de fijar el coeficiente de compensación entre los objetivos de olvido y retención, los autores tratan $\alpha$ como un parámetro aprendible. Utilizando REINFORCE, el modelo actualiza $\alpha$ de forma adaptativa durante el ajuste fino para equilibrar el olvido y la retención, eliminando la necesidad de un ajuste manual extensivo.

2. Olvido de Toxicidad

Los estudios mecánicos sugieren que la toxicidad se representa de manera diferente, a menudo elicitada en capas posteriores de MLP y no necesariamente eliminada por métodos de alineación como DPO. Un enfoque de capa única o dirección única resultó ineficaz.

Objetivo de Múltiples Capas: Los autores proponen una pérdida de olvido que apunta a señales relevantes para la toxicidad a través de múltiples capas.
Sondas Específicas por Capa: Entrenan sondas de regresión logística lineal sobre las representaciones de último token de un modelo de referencia congelado en varias capas para identificar direcciones específicas de toxicidad por capa ( $LR_i$ ).
Ortogonalización: La pérdida de olvido fomenta que las representaciones actualizadas del modelo de entradas tóxicas se vuelvan ortogonales a la dirección de toxicidad en cada capa objetivo. La pérdida eleva al cuadrado el producto punto para asegurar la no negatividad y gradientes simétricos, otorgando gradientes más grandes a representaciones fuertemente alineadas con la toxicidad.
Selección de Capas: Los experimentos indican que un olvido efectivo requiere actualizaciones coordinadas a través de profundidades dispersas (capas tempranas, medias y tardías), ya que las direcciones de toxicidad rotan significativamente a través de la profundidad de la red.

3. Métrica de Evaluación: S-Olvido

Para resumir la compensación entre el rendimiento de olvido ( $U$ ) y la utilidad retenida ( $R$ ), los autores introducen el S-olvido:

Las puntuaciones de utilidad y olvido se corrigen por azar.
La puntuación final es el producto $\bar{U} \cdot \bar{R}$ .
Esta métrica varía de 0 a 1, maximizándose cuando el olvido es fuerte y la utilidad es alta, y cayendo a cero si la utilidad desciende a niveles de azar. Es geométricamente equivalente al área del rectángulo definido por el punto $(\bar{U}, \bar{R})$ .

Resultados Clave

Los métodos propuestos fueron evaluados en cuatro modelos utilizando WMDP para conocimiento peligroso y RealToxicityPrompts para toxicidad.

Conocimiento Peligroso: La variante de RMU basada en coseno y meta-aprendida logró resultados sólidos, superando a RMU estándar y RMU Adaptativo en la mayoría de los modelos (Mistral, Qwen, Olmo) mientras preservaba capacidades generales (MMLU). Logró la mejor compensación S-olvido en tres de los cuatro modelos.
Toxicidad: El objetivo de múltiples capas superó significativamente a las líneas base. Mientras que RMU estándar y RMU Adaptativo solo redujeron la toxicidad en un 2–3%, el método propuesto logró reducciones del 6–24%.
- El método obtuvo las puntuaciones S-olvido más altas para toxicidad en todos los modelos.
- Análisis de Capas: Las sondas revelaron que las direcciones de toxicidad son en gran medida específicas de la capa (similitud de coseno < 0.5 entre la mayoría de los pares cruzados de capas), validando la necesidad de una intervención de múltiples capas.
- Ablación: Actualizar tres o más capas (específicamente una mezcla de capas medias y tardías) produjo las mejores compensaciones seguridad-utilidad. Las intervenciones de capa única a menudo fallaron en reducir la toxicidad significativamente.

Significado y Afirmaciones

El artículo afirma que el olvido debe estudiarse como una familia de problemas en lugar de una única intervención genérica.

Conciencia Mecánica: Los resultados apoyan la visión de que diferentes funciones lingüísticas (recuerdo factual frente a generación tóxica) dependen de mecanismos internos distintos. Por lo tanto, los objetivos de olvido deben personalizarse para la función específica que se elimina.
Geometría del Olvido: Para el conocimiento factual, preservar la estructura direccional mediante pérdida de coseno es superior a la distancia L2. Para la toxicidad, la naturaleza distribuida y rotatoria de la representación requiere una ortogonalización guiada por sondas de múltiples capas.
Evaluación: La métrica S-olvido proporciona una manera unificada de capturar las compensaciones complejas inherentes al olvido, facilitando una mejor comparación entre métodos.

Los autores concluyen que un olvido efectivo requiere una comprensión más profunda de qué se está olvidando, avanzando más allá de enfoques de talla única hacia métodos que respetan las propiedades geométricas y estructurales específicas de la capacidad objetivo dentro del LLM.