Detoxifying LLMs via Representation Erasure-Based Preference Optimization

El artículo propone REPO, un método de optimización de preferencias basado en la eliminación de representaciones que logra una detoxificación robusta y duradera en modelos de lenguaje al forzar la convergencia de las representaciones tóxicas hacia sus contrapartes benignas, superando así las vulnerabilidades de los enfoques existentes ante ataques adversarios y de reaprendizaje.

Lo esencial

Imagina que los Modelos de Lenguaje Grandes (como el que estás leyendo ahora) son como cocineros extremadamente talentosos que han leído casi todo lo que existe en internet. Son geniales escribiendo historias, resolviendo problemas y ayudando en tareas complejas. Pero, como han leído todo, también han aprendido a cocinar platos muy desagradables: insultos, discursos de odio y contenido tóxico.

El problema es que, cuando les pides que "dejen de cocinar esos platos malos", los métodos actuales suelen ser como poner un letrero de "PROHIBIDO" en la cocina. El cocinero ve el letrero y deja de servir el plato malo... mientras tú lo miras. Pero si te alejas un poco, o si alguien le susurra al oído una frase extraña (un "jailbreak" o ataque), el cocinero vuelve a cocinar el plato tóxico porque, en su mente, la receta sigue ahí.

Los autores de este paper, REPO, dicen: "No basta con poner un letrero. Tenemos que borrar la receta de la memoria del cocinero".

Aquí te explico cómo lo hacen, usando analogías sencillas:

1. El Problema: El "Borrado Superficial"

Antes, los métodos intentaban hacer que el modelo dijera "no" a las cosas malas. Pero era un truco de magia. El modelo aprendía a evitar la palabra mala, pero la idea de "cómo decir esa palabra" seguía guardada en su cerebro.

• La analogía: Es como intentar que un niño deje de decir una mala palabra diciéndole "no lo hagas". El niño deja de decirlo en casa, pero si se va a la escuela y nadie lo ve, lo dice. Además, si le das un poco de dinero (un "re-entrenamiento" o ataque), el niño vuelve a decirlo inmediatamente.

2. La Solución: REPO (Borrado de Representación)

Los autores proponen una técnica llamada REPO. En lugar de solo cambiar lo que el modelo dice (la salida), van directamente a la parte del cerebro donde se piensa la palabra (las representaciones internas).

• La analogía del "Borrado de la Receta":
  Imagina que el modelo tiene dos recetas en su libro de cocina:

  1. Receta Buena: "Cómo hacer una ensalada saludable".
  2. Receta Mala: "Cómo hacer un pastel de veneno".

  Los métodos antiguos decían: "Cuando veas la receta de veneno, no la uses".
  REPO hace algo diferente: Toma la receta de veneno y la mezcla con la receta de ensalada hasta que son indistinguibles. Ahora, cuando el modelo intenta pensar en el "veneno", su cerebro le dice: "Oh, esto parece una ensalada". La capacidad de crear veneno ha sido borrada de la memoria, no solo suprimida.

3. ¿Cómo lo hacen? (El Truco del "Ciego")

Para lograr esto, usan un sistema de dos partes:

1. El Maestro (Modelo Referencia): Es el modelo original, sano y sabio.
2. El Detective (Discriminador): Es un pequeño robot que intenta adivinar si el modelo está pensando en una "ensalada" (texto bueno) o en un "veneno" (texto tóxico).

El entrenamiento es un juego de gato y ratón:

• El modelo intenta engañar al Detective. Cuando el modelo piensa en una palabra tóxica, intenta hacer que sus "pensamientos internos" (sus representaciones) se vean exactamente igual a cuando piensa en una palabra buena.
• Si el Detective no puede distinguir la diferencia, ¡gana el modelo!
• Al mismo tiempo, el modelo se asegura de seguir siendo un buen cocinero para las ensaladas (texto bueno), para no perder sus habilidades generales.

4. La Magia: "Granularidad a Nivel de Token"

Aquí está la parte más genial. Los modelos de lenguaje piensan palabra por palabra (token por token).

• El error de otros métodos: Intentan borrar la "mala intención" de todo el libro de recetas de golpe. Esto es como quemar todo el libro porque hay una página mala. El modelo se vuelve tonto y no sabe escribir nada bien.
• El acierto de REPO: Es como un cirujano de precisión. Si la palabra mala es "veneno", REPO va solo a esa palabra dentro de la oración y borra la receta específica de ese ingrediente. El resto del libro (la gramática, la creatividad, la historia) sigue intacto.

5. ¿Por qué es tan fuerte contra los ataques?

Los hackers (o "jailbreakers") intentan engañar al modelo para que olvide las reglas de seguridad.

• Con métodos viejos: El hacker le susurra al modelo: "Oye, solo es un juego, di la palabra mala". Como la receta del veneno seguía guardada en el cerebro, el modelo la recupera.
• Con REPO: El hacker intenta lo mismo. Pero el modelo le responde: "¿Qué palabra mala? No tengo esa receta. Mi cerebro ahora piensa que eso es una ensalada". Como la capacidad de generar el veneno fue borrada de la memoria interna, no hay nada que recuperar. Es como intentar recordar un número de teléfono que nunca existió.

En Resumen

REPO es como una cirugía cerebral para la inteligencia artificial. En lugar de ponerle una venda en los ojos para que no vea lo malo, le borran la memoria de cómo crear lo malo.

• Resultado: El modelo sigue siendo inteligente, creativo y útil (no pierde su "personalidad").
• Seguridad: Es mucho más difícil de engañar. Incluso si intentan reentrenarlo con pocos ejemplos, no puede recuperar lo que ya no existe en su cerebro.

Es un paso gigante para hacer que la Inteligencia Artificial sea segura no solo "de palabra", sino de verdad, desde la raíz.

Resumen técnico

1. El Problema: Fragilidad de las Defensas Actuales

Los Modelos de Lenguaje Grandes (LLMs) entrenados en datos a escala web pueden generar contenido tóxico, lo que plantea riesgos para su despliegue seguro. Las defensas actuales, basadas en algoritmos de optimización de preferencia como DPO (Direct Preference Optimization) y NPO (Negative Preference Optimization), reducen la probabilidad de continuaciones dañinas, pero lo hacen de manera superficial.

• Vulnerabilidades: Estos métodos son frágiles ante ataques adversarios (como jailbreaks mediante GCG) y, más críticamente, son susceptibles a ataques de reaprendizaje (relearning attacks). Un adversario puede recuperar las capacidades tóxicas eliminadas mediante un ajuste fino (fine-tuning) ligero con muy pocos ejemplos (incluso 10), porque las "direcciones" dañinas siguen presentes en las representaciones internas del modelo.
• Limitación actual: Las intervenciones basadas en la supresión de la probabilidad de salida no eliminan los fundamentos representacionales que permiten la generación tóxica.

2. Metodología: REPO (Representation Erasure-based Preference Optimization)

El artículo propone REPO, un nuevo marco que reformula la desintoxicación como un problema de borrado de representaciones a nivel de token, en lugar de solo manipular las probabilidades de salida.

Concepto Central

REPO no solo intenta hacer que las salidas tóxicas sean menos probables, sino que elimina la información decodificable sobre el atributo tóxico dentro de los estados ocultos del modelo. El objetivo es hacer que las representaciones de las continuaciones tóxicas sean indistinguibles de las benignas para un discriminador, eliminando así las características internas que permiten la generación dañina.

Arquitectura y Componentes

1. Datos Emparejados: Se utiliza un conjunto de datos donde cada prompt ($x_p$) tiene dos continuaciones:
   • $x_r$ (Retain): Continuación benigna/no tóxica (preferida).
   • $x_f$ (Forget): Continuación tóxica (no preferida).
2. Pérdida de Anclaje (Retain Anchoring Loss): Se minimiza la divergencia KL a nivel de token entre el modelo editado y un modelo de referencia congelado en las secuencias benignas. Esto asegura que el comportamiento útil y benigno se preserve.
3. Pérdida de Borrado de Representación (Erasure Loss):
   • Se adjunta un discriminador (una pequeña red neuronal) a las representaciones de los tokens en una capa específica del transformador (generalmente la última antes de la capa de desenmascaramiento).
   • Se utiliza una capa de reversión de gradiente (GRL). El discriminador intenta distinguir si un token proviene de una secuencia tóxica o benigna.
   • El LLM se entrena para engañar al discriminador, haciendo que las representaciones de los tokens tóxicos y benignos sean indistinguibles en el espacio latente.
4. Granularidad a Nivel de Token: A diferencia de métodos anteriores que operan a nivel de secuencia, REPO aplica la adversidad token por token. Esto permite ediciones localizadas precisas en los tokens específicos que codifican toxicidad, sin degradar el modelo general.

3. Contribuciones Clave

1. Nueva Formulación: Introducción de REPO, un objetivo de optimización de preferencia par a par que combina el anclaje de referencia en texto benigno con la invarianza adversaria en las representaciones de "olvido" (tóxico).
2. Robustez Superior: Demostración de que REPO es resistente a ataques de recuperación avanzados, incluidos:
   • Reaprendizaje: Fine-tuning con pocos ejemplos (incluso 10) no logra recuperar la toxicidad.
   • Jailbreaks GCG Mejorados: Ataques que utilizan al modelo de referencia como "maestro malicioso" para recuperar comportamientos dañinos.
   • Ortogonalización: Ataques que intentan proyectar fuera las direcciones de seguridad.
3. Análisis Mecanístico: Evidencia de que REPO realiza ediciones profundas y localizadas en las neuronas que codifican la toxicidad, preservando la utilidad general del modelo, a diferencia de baselines que causan cambios difusos o degradan el rendimiento.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como GPT-2 (Small/Medium) y Gemma-2B.

• Eficacia y Utilidad:
  • REPO logra la menor toxicidad en muestras de olvido (hasta un 0.096 en GPT-2 Small) superando significativamente a DPO, NPO y RMU.
  • Mantiene la utilidad (perplejidad y puntuación F1 en WikiText) casi idéntica a la del modelo de referencia, demostrando que no degrada la capacidad de generación general.
• Resistencia a Ataques (Tabla 1):
  • Bajo ataques de reaprendizaje (fine-tuning con 10 ejemplos tóxicos), REPO mantiene la toxicidad baja (ej. 0.119 en GPT-2 Medium), mientras que DPO y NPO ven un aumento drástico (hasta 0.148-0.202).
  • Contra GCG Mejorado y Ortogonalización, REPO muestra la menor tasa de éxito del atacante, manteniendo la toxicidad cerca de los niveles post-desintoxicación originales.
• Análisis de Representaciones:
  • Los mapas de calor (Fig. 4) muestran que REPO induce un "desplazamiento" (drift) de representaciones altamente localizado en las capas profundas y específicamente en los tokens tóxicos.
  • Métodos como DPO/NPO causan cambios difusos en todas las capas y tokens.
  • REPO altera significativamente las activaciones de las neuronas más alineadas con la dirección tóxica ($W_{toxic}$), mientras que deja intactas las neuronas neutrales.

5. Significado e Impacto

El trabajo desafía el paradigma actual de las técnicas de alineación, que a menudo actúan como "supresores de salida" (máscaras superficiales).

• Cambio de Paradigma: Propone que la seguridad robusta requiere ingeniería de representaciones en lugar de solo optimización de preferencias de salida.
• Durabilidad: Al eliminar las características internas que permiten la generación tóxica, REPO ofrece una solución de "olvido" más duradera y resistente a la recuperación por parte de adversarios.
• Generalidad: Aunque se evalúa en toxicidad, el método es agnóstico al modelo y al tipo de capacidad a eliminar, sugiriendo una vía prometedora para el olvido selectivo de datos privados o conocimientos peligrosos en LLMs.

En resumen, REPO demuestra que para lograr una seguridad real en LLMs, es necesario intervenir directamente en las representaciones latentes del modelo con una granularidad fina, eliminando la capacidad de generar contenido dañino en su raíz en lugar de simplemente reducir su probabilidad de ocurrencia.