💻 computer science

The Linear Geometry of Interpretable Tokens: Jailbreaking Attacks and Defenses for Unlearned Diffusion Models

Este artículo revela que los conceptos eliminados en los modelos de difusión desaprendidos persisten como subespacios lineales coherentes dentro de los embeddings de tokens, lo que conduce al desarrollo de SubAttack, un poderoso método de jailbreaking que explota esta estructura, y SubDefense, un mecanismo ligero que proyecta fuera el subespacio para suprimir robustamente los conceptos dañinos residuales mientras preserva la calidad de la generación.

Autores originales: Siyi Chen, Yimeng Zhang, Sijia Liu, Qing Qu

Publicado 2026-08-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Siyi Chen, Yimeng Zhang, Sijia Liu, Qing Qu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden pintar cuadros con solo escuchar tus palabras. Dices: "un gato usando un sombrero", y puf, aparece una imagen perfecta. Estos se llaman Modelos de Difusión, y son como artistas digitales que aprendieron a crear estudiando millones de fotos. Pero a veces, estos artistas se vuelven un poco demasiado buenos recordando cosas que no deberían. Si les pides que dibujen algo peligroso o con derechos de autor, es posible que lo hagan de todos modos. Para solucionar esto, los científicos inventaron un proceso llamado "Desaprendizaje" (Unlearning). Piensa en ello como un profesor intentando hacer que un estudiante olvide un dato específico, como la capital de un país, sin hacer que olvide cómo hacer matemáticas o leer. El objetivo es "borrar" la mala idea del cerebro de la computadora mientras se mantiene su capacidad de dibujar todo lo demás. Pero aquí está la parte difícil: incluso después de que el profesor dice: "Olvida ese dato", es posible que el estudiante todavía tenga una forma secreta de recordarlo, oculta de una manera que no podemos ver fácilmente. Este artículo profundiza en este misterio, preguntándose: Si creemos que hemos borrado una mala idea, ¿dónde se esconde realmente y cómo podemos deshacernos de ella finalmente?

Los investigadores en este artículo descubrieron que cuando un modelo de difusión intenta "desaprender" un concepto dañino (como la desnudez o el estilo de un artista específico), en realidad no lo elimina. En su lugar, el concepto se esconde en un subespacio lineal secreto dentro de la memoria de la computadora. Para usar una metáfora, imagina que el cerebro de la computadora es una biblioteca gigante de palabras. Cuando intentamos eliminar el libro sobre la "Desnudez", la computadora no quema el libro. En su lugar, tritura las páginas y esconde los fragmentos dentro de un cajón específico e invisible en la biblioteca. El artículo muestra que estos fragmentos todavía están organizados en una línea limpia y predecible. Los autores llaman a este cajón oculto un "subespacio residual".

Para probar esto, el equipo creó una nueva herramienta llamada SubAttack. En lugar de adivinar palabras al azar para engañar a la computadora (que es como los hackers anteriores intentaban hacerlo), SubAttack actúa como un maestro bibliotecario que sabe exactamente dónde está ese cajón invisible. Aprende un conjunto especial de "llaves mágicas" (que son simplemente combinaciones de palabras normales) que abren el cajón. Cuando usaron estas llaves, la computadora "desaprendida" comenzó a dibujar inmediatamente las imágenes dañinas de nuevo, demostrando que el concepto nunca se había ido realmente. Lo que es fascinante es que estas llaves están hechas de palabras que podemos entender. Por ejemplo, para hacer que la computadora dibuje a una persona "desnuda" de nuevo, las llaves podrían ser una mezcla de palabras como "esclavo", "caderas" y "piel". Esto muestra que la computadora todavía está conectando la mala idea con estos indicios ocultos y relacionados.

El artículo también encontró que este cajón secreto no está solo en una computadora; está en muchos modelos "desaprendidos" diferentes. Si encuentras la llave para un modelo, a menudo funciona en otros también. Esto sugiere que la forma en que estas computadoras "olvidan" es defectuosa de una manera muy similar en todos los casos. No están borrando la memoria; solo la están escondiendo de una manera que sigue una línea recta y predecible.

Pero la historia no termina con el hackeo. Debido a que los investigadores entendieron exactamente cómo se escondía el concepto, construyeron un escudo llamado SubDefense. Si SubAttack es la llave que abre el cajón, SubDefense es una placa de metal pesado que suelda ese cajón para cerrarlo. Funciona tomando toda la biblioteca de palabras de la computadora y "proyectándolas" matemáticamente lejos de ese cajón secreto. Es como decirle al bibliotecario: "No importa qué palabra uses, asegúrate de que nunca apunte hacia ese cajón oculto específico".

Los resultados fueron impresionantes. Cuando usaron SubDefense, la computadora se volvió mucho más difícil de engañar. Incluso cuando los hackers intentaron usar los métodos antiguos o las nuevas llaves de SubAttack, la computadora se negó a dibujar las imágenes dañinas. Al mismo tiempo, la computadora no perdió su capacidad de dibujar imágenes seguras y hermosas. De hecho, las imágenes que dibujó después de la defensa eran tan de alta calidad como antes. El artículo sugiere que, aunque aún no podemos borrar el concepto perfectamente, al menos podemos bloquear el camino específico que utiliza para filtrarse de nuevo. Esto nos brinda una nueva y clara forma de entender por qué el "desaprendizaje" es tan difícil y ofrece una solución práctica y lista para usar para hacer que estos artistas digitales sean más seguros para todos.

Resumen Técnico: La Geometría Lineal de los Tokens Interpretables en Modelos de Difusión Desaprendidos

Planteamiento del Problema
Los modelos de difusión (DM), particularmente los modelos de Texto-a-Imagen (T2I), sobresalen en la generación de contenido de alta calidad, pero plantean riesgos de seguridad al poder memorizar y reproducir conceptos dañinos (por ejemplo, desnudez, estilos con derechos de autor o objetos específicos). Se han desarrollado métodos de Desaprendizaje de Máquina (MU, por sus siglas en inglés) para "borrar" estos conceptos de modelos preentrenados mediante el ajuste fino (fine-tuning) sin necesidad de reentrenar desde cero. Sin embargo, los métodos de desaprendizaje existentes luchan por eliminar completamente los conceptos dañinos mientras mantienen la calidad de generación en contenidos seguros. En consecuencia, los modelos desaprendidos siguen siendo vulnerables a ataques de jailbreaking, donde los adversarios manipulan los prompts para regenerar los conceptos borrados.

Los enfoques actuales de jailbreaking (por ejemplo, optimización de prompts adversarios o ataques basados en embeddings) suelen depender de perturbaciones basadas en la optimización que no son interpretables. Aunque son efectivos, estos métodos ofrecen una visión limitada de cómo los conceptos dañinos persisten dentro del estado interno del modelo. Esta falta de interpretabilidad dificulta el desarrollo de estrategias de defensa dirigidas y robustas. Además, los mecanismos de defensa ligeros y post-hoc que operan sobre modelos ya desaprendidos siguen siendo poco explorados en comparación con los enfoques de reentrenamiento adversario.

Metodología
Los autores proponen que los conceptos borrados no desaparecen por completo, sino que persisten como un subespacio lineal coherente e interpretable dentro del espacio de embeddings de tokens del codificador de texto CLIP utilizado por los Modelos de Difusión Latente (LDM). Basándose en esta hipótesis, introducen dos métodos complementarios: SubAttack y SubDefense.

SubAttack (Ataque de Subespacio):
- Objetivo: Identificar y explotar el subespacio residual de un concepto dañino.
- Mecanismo: El método aprende un conjunto de embeddings de tokens ortogonales $\{v_{att, k}\}$ que abarcan el subespacio residual. Cada embedding está restringido a ser una combinación lineal no negativa de los embeddings de tokens del vocabulario existente ( $v_{att} = \sum \alpha_i v_i, \alpha_i \geq 0$ ).
- Optimización: Se entrena una red MLP para optimizar los coeficientes $\alpha_i$ para minimizar la pérdida de eliminación de ruido (denoising loss) cuando la imagen generada contiene el concepto dañino objetivo.
- Deflación: Para aprender múltiples embeddings ortogonales, los autores emplean una estrategia de deflación. Después de aprender $v_{att, k}$ , proyectan todo el vocabulario ortogonalmente a $v_{att, k}$ antes de aprender el siguiente embedding. Esto asegura la diversidad y captura el subespacio completo del concepto residual.
- Interpretabilidad: Debido a que los embeddings son combinaciones lineales de tokens existentes, los tokens con mayor peso pueden extraerse y analizarse (por ejemplo, mediante Nubes de Palabras) para revelar los componentes semánticos (por ejemplo, "esclavo", "caderas", "pezón") que el modelo desaprendido aún asocia con el concepto borrado.
SubDefense (Defensa de Subespacio):
- Objetivo: Neutralizar el subespacio residual identificado por SubAttack.
- Mecanismo: Una vez identificado el subespacio de ataque $V_{att}$ (abarcado por los embeddings ortogonales aprendidos), SubDefense proyecta los embeddings de tokens del vocabulario del modelo desaprendido sobre el nul espacio (nullspace) de $V_{att}$ .
- Regla de Actualización: Para cada embedding de token $v_i$ en el vocabulario, la defensa actualiza este como $v_{def, i} = v_i - \text{Proj}_{V_{att}}(v_i)$ .
- Plug-and-Play: Esta operación es ligera y no requiere reentrenar los pesos del modelo de difusión. Puede aplicarse a cualquier modelo desaprendido, incluyendo aquellos que han sido sometidos a un ajuste fino adversario.

Contribuciones Clave

Identificación de Subespacios Residuales Interpretables: El artículo demuestra que los conceptos dañinos en los DM desaprendidos persisten como un subespacio lineal en el espacio de embeddings de tokens, compuesto por elementos textuales humanos interpretables.
SubAttack: Un ataque de jailbreaking novedoso e interpretable que aprende embeddings de tokens ortogonales para abarcar este subespacio. Supera a las líneas base existentes en la Tasa de Éxito de Ataque (ASR) y demuestra una alta transferibilidad a través de diferentes prompts, ruidos iniciales y modelos desaprendidos.
SubDefense: Un mecanismo de defensa robusto y ligero que proyecta fuera el subespacio residual identificado. Mejora la robustez contra diversos ataques de jailbreaking (incluyendo prompts adversarios y ataques de embeddings) mientras preserva mejor la calidad de generación segura en comparación con las defensas existentes como RECE.
Perspectiva sobre las Limitaciones del Desaprendizaje: Este trabajo revela que el desaprendizaje a menudo suprime palabras clave superficiales pero falla en eliminar asociaciones más profundas e implícitas (por ejemplo, "contenedor" para "camión de basura" o "esclavo" para "desnudez"), las cuales son capturadas por el subespacio lineal.

Resultados Experimentales

Rendimiento del Ataque: SubAttack logró una ASR significativamente mayor que las líneas base (UnlearnDiff y CCE) a través de múltiples conceptos (desnudez, estilo Van Gogh, iglesia) y modelos desaprendidos (ESD, FMN, UCE, SPM). Por ejemplo, en el concepto de "desnudez" a través de ESD, FMN, UCE y SPM, SubAttack logró ASRs de 97.56%, 100%, 81.67% y 74.89% respectivamente, superando a CCE y UnlearnDiff.
Transferibilidad: Los embeddings de ataque aprendidos en un modelo desaprendido (por ejemplo, ESD) se transfirieron eficazmente a otros (FMN, SPM, UCE) e incluso de vuelta al modelo original de Stable Diffusion, con ASRs consistentemente por encima del 80%.
Rendimiento de la Defensa: SubDefense redujo significativamente la ASR para varios ataques. Por ejemplo, al defender UCE contra SubAttack en el concepto "Van Gogh", la ASR cayó de 98.33% a 29.44%. También redujo la ASR para los ataques de UnlearnDiff y CCE.
Preservación de la Calidad: A diferencia de algunas defensas que degradan la calidad de la imagen, SubDefense mantuvo o mejoró los puntajes FID y CLIP en prompts seguros (conjunto de datos MSCOCO-10k) en comparación con la defensa base RECE.
Complementariedad: Se demostró que SubDefense es efectivo incluso cuando se aplica sobre modelos con ajuste fino adversario como STEREO, reduciendo la ASR de 21.67% a 6.67%, lo que indica que aborda una vulnerabilidad (residual lineal) diferente a la del entrenamiento adversario.

Significancia y Reivindicaciones
El artículo sostiene que la persistencia de conceptos dañinos en los modelos desaprendidos no es ruido aleatorio, sino un fenómeno lineal estructurado que puede ser tanto explotado como mitigado. Al enmarcar el problema a través de la lente de la geometría lineal en los embeddings de tokens, los autores proporcionan un marco unificado para comprender las vulnerabilidades (SubAttack) y construir defensas (SubDefense).

La importancia radica en el cambio de paradigma de los ataques opacos basados en la optimización hacia un análisis basado en subespacios e interpretables. Este enfoque no solo expone vulnerabilidades más profundas en las técnicas actuales de desaprendizaje, sino que también ofrece una estrategia de defensa práctica y agnóstica al modelo que no requiere reentrenamiento. Los autores enfatizan que, si bien la proyección lineal no puede capturar los remanentes no lineales (una limitación que reconocen), abordar el subespacio residual lineal constituye un primer paso crítico hacia mecanismos de seguridad más robustos e interpretables para la IA generativa.

Resumen Técnico: La Geometría Lineal de los Tokens Interpretables en Modelos de Difusión Desaprendidos

Más como este