💻 computer science

TEA: Text Encoder Alignment for Robust Concept Erasure in Text-to-Image Models

El artículo propone TEA, un marco ligero y agnóstico al modelo que logra la eliminación robusta de conceptos en modelos de texto a imagen mediante el ajuste fino del codificador de texto para alinear los prompts que contienen conceptos con anclajes seguros, eliminando así las vulnerabilidades adversarias sin sobrecarga en el tiempo de inferencia ni degradación de la calidad de la generación benigna.

Autores originales: Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alireza Dehghanpour Farashah, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras pueden pintar cuadros partiendo de la nada más que una oración. Escribes "un gato sentado en un techo iluminado por la luna" y una máquina, entrenada con millones de imágenes y subtítulos, crea una escena impresionante y realista en segundos. Esta tecnología, conocida como un modelo de texto a imagen, ha abierto puertas para artistas y diseñadores, convirtiendo la imaginación en realidad visual. Sin embargo, este mismo poder conlleva un riesgo. Así como un falsificador hábil puede imitar un estilo, un usuario astuto puede engañar a estas computadoras para que creen imágenes dañinas o inapropiadas mediante el uso de instrucciones astutas y reformuladas que eluden los filtros de seguridad integrados en el sistema. La computadora ve las palabras, pero pierde de vista la intención, generando contenido que nunca debió ser visto.

Durante años, los científicos han intentado solucionar esto enseñando a la computadora a olvidar ciertas ideas malas, un proceso llamado eliminación de conceptos. Algunos métodos intentan borrar los malos datos antes de que la computadora aprenda, mientras que otros intentan evitar que las malas imágenes aparezcan solo en el momento en que se están creando. Pero estas soluciones suelen tener un inconveniente: o son demasiado lentas para ser útiles a gran escala, o hacen que la computadora sea peor dibujando imágenes buenas, o requieren una potencia de cómputo constante y pesada cada vez que alguien pide una imagen. El objetivo siempre ha sido encontrar una manera de eliminar permanentemente la capacidad de crear contenido dañino sin ralentizar la máquina o arruinar su talento artístico.

Un equipo de investigadores ha propuesto ahora un nuevo enfoque que aborda este problema cambiando cómo la computadora entiende el lenguaje, en lugar de cómo pinta. Llaman a su método TEA, que significa Alineación del Codificador de Texto (Text Encoder Alignment). En estos sistemas de creación de imágenes, hay dos partes principales trabajando juntas. La primera parte es el codificador de texto, que actúa como un traductor, convirtiendo tu oración escrita en un conjunto de números que la computadora puede entender. La segunda parte es la columna vertebral generativa, que toma esos números y realmente dibuja la imagen. Los intentos anteriores de detener las malas imágenes consistían en retocar la parte del dibujo, lo cual es como intentar arreglar una fuga en una casa pintando sobre las paredes; es desordenado y a menudo ineficaz porque el problema reside en cómo se tradujeron las instrucciones en primer lugar.

Los investigadores se dieron cuenta de que la clave para detener las imágenes dañinas reside en el traductor. Descubrieron que la capacidad de la computadora para reconocer un concepto malo específico, como la desnudez, está concentrada en el codificador de texto. Para solucionar esto, crearon un proceso de entrenamiento que solo ajusta este traductor, dejando la parte del dibujo completamente intacta. Comenzaron con un par de oraciones: una que contenía la idea dañina, como "una mujer desnuda en un bosque", y otra que era casi idéntica pero segura, como "una mujer en un bosque". Luego le enseñaron al traductor a hacer que los números de la oración mala se vieran exactamente iguales a los números de la oración segura.

Para hacer esto, utilizaron un ingenioso juego del gato y el ratón. Configuraron un pequeño programa de computadora, un discriminador, cuyo trabajo era notar la diferencia entre los números que venían de la oración mala y la segura. El traductor principal intentaba engañar a este discriminador cambiando sus propios ajustes para que las dos oraciones produjeran números idénticos. Al mismo tiempo, los investigadores se aseguraron de que el traductor no olvidara cómo manejar oraciones normales y seguras. Hicieron esto verificando que las oraciones seguras todavía se vieran como antes de los cambios. Esto aseguró que la computadora aún pudiera dibujar hermosas e inofensivas imágenes de bosques y mujeres, solo que sin la capacidad de dibujar la versión dañina específica.

Los resultados de este método fueron sorprendentes. Al ser probado contra una variedad de intentos truculentos para engañar a la computadora, incluyendo aquellos diseñados por expertos para eludir los sistemas de seguridad, este nuevo enfoque detuvo las imágenes dañinas casi por completo. En pruebas donde otros métodos fallaron al detener el contenido malo o empeoraron la capacidad de la computadora para dibujar imágenes buenas, este método tuvo éxito en ambos aspectos. Funcionó en versiones antiguas de la tecnología y también en los sistemas más nuevos y avanzados, demostrando que la idea se mantiene a través de diferentes tipos de generadores de imágenes. Quizás lo más importante es que, debido a que la parte del dibujo de la computadora nunca fue cambiada, el sistema no se ralentizó en absoluto. Tomó la misma cantidad de tiempo crear una imagen que antes, sin necesidad de potencia de cómputo adicional cada vez que un usuario pedía una imagen.

Los investigadores también probaron si este método podía eliminar otros tipos de conceptos no deseados, como estilos artísticos específicos. Descubrieron que podía detener con éxito la capacidad de la computadora para copiar el estilo de artistas específicos, incluyendo a Van Gogh y Kelly McKernan, cuando se le solicita, permitiéndole al mismo tiempo pintar en otros estilos. Esto sugiere que el método no es solo un truco de un solo uso para eliminar la desnudez, sino una herramienta flexible que puede usarse para eliminar cualquier idea específica que el usuario no quiera que la computadora genere. Al enfocarse en el paso de la traducción y usar un proceso de entrenamiento simple y eficiente, el equipo ha demostrado que es posible hacer estas poderosas herramientas más seguras sin sacrificar su velocidad o su capacidad para crear arte.

Este trabajo representa un paso significativo hacia la creación de una inteligencia artificial más segura y confiable. Se aleja de la idea de monitorear y bloquear constantemente los resultados, y en su lugar, construye la seguridad directamente en la forma en que la computadora entiende el lenguaje. El método es ligero, requiere solo un periodo corto de entrenamiento, y deja el resto del sistema exactamente como estaba. Para cualquiera que dependa de estas herramientas para crear contenido, esto significa un futuro donde se puede confiar en la computadora para seguir instrucciones sin cruzar accidentalmente la línea hacia el territorio dañino, manteniendo intacto su chispa creativa. Los investigadores han puesto su código a disposición, permitiendo que otros prueben y construyan sobre este enfoque, asegurando que el camino hacia una generación de imágenes más segura permanezca abierto para nuevos descubrimientos.

Resumen Técnico: TEA (Alineación del Codificador de Texto para la Eliminación Robusta de Conceptos)

Planteamiento del Problema

Los modelos de difusión de texto a imagen son susceptibles al mal uso, donde los prompts adversarios o parafraseados pueden eludir los mecanismos de seguridad integrados para generar contenido dañino (por ejemplo, deepfakes, imágenes NSFW). Los métodos actuales de eliminación de conceptos enfrentan compromisos significativos:

Los métodos sin entrenamiento (por ejemplo, proyecciones en tiempo de inferencia) evitan costos iniciales pero introducen una sobrecarga computacional persistente por cada consulta y carecen de robustez contra ataques adversarios fuertes.
Los métodos basados en entrenamiento que ajustan finamente el núcleo generativo (por ejemplo, U-Net) son computacionalmente costosos, corren el riesgo de degradar la calidad de generación en prompts benignos y tienen dificultades con la eliminación selectiva debido a la amplia distribución de los parámetros relacionados con el concepto a través de las capas de la red.
Los enfoques existentes de codificador de texto a menudo requieren conjuntos de datos a gran escala, memoria de código o un entrenamiento adversario computacionalmente pesado que compromete la calidad de la generación.

El desafío central es lograr una eliminación de conceptos robusta contra ataques de caja negra y de caja blanca, mientras se preserva la calidad de generación en prompts benignos y se mantiene un costo de inferencia de cero.

Metodología: Alineación del Codificador de Texto (TEA)

Los autores formulan la eliminación de conceptos como un problema de alineación de dominios dentro del espacio de representación de texto. El método se basa en la descomposición de los modelos de texto a imagen en un codificador de texto ( $\tau$ ) y un núcleo generativo congelado ( $G$ ).

1. Formulación Teórica
El artículo postula que suprimir un concepto objetivo $c$ es equivalente a alinear la distribución de representación de las entradas que portan el concepto ( $P_c$ ) con la de las entradas "ancla" libres de concepto ( $P_{\neg c}$ ).

Límite de Riesgo: Basándose en la teoría de la divergencia H, el riesgo del concepto en las entradas que portan el concepto está acotado por el riesgo del concepto en las entradas libres de concepto más la divergencia entre las dos distribuciones de representación.
Objetivo: Al minimizar la divergencia (haciendo que las representaciones sean indistinguibles) mientras se preserva el riesgo en las entradas libres de concepto (preservación de la utilidad), el modelo ya no puede distinguir entre prompts seguros e inseguros, suprimiendo así el concepto.

2. Arquitectura del Marco de Trabajo
TEA ajusta finamente solo el codificador de texto mientras mantiene el núcleo generativo (U-Net o DiT) completamente congelado. El proceso involucra:

Construcción de Pares de Prompts: Para cada prompt de concepto $p_c$ (que contiene el concepto objetivo), se genera un prompt ancla $p_a$ (por ejemplo, mediante un LLM) que preserva la semántica circundante pero elimina el concepto objetivo.
Alineación a Nivel de Token: A diferencia de los métodos que utilizan representaciones de secuencia agrupadas, TEA opera a nivel de token. Esto permite al modelo alinear diferencias semánticas específicas entre $p_c$ y $p_a$ sin colapsar la semántica no relacionada.
Entrenamiento Adversario:
- Se entrena un discriminador ligero ( $D$ ) para distinguir entre las representaciones a nivel de token de los prompts de concepto ( $h^c_t$ ) y los prompts ancla ( $h^a_t$ ).
- El codificador de texto ( $\tau_\theta$ ) se actualiza para engañar al discriminador, haciendo que $h^c_t$ sea indistinguible de $h^a_t$ .
- Anclaje Dinámico: Tanto los prompts de concepto como los de ancla pasan a través del codificador actual durante el entrenamiento. Esto evita que el codificador colapse hacia una referencia fija y fomenta el seguimiento de una distribución segura que evoluciona consistentemente.
Funciones de Pérdida:
- Pérdida Adversaria ( $L_{adv}$ ): Minimiza la capacidad del discriminador para clasificar correctamente los tokens del concepto.
- Pérdida de Preservación ( $L_{pres}$ ): Una pérdida de similitud de coseno que mantiene las representaciones de los prompts ancla ( $h^{a, new}_t$ ) cerca de aquellas producidas por el codificador congelado original ( $h^{a, orig}_t$ ). Esto asegura que la semántica benigna no se degrade.
- Objetivo Total: $L_{enc} = \lambda_{adv} L_{adv} + \lambda_{pres} L_{pres}$ .

Contribuciones Clave

Formulación: Los autores proporcionan una formulación fundamentada de la eliminación de conceptos como un problema de alineación de dominios en el espacio de representación, derivando un límite teórico donde la eliminación se controla mediante un término de alineación y un término de preservación de la utilidad.
Marco TEA: Proponen un marco ligero de ajuste fino del codificador de texto mediante entrenamiento adversario que logra una supresión robusta con cero sobrecarga en el tiempo de inferencia y requiere solo un pequeño número de pasos de ajuste fino.
Agnosticismo de Modelo y Nuevas Arquitecturas: El método es agnóstico al modelo y se transfiere con éxito a arquitecturas modernas, específicamente a los Transformadores de Flujo Rectificado (por ejemplo, Stable Diffusion v3.5) con condicionamiento T5, donde los métodos previos de eliminación de conceptos han sido ampliamente inexplorados.
Robustez: El método demuestra una robustez superior contra ataques adversarios de caja negra (ingeniería de prompts) y de caja blanca (optimización basada en procesos) en comparación con las líneas base existentes.

Resultados Experimentales

El método fue evaluado en Stable Diffusion v1.4 y Stable Diffusion v3.5-large para eliminar contenido explícito (desnudez) y estilos artísticos (Van Gogh, Kelly McKernan).

Eliminación de Contenido Explícito:
- Caja Negra: TEA logró la tasa de éxito de ataque (ASR) promedio más baja en los benchmarks (MMA, Ring-A-Bell, P4D), superando a métodos como AdvUnlearn y DES.
- Caja Blanca: TEA logró consistentemente el ASR más bajo en los ataques de caja blanca de UnlearnDiff, MMA y Ring-A-Bell.
- Preservación de la Calidad: TEA mantuvo una alta calidad de generación en prompts benignos (dataset COCO), mostrando puntuaciones FID y CLIP competitivas o superiores en comparación con las líneas base. Notablemente, evitó la degradación de calidad observada en los métodos basados en entrenamiento adversario.
Eliminación de Estilo Artístico: TEA logró una alta distancia perceptual (LPIPSe) para los artistas objetivo mientras mantenía una baja distancia (LPIPSu) para otros artistas, lo que indica una eliminación efectiva sin sobre-eliminar estilos no relacionados.
Análisis de Representación: Las mediciones empíricas de la Distancia-A de Proximidad (PAD) confirmaron que TEA redujo significativamente la separabilidad entre las representaciones de concepto y ancla a través de las capas del codificador, manteniendo la separabilidad entre los prompts de concepto y los no relacionados (COCO).

Significancia y Reivindicaciones

El artículo afirma que TEA aborda las limitaciones críticas de los métodos actuales de eliminación de conceptos al ofrecer una solución computacionalmente eficiente, persistente y robusta.

Eficiencia: Al congelar el núcleo generativo y solo ajustar finamente el codificador de texto, TEA no introduce sobrecarga en el tiempo de inferencia, lo que lo hace adecuado para el despliegue a gran escala.
Robustez: La alineación adversaria en el espacio de representación proporciona una defensa más fuerte contra prompts adversarios que los métodos sin entrenamiento o los métodos que modifican el núcleo generativo.
Escalabilidad: La capacidad del método para adaptarse a los Transformadores de Flujo Rectificado (SD v3.5) extiende la aplicabilidad de la eliminación de conceptos a las arquitecturas de difusión de próxima generación.
Postura Ética: Los autores enfatizan que el trabajo está motivado por la reducción de daños. Si bien la evaluación requiere prompts e imágenes explícitas para verificar la eficacia, estas se controlan estrictamente, se enmascaran en las figuras y se utilizan únicamente con fines defensivos para mitigar la generación insegura.