💻 computer science

Beyond Text Prompts: Precise Concept Erasure through Text-Image Collaboration

El artículo presenta TICoE, un marco colaborativo de texto e imagen que logra la eliminación precisa y fiel de conceptos no deseados en modelos generativos de texto a imagen mediante un manifold convexo continuo y aprendizaje de representaciones visuales jerárquicas, superando a los métodos anteriores en precisión y preservación del contenido.

Autores originales: Jun Li, Lizhi Xiong, Ziqiang Li, Weiwei Jiang, Zhangjie Fu, Yong Li, Guo-Sen Xie

Publicado 2026-04-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jun Li, Lizhi Xiong, Ziqiang Li, Weiwei Jiang, Zhangjie Fu, Yong Li, Guo-Sen Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef de cocina increíble (un modelo de Inteligencia Artificial) que puede cocinar cualquier plato que le pidas. Si le dices "hazme una pizza", hace una pizza. Si le dices "hazme un pastel", hace un pastel. Pero hay un problema: este chef aprendió a cocinar viendo millones de recetas en internet, y algunas de esas recetas incluyen cosas peligrosas o inapropiadas, como "cocinar con veneno" o "hacer un pastel con insectos".

El chef, al no tener filtro, a veces intenta hacer esas cosas si se lo pides, o incluso si usas palabras raras para engañarlo.

El Problema: ¿Cómo enseñarle al chef a olvidar?

Antes, los expertos intentaban arreglar esto de dos formas, pero ambas tenían fallos:

Solo con palabras (Texto): Le decían al chef: "¡Oye, olvida el veneno!". Pero el chef es muy literal. Si le dices "veneno", lo olvida. Pero si le dices "sustancia tóxica" o "boca de dragón", el chef piensa: "¡Ah! Eso no estaba en la lista de 'veneno', así que lo haré". Le faltaba entender el concepto completo.
Solo con imágenes (Imágenes): Le mostraban una foto de un plato seguro y decían: "Haz esto, no lo otro". Pero el chef se confundía. Si le mostraban una foto de un "cuchillo de cocina" para que olvidara las "armas", a veces olvidaba también los cuchillos de cocina, porque se parecían visualmente. Borraba cosas buenas por error.

La Solución: TICoE (El Chef con un Manual y una Foto)

Los autores de este paper crearon TICoE. Imagina que TICoE es un entrenador de chefs muy inteligente que usa dos herramientas a la vez para enseñarle al modelo a olvidar algo específico sin arruinar su habilidad para hacer otras cosas.

1. El "Mapa de Conceptos" (El Manual de Texto)

En lugar de decirle al chef una sola palabra como "arma", el entrenador le da un mapa completo.

La analogía: Imagina que el concepto "arma" es una isla. Antes, solo le decían al chef "no vayas a la playa de la isla". Pero TICoE le da un mapa que cubre toda la isla: "no vayas a la playa, ni al bosque, ni a la montaña, ni a la cueva".
Cómo funciona: El sistema genera muchas formas diferentes de decir "arma" (pistola, rifle, fusil, arma de fuego, cañón) y crea un espacio continuo entre todas esas palabras. Así, no importa cómo intentes engañar al chef con sinónimos o palabras raras, siempre caerá dentro de la zona de "prohibido".

2. La "Guía Visual en Capas" (La Foto Detallada)

Ahora, para asegurarse de que el chef no borre cosas buenas (como una cámara de fotos, que se parece a un arma), el entrenador le muestra una foto del arma, pero analizada en capas.

La analogía: Imagina que tienes una foto de un arma. Un método antiguo miraría la foto entera y diría "todo esto es peligroso". TICoE, en cambio, mira la foto como si fuera un pastel de varios pisos:
- Piso 1: La forma general (es un objeto largo).
- Piso 2: Los detalles (tiene un cañón, un gatillo).
- Piso 3: El contexto (está en una mesa de madera).
Cómo funciona: El sistema le enseña al chef: "Borra solo el cañón y el gatillo (el concepto malo), pero guarda la forma larga y el contexto de la mesa". Esto evita que el chef borre una cámara de fotos solo porque es larga y negra.

El Resultado: Olvido Preciso

Gracias a esta colaboración entre texto (para entender todas las formas de decirlo) e imagen (para ver exactamente qué borrar y qué guardar), TICoE logra algo mágico:

Elimina el peligro: Si le pides "arma", el chef no la hace. Ni siquiera si usas trucos para engañarlo.
Protege lo bueno: Si le pides "cámara" o "teléfono", el chef los hace perfectamente, porque entiende que, aunque se parecen un poco al arma, son cosas diferentes.

En resumen

Imagina que tienes un borrador mágico.

Los métodos antiguos eran como un borrador gigante que borraba todo lo que tocaba, o un borrador tan pequeño que no borraba nada si lo mirabas de reojo.
TICoE es como un lápiz de precisión quirúrgica. Sabe exactamente qué píxel borrar (el concepto malo) y cuáles dejar intactos (las cosas buenas), usando tanto las palabras como las imágenes para tener una visión perfecta.

Esto hace que la Inteligencia Artificial sea más segura, más útil y menos propensa a cometer errores tontos o peligrosos. ¡Es como darle al chef un manual de seguridad perfecto!

Resumen Técnico: TICoE

1. Planteamiento del Problema

Los modelos generativos de texto a imagen (como los basados en difusión) han logrado avances notables, pero a menudo incorporan sesgos implícitos de sus conjuntos de datos de entrenamiento, generando contenido no deseado, inseguro o socialmente inapropiado (ej. desnudez, armas, estilos artísticos específicos).

El desafío principal radica en el borrado de conceptos (concept erasure): eliminar selectivamente un concepto indeseado sin degradar la capacidad del modelo para generar contenido benigno. Los métodos existentes presentan dos limitaciones críticas:

Enfoques solo de texto: Métodos que modifican solo los embeddings de texto (como ESD, UCE) a menudo fallan en suprimir completamente el concepto, especialmente frente a variaciones semánticas o prompts adversarios.
Enfoques asistidos por imagen: Métodos que usan imágenes de referencia (como Co-Erasing) pueden causar sobre-borrado (over-erasure). Al aprender de las características visuales de la imagen de referencia, el modelo puede suprimir inadvertidamente conceptos semánticamente distintos pero visualmente similares (ej. borrar "arma" y también afectar a "cámara" o "teléfono" debido a similitudes de forma o contexto).

Existe una compensación (trade-off) difícil entre la precisión de eliminación y la fidelidad del contenido (preservar la usabilidad del modelo).

2. Metodología: TICoE

Los autores proponen TICoE (Text-Image Collaborative Erasing), un marco unificado que combina representaciones textuales y visuales para lograr un borrado fiel y preciso. La metodología se basa en dos pilares principales:

A. Variedad Convexa de Conceptos Continuos (CCCM - Continuous Convex Concept Manifold)
Para abordar la insuficiencia semántica de los prompts fijos:

Se genera un conjunto diverso de prompts relacionados semánticamente con el concepto objetivo (ej. "iglesia", "iglesia gótica", "torre de iglesia") utilizando un modelo de lenguaje (GPT-5.0).
Estos embeddings textuales se agrupan para formar un manifold convexo continuo.
Durante el entrenamiento, se muestrea un embedding textual interpolado ( $e_c$ ) como una combinación convexa de los embeddings del banco de prompts, utilizando una distribución Dirichlet.
Ventaja: Esto asegura que el modelo aprenda a suprimir todo el espectro lingüístico del concepto, evitando que se reactive ante variaciones de palabras o prompts adversarios, sin salirse de la distribución semántica válida.

B. Aprendizaje de Representación Visual Jerárquica (HVRL - Hierarchical Visual Representation Learning)
Para abordar el problema del sobre-borrado y la entrelazamiento visual:

Se codifican imágenes de referencia en representaciones visuales multiescala (diferentes resoluciones).
Estas representaciones se fusionan mediante un transformador que aprende dependencias cruzadas entre escalas.
La información visual fusionada se integra en el espacio latente del modelo de difusión.
Ventaja: Esto permite al modelo distinguir entre el concepto objetivo y entidades visualmente similares pero semánticamente distintas. El modelo aprende a suprimir solo las características causales del concepto objetivo, preservando el contexto y las estructuras visuales relacionadas no objetivo.

C. Función de Pérdida de Borrado
El marco optimiza un U-Net entrenable ( $\theta^*$ ) para alinearse con una predicción de referencia generada por un modelo congelado ( $\theta$ ) bajo una guía negativa. La pérdida ( $L_{erase}$ ) fuerza al modelo a suprimir el concepto objetivo mientras mantiene la distribución de probabilidad para prompts benignos, equilibrando la precisión de eliminación con la fidelidad contextual.

3. Contribuciones Clave

Marco TICoE: Una arquitectura de borrado colaborativo texto-imagen que supera las limitaciones de los métodos unimodales.
CCCM (Manifold Convexo): Una técnica para capturar la variación semántica completa de un concepto, mejorando la robustez frente a variaciones de prompts.
HVRL (Representación Visual Jerárquica): Un mecanismo para disociar características visuales correlacionadas de las causales, reduciendo el sobre-borrado de conceptos relacionados.
MCP (Preservación de Conceptos Morfo-Contextuales): Una nueva métrica de evaluación diseñada para medir la capacidad del modelo de preservar conceptos semánticamente distintos pero visualmente o contextualmente similares (ej. preservar "cámara" al borrar "arma").
Estrategia de Evaluación: Un enfoque integral que mide no solo la fuerza del borrado, sino también la usabilidad post-borrado.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples benchmarks (desnudez, estilo Van Gogh, objetos como armas, peces tench e iglesias) utilizando modelos Stable Diffusion (v1.4, v1.5, v2.0).

Precisión de Borrado: TICoE superó a los métodos de última generación (ESD, UCE, FMN, Co-Erasing) en métricas de supresión como ASR (Tasa de Éxito del Prompt), UDA (Resistencia a ataques adversarios) y P4D. En la tarea de borrar "arma", TICoE logró un ASR de 0.00 y un UDA de 0.02, significativamente mejor que sus competidores.
Fidelidad y Preservación:
- TICoE mantuvo puntuaciones altas en CLIP y bajas en FID, indicando que la calidad de generación general no se degradó.
- MCP: En la métrica MCP, TICoE demostró una preservación superior de conceptos relacionados. Por ejemplo, al borrar "arma", preservó el concepto de "cámara" con un 92.06% de éxito, mientras que métodos como Co-Erasing cayeron al 39.68% debido al sobre-borrado visual.
Generalización: El método funcionó consistentemente bien en diferentes versiones de Stable Diffusion y en tareas de borrado múltiple simultáneo (ej. borrar iglesia, Van Gogh y gato al mismo tiempo) sin interferencia cruzada.
Análisis de Ablación: Se demostró que tanto el tamaño del banco de prompts (óptimo alrededor de 20-30) como el uso de múltiples escalas visuales son críticos para el rendimiento.

5. Significado e Impacto

Este trabajo representa un avance significativo en la seguridad y el control de los modelos generativos de IA:

Seguridad Práctica: Proporciona una solución robusta para eliminar contenido peligroso o sensible (NSFW, armas) sin comprometer la utilidad del modelo para usuarios legítimos.
Precisión Semántica: Resuelve el problema fundamental de la "entrelazamiento visual" donde los métodos anteriores eliminaban demasiado contenido. TICoE permite un borrado quirúrgico.
Nueva Paradigma de Evaluación: Introduce la necesidad de evaluar no solo si el concepto se borró, sino si el modelo sigue siendo útil para conceptos relacionados, estableciendo un nuevo estándar para la investigación en "unlearning" (olvido de máquina) en IA generativa.

En conclusión, TICoE demuestra que la colaboración entre representaciones textuales ricas (manifold convexo) y guías visuales jerárquicas es esencial para lograr un borrado de conceptos que sea a la vez preciso y fiel al contexto.