Resumen Técnico: TILDE (TILt-based Distributional Erasure for Concept Unlearning)

Planteamiento del Problema

El desaprendizaje de conceptos en modelos de difusión de texto a imagen es esencial para abordar preocupaciones de privacidad, derechos de autor y seguridad, requiriendo que los modelos supriman conceptos no deseados específicos (por ejemplo, artistas, personajes u objetos específicos) después del entrenamiento. Sin embargo, los métodos existentes enfrentan un compromiso crítico: el olvido efectivo a menudo conduce a una "falla de retención", donde el modelo se degrada en la generación de prompts benignos, semánticamente relacionados o generales.

Los enfoques actuales dependen típicamente de:

• Supresión directa: Penalizar las puntuaciones de los conceptos, lo que a menudo daña conceptos benignos adyacentes (daño colateral).
• Edición basada en anclas: Mapear el concepto a olvidar hacia un concepto objetivo, lo que introduce inestabilidad y sesgo, especialmente bajo solicitudes de eliminación secuenciales.
• Optimización basada en recompensas: Maximizar una recompensa de olvido escalar, lo que a menudo colapsa la diversidad al concentrar la generación en un conjunto estrecho de salidas seguras.

El problema fundamental es que estos métodos no definen explícitamente la distribución post-desaprendizaje. En consecuencia, la retención se trata como una consecuencia implícita de la regla de actualización en lugar de un objetivo controlado, lo que conduce a una fidelidad distributiva subóptima en comparación con un modelo hipotético de "solo retención" entrenado desde cero sin los datos no deseados.

Metodología: TILDE

Los autores proponen TILDE (TILt-based Distributional Erasure), que replantea el desaprendizaje de conceptos como un problema de alineación distributiva con restricciones. En lugar de la supresión local o el reemplazo de anclas, TILDE busca la distribución condicional que minimice la desviación del modelo preentrenado mientras satisface una restricción de olvido.

1. Formulación Teórica

El objetivo se define como la solución de una proyección de Kullback-Leibler (KL) con restricciones:
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
Sujeto a:
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

Donde:

• $p_{pre}$ es la distribución condicional preentrenada.
• $E_C(x)$ es una "energía de olvido" que cuantifica la evidencia del concepto $C$ en la imagen $x$.
• La solución toma la forma de una distribución de Gibbs con inclinación de energía (energy-tilted Gibbs distribution):
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

Esta formulación asegura que las imágenes que expresan el concepto sean penalizadas, mientras que las imágenes benignas preservan sus verosimilitudes relativas preentrenadas (sin anclas).

2. Sustituto Práctico: Energía de CLIP con Umbral

Para instanciar la energía abstracta $E_C$, TILDE utiliza un sustituto basado en CLIP con umbral:

• Sondas de Concepto: Se utiliza un conjunto de descriptores de texto $Q_C$ (por ejemplo, "Pikachu", "una foto de Pikachu") para calcular la puntuación promedio de similitud de CLIP $s_C(x)$.
• Umbralización: Se define una energía de olvido $eE_C(x)$ tal que es cero si $s_C(x) \le \tau$ (región benigna) y aumenta exponencialmente si $s_C(x) > \tau$.
• Significado: El umbral $\tau$ crea una región de "sin penalización", evitando que los gradientes afecten a las imágenes benignas con una similitud de concepto débil, preservando así la retención local.

3. Optimización mediante $\nabla$-GFlowNet Residual

Para realizar esta distribución inclinada en un modelo de difusión, TILDE emplea el entrenamiento de $\nabla$-GFlowNet residual:

• Objetivo: Aprender la corrección de puntuación (score correction) requerida para transformar el muestreador preentrenado en el objetivo inclinado por energía.
• Mecanismo: En lugar de entrenar un muestreador completo desde cero, el modelo aprende una puntuación de continuación residual $h_\phi$ que ajusta la trayectoria de eliminación de ruido.
• Función de Pérdida: El entrenamiento minimiza una pérdida de ida y vuelta ($L_{fwd}, L_{rev}$) para imponer consistencia local entre el denoiser adaptado y el denoiser preentrenado, guiado por la energía de olvido terminal.
• Implementación: Las actualizaciones se restringen a adaptadores LoRA en las capas de atención, asegurando la eficiencia de parámetros y un sesgo de actualización mínimo.

Contribuciones Clave

1. Formulación Distributiva: El artículo formula el desaprendizaje de conceptos como un problema de alineación distributiva con restricciones, derivando un objetivo de Gibbs explícito, sin anclas y de desviación mínima.
2. Algoritmo TILDE: Introduce una instanciación práctica utilizando energía de CLIP con umbral y entrenamiento $\nabla$-GFlowNet residual en el espacio latente de difusión.
3. Validación Empírica: El método es evaluado a través de objetos, estilos artísticos y personajes, demostrando mejoras en la efectividad del olvido mientras mantiene una mayor retención y fidelidad distributiva en comparación con las líneas base anteriores.

Resultados Experimentales

Los autores evaluaron TILDE en Stable Diffusion v1.5 sobre aproximadamente 60 conceptos (objetos, personajes, estilos, desnudez).

• Desempeño: TILDE logra un olvido casi completo (por ejemplo, 0.99 de Precisión de Olvido para personajes) mientras supera significativamente a las líneas base en Retención Relacionada (preservación de conceptos semánticamente adyacentes) y Retención General.
• Comparación:
  • Borrado Duro (ej. MACE): Logra un alto olvido pero destruye la retención (la Retención Relacionada cae a ~0.17).
  • Supresión Suave (ej. ESD): Preserva la retención pero a menudo no logra un olvido suficiente.
  • Basado en Anclas (ej. CA, UCE): Mejora la calidad, pero depende de conjuntos de retención explícitos y aún deja evidencia residual del concepto.
  • TILDE: Se sitúa en la frontera de Pareto, logrando un alto olvido sin la necesidad de supervisión de retención explícita o conceptos ancla.
• Estudios de Ablación:
  • Eliminar la forma $\nabla$ (usando objetivos de flujo absoluto) colapsa el desempeño del olvido.
  • Eliminar el componente residual obliga al campo de puntuación completo a absorber la actualización, degradando la retención general.
  • Eliminar el umbral de energía causa un colapso catastrófico de la retención, confirmando la necesidad de la región de "sin penalización".
• Métricas Distributivas: TILDE muestra puntuaciones FADE (Distancia de Alineación Funcional) y FID más bajas en comparación con las líneas base, lo que indica una mayor alineación con la distribución ideal de "solo retención".

Significado y Reivindicaciones

El artículo afirma que TILDE aborda la "falla de retención" inherente a los métodos de desaprendizaje actuales al definir explícitamente la distribución post-desaprendizaje. Al enmarcar el desaprendizaje como una alineación distributiva de desviación mínima, TILDE evita las trampas de:

• El daño colateral causado por la supresión directa.
• El colapso de diversidad causado por la maximización de la recompensa.
• La inestabilidad causada por mapeos de anclas fijos.

Los autores argumentan que TILDE representa la "modificación mínima natural" de un modelo preentrenado que satisface las restricciones de olvido. El uso de energía con umbral asegura que los conceptos benignos no sean penalizados, mientras que el marco de $\nabla$-GFlowNet residual proporciona un mecanismo eficiente para realizar este objetivo distributivo en espacios latentes de alta dimensión. El trabajo sugiere que la investigación futura en desaprendizaje debe priorizar la definición de la distribución objetivo antes de seleccionar las reglas de actualización.