Resumen Técnico: Borrado de Conceptos Ortogonal para Modelos de Difusión

Enunciado del Problema

Los modelos de difusión de texto a imagen (T2I) poseen capacidades generativas notables, pero son propensos a producir contenido indeseable, inseguro o con derechos de autor. Aunque el borrado de conceptos ha surgido como una solución crítica para mitigar estos riesgos, los enfoques existentes enfrentan compromisos significativos entre la efectividad, la eficiencia y la preservación de la capacidad generativa general.

Los métodos actuales generalmente se dividen en tres categorías:

1. Intervención en tiempo de inferencia: Ajusta las trayectorias de muestreo sin modificar los parámetros. Estos son vulnerables a ser eludidos.
2. Métodos basados en entrenamiento: Ajustan finamente los parámetros del modelo para eliminar conceptos. Aunque son efectivos, incurren en altos costos computacionales y requieren múltiples rondas de optimización, lo que limita su escalabilidad.
3. Métodos basados en edición: Modifican directamente los parámetros del modelo utilizando soluciones de forma cerrada. Aunque son eficientes, los métodos de edición existentes dependen típicamente de actualizaciones aditivas de parámetros ($W + \Delta$). Los autores identifican una limitación central en este paradigma: las actualizaciones aditivas entrelazan inherentemente los cambios en la dirección, magnitud y geometría angular de las neuronas. Dado que la semántica de los conceptos depende en gran medida de la dirección de las neuronas, mientras que la capacidad generativa general depende de la preservación de la geometría angular, las actualizaciones aditivas a menudo resultan en un borrado inestable y en la degradación de conceptos no objetivo.

Metodología: Borrado de Conceptos Ortogonal (OCE)

El artículo propone el Borrado de Conceptos Ortogonal (OCE), un método basado en edición y guiado por la geometría que reformula el borrado de conceptos como una transformación ortogonal multiplicativa en lugar de una perturbación aditiva.

1. Análisis Geométrico

Los autores establecen dos afirmaciones empíricas clave mediante experimentos controlados:

• Afirmación 1 (C1): La semántica de los conceptos en los modelos de difusión se codifica principalmente en las direcciones de las neuronas, mientras que las magnitudes de las neuronas tienen efectos insignificantes en la expresión semántica.
• Afirmación 2 (C2): Preservar la geometría angular (ángulos y correlaciones inter-neuronales) es crítico para mantener la calidad generativa general del modelo.

Basándose en esto, OCE evita las actualizaciones aditivas que perturban tanto la dirección como la magnitud. En su lugar, aplica una transformación ortogonal por capas $P$ a las matrices de proyección $W$ (específicamente las matrices de clave y valor en las capas de atención cruzada), de tal manera que $W^* = PW$. Esta operación rota las direcciones de las neuronas para eliminar los conceptos objetivo mientras preserva estrictamente las magnitudes de las neuronas y la geometría angular inter-neuronal.

2. Formulación del Problema

El método formula el borrado como un problema de optimización para encontrar una matriz ortogonal $P$ ($P^\top P = I$) que minimice la distancia entre los conceptos objetivo transformados y sus anclajes, mientras minimiza la distancia entre los conceptos no objetivo transformados y sus representaciones originales.

• Objetivo por vector: Para el borrado de un solo concepto, el objetivo alinea las incrustaciones objetivo $C_1$ con las incrustaciones de anclaje $C^*$ y preserva el conjunto de retención $C_0$. Esto se resuelve mediante el clásico problema de Procrustes Ortogonal utilizando la Descomposición en Valores Singulares (SVD) para obtener una solución de forma cerrada: $P = UV^\top$.

• Objetivo a nivel de subespacio: Para el borrado de múltiples conceptos, imponer una alineación estricta por vector para múltiples objetivos crea restricciones conflictivas. OCE extiende el objetivo a una proyección a nivel de subespacio. Define subespacios objetivo y de anclaje y busca suprimir los componentes del subespacio objetivo que yacen en el complemento ortogonal del subespacio de anclaje. Esto se logra minimizando la energía del subespacio objetivo fuera del complemento ortogonal del anclaje, combinado con la preservación por vector para el conjunto de retención.

3. Detalles de Implementación

• Prioridad de Preservación Global ($K_0$): Para garantizar la estabilidad global, el método precalcula un prior genérico de preservación $K_0$ a partir de un conjunto de datos grande (COCO-30k), que se reutiliza en diferentes tareas de borrado.
• Diseño Asimétrico: El método emplea una formulación asimétrica: borrado a nivel de subespacio (para manejar conflictos en escenarios de múltiples conceptos) combinado con preservación por vector (para asegurar la retención detallada de conceptos no objetivo).
• Robustez Adversarial: El marco puede integrarse perfectamente con estrategias de edición adversarial para mejorar la robustez frente a ataques.

Contribuciones Clave

1. Reformulación Geométrica: OCE introduce un cambio de paradigma desde la edición aditiva hacia la edición ortogonal multiplicativa, fundamentado teóricamente en la observación de que la semántica de los conceptos depende de la dirección mientras que la capacidad generativa depende de la geometría angular.
2. Solución de Forma Cerrada: El método proporciona una solución de forma cerrada, principista y eficiente tanto para el borrado de un solo concepto como para múltiples conceptos mediante SVD, eliminando la necesidad de optimización iterativa.
3. Borrado de Subespacio Escalable: Al extender el borrado por vector a un objetivo estructurado a nivel de subespacio, OCE resuelve eficazmente las restricciones conflictivas en el borrado de múltiples conceptos a gran escala (por ejemplo, borrar 100 conceptos simultáneamente).
4. Amplia Aplicabilidad: El método demuestra transferibilidad tanto a modelos basados en U-Net (Stable Diffusion v1.4) como a modelos basados en DiT (FLUX.1 dev).

Resultados Experimentales

Se realizaron experimentos extensos en el borrado de objetos, borrado de estilos artísticos, borrado de celebridades y borrado de conceptos implícitos (incluyendo ataques adversariales).

• Borrado de un solo concepto: En el borrado de objetos CIFAR-10, OCE logró la puntuación media armónica más alta ($H_o$), reduciendo la tasa promedio de fallo de borrado ($A_{cce}$) al 4.61% mientras mantenía una preservación casi perfecta de los conceptos no objetivo ($A_{ccs} \approx 98.68\%$). Superó a los métodos más avanzados como UCE, MACE y SPEED.
• Borrado de múltiples conceptos: OCE eliminó con éxito hasta 100 conceptos de celebridades en un solo paso, completando el proceso en 4.3 segundos en una sola GPU A100. Mantuvo un rendimiento estable a medida que aumentaba el número de conceptos borrados, mientras que otros métodos sufrieron colapso en la generación o una degradación significativa en la preservación de conceptos no objetivo.
• Borrado Implícito y Robustez: En el borrado de conceptos implícitos (por ejemplo, contenido NSFW) y bajo ataques adversariales (Ring-A-Bell, MMA-Diffusion), OCE demostró una fuerte robustez, particularmente cuando se integró con edición adversarial, logrando bajas Tasas de Éxito del Ataque (ASR) mientras preservaba la calidad general de generación (puntuaciones CLIP altas, FID bajo).
• Transferibilidad: El método se extendió eficazmente al modelo FLUX.1 dev, logrando un borrado efectivo de objetos, estilos y celebridades sin requerir cambios arquitectónicos en la lógica central de edición.

Significado y Afirmaciones

El artículo afirma que OCE ofrece una solución principista, eficiente y escalable para el borrado de conceptos. Al abordar las limitaciones geométricas de las actualizaciones aditivas, OCE logra un equilibrio superior entre la eliminación precisa de conceptos y la preservación de las capacidades generativas intrínsecas del modelo.

Los autores enfatizan que OCE proporciona un mecanismo controlable para mejorar la seguridad y fiabilidad de los modelos de IA generativa. Soporta tanto el borrado de un solo concepto como de múltiples conceptos con una interferencia mínima en conceptos no relacionados, ofreciendo una vía práctica para desplegar IA más segura en la creación de contenido, la educación y las plataformas públicas. El trabajo sugiere que las perspectivas geométricas sobre el espacio de parámetros pueden conducir a paradigmas de edición más efectivos y estables para los modelos de difusión.

Limitaciones Reconocidas:
Los autores señalan que el borrado de subespacio basado en SVD puede introducir una sobrecarga computacional para modelos muy grandes. Además, dado que el método opera a nivel de subespacio, las salidas generadas pueden caer en regiones semánticas intermedias en lugar de coincidir precisamente con conceptos de anclaje detallados, lo que podría limitar la aplicabilidad en tareas de edición específicas. Se necesita una mayor exploración para borrar conceptos relacionales o composicionales complejos.