Resumen Técnico: Cerrando la Brecha de Seguridad: Borrado Quirúrgico de Conceptos en Modelos Visuales Autorregresivos

Declaración del Problema

El rápido avance de los modelos Visuales Autorregresivos (VAR), como Infinity, ha mejorado significativamente la calidad y la velocidad de la generación de texto a imagen al predecir tokens visuales a escalas progresivamente mayores. Sin embargo, estos modelos carecen de mecanismos de seguridad efectivos, lo que los hace susceptibles de generar contenido inseguro (por ejemplo, imágenes NSFW, violencia o material que infringe derechos de autor) en respuesta a prompts inapropiados.

Las técnicas de Borrado de Conceptos (CE) existentes, diseñadas principalmente para modelos de difusión (como arquitecturas U-Net o FLUX), no logran generalizarse a los modelos VAR debido a diferencias arquitectónicas fundamentales:

1. Paradigma de Predicción: Los modelos de difusión predicen ruido en un espacio continuo, mientras que los modelos VAR predicen tokens visuales discretos de manera jerárquica y autorregresiva.
2. Acumulación de Errores: Aplicar ingenuamente los métodos de CE basados en difusión (que alinean las predicciones en escalas individuales) a los VAR conduce a errores acumulativos a través de las escalas. Debido a que la generación VAR es altamente autorregresiva (cada token depende de los tokens de escala más gruesa anteriores), la alineación independiente causa un colapso severo de la calidad de la imagen y una distorsión semántica.
3. Desajuste de Optimización: Las pérdidas de regresión estándar (por ejemplo, el Error Cuadrático Medio) utilizadas en el borrado de difusión son inadecuadas para el espacio de probabilidad discreto de la predicción de tokens en los VAR, lo que provoca una optimización inestable.

Metodología

Los autores proponen un marco de dos etapas para abordar estos desafíos: VARErasure (un marco fundacional) y S-VARE (un método de borrado quirúrgico).

1. Marco VARErasure: Tokens Visuales Auxiliares

Para prevenir la acumulación de errores entre escalas, los autores introducen un marco que aprovecha los tokens visuales auxiliares.

• Mecanismo: En lugar de entrenar al modelo para generar tokens desde cero basándose en un prompt neutral, el marco proporciona al transformador visual tokens auxiliares generados a partir del modelo original (usando ya sea el prompt objetivo $c^*$ o un prompt neutral $c$) como entradas adicionales.
• Efecto: Esto permite que el modelo ajustado se concentre en ajustar las respuestas de la atención cruzada para dar cuenta del concepto objetivo, manteniendo la estructura y la semántica de la generación mayormente intactas. Esto mitiga el "colapso" observado en el ajuste fino ingenuo.

2. S-VARE: Borrado Quirúrgico de Conceptos

Basándose en VARE, los autores introducen S-VARE, que reemplaza las pérdidas de regresión estándar con una función de pérdida personalizada adaptada para la predicción de tokens discretos.

• Pérdida de Entropía Cruzada Filtrada ($L_{FCE}$):

  • Reconociendo que los modelos VAR (como Infinity) utilizan Cuantización Esférica Binaria (BSQ) para proyectar las predicciones en un espacio de probabilidad, los autores reemplazan el MSE con la Entropía Cruzada.
  • Estrategia de Filtrado: Para evitar la sobre-optimización (donde el modelo degrada incluso los tokens correctos), se aplica una estrategia de filtrado de dos niveles:
    1. Nivel de Bit: Utiliza un umbral $\gamma$ basado en la precisión de la clasificación binaria.
    2. Nivel de Token: Excluye los tokens del cálculo de la pérdida si el porcentaje de bits incorrectos es inferior a un umbral $\alpha$ (establecido en 25%, consistente con el rango de autocorrección del modelo).
  • Esto asegura que solo los tokens con discrepancias semánticas significativas contribuyan al gradiente, permitiendo un borrado "quirúrgico" de conceptos inseguros.

• Pérdida de Preservación ($L_{Pre}$):

  • Para contrarrestar los efectos secundarios del ajuste fino, como la deriva del lenguaje y la reducción de la diversidad, se introduce una pérdida de preservación.
  • Mecanismo: Alinea la salida del modelo ajustado (usando un prompt neutral $c$) con la salida del modelo original preentrenado utilizando la divergencia de Kullback-Leibler (KL).
  • Objetivo: Esto asegura que el modelo ajustado retenga las capacidades generativas y la diversidad del modelo original para conceptos no relacionados con el concepto borrado.

Contribuciones Clave

1. Análisis Sistemático: El artículo es el primero en analizar sistemáticamente las limitaciones de aplicar métodos de CE basados en difusión a los modelos VAR, identificando la acumulación de errores y los desajustes de optimización como los principales puntos de falla.
2. Marco VARE: Propone un nuevo marco que utiliza tokens visuales auxiliares para estabilizar la generación y reducir el espacio de búsqueda de optimización, evitando el colapso de la calidad de la imagen.
3. Método S-VARE: Introduce un método de borrado quirúrgico que presenta:
   • Una Pérdida de Entropía Cruzada Filtrada ($L_{FCE}$) que apunta precisamente a los tokens inseguros respetando la naturaleza discreta de las predicciones VAR.
   • Una Pérdida de Preservación ($L_{Pre}$) que mantiene la fidelidad semántica y la diversidad de la salida.
4. Validación Empírica: Demuestra que el enfoque logra altas tasas de borrado (97% de los conceptos sensibles) con una degradación mínima en la calidad de la generación (menos del 2% de caída en el puntaje CLIP).

Resultados Experimentales

Los autores evaluaron S-VARE en el modelo Infinity-2B a través de tres categorías de borrado: NSFW (desnudez), Objeto (por ejemplo, "iglesia") y Estilo (por ejemplo, "Van Gogh").

• Borrado de NSFW: El método logró un borrado casi completo de los conceptos de desnudez (reduciendo significativamente la detección de contenido sensible) mientras preservaba la generación de partes normales del cuerpo. Superó a los modelos de referencia como ESD, UCE y FMN, que fallaron en borrar eficazmente o degradaron severamente la calidad de la imagen.
• Borrado de Objeto y Estilo: El método eliminó con éxito los objetos y estilos objetivo mientras mantenía una alta precisión de clasificación para clases irrelevantes y preservaba la capacidad del modelo para generar imágenes diversas y de alta calidad.
• Robustez: Probado contra conjuntos de datos de prompts adversarios (Ring-A-Bell, MMA, I2P) diseñados para inducir desnudez, S-VARE redujo significativamente la Tasa de Éxito Adversario (ASR) en comparación con el modelo original y otros modelos de referencia.
• Estudios de Ablación: Confirmó que la pérdida de Entropía Cruzada Filtrada es crítica para la efectividad del borrado, mientras que la pérdida de Preservación es esencial para mantener la calidad de la generación y la fidelidad de las instrucciones.

Significado y Reivindicaciones

El artículo afirma cerrar la brecha de seguridad en la generación autorregresiva de texto a imagen. Mientras que los métodos anteriores eran efectivos para los modelos de difusión, eran inaplicables a la nueva clase de modelos VAR. Al introducir VARE y S-VARE, los autores proporcionan la primera solución efectiva de borrado quirúrgico de conceptos para los VAR.

El trabajo demuestra que es posible eliminar conceptos indeseables de los modelos autorregresivos a gran escala sin la carga computacional impráctica de reentrenar desde cero o la severa degradación de la calidad asociada con el ajuste fino ingenuo. Esto facilita el despliegue seguro y escalable de sistemas de generación basados en VAR en aplicaciones del mundo real.