Resumen Técnico: No Existe Dosis Segura: Cómo los Datos de Entrenamiento Impulsan la Generación de Imágenes Inseguras

Declaración del Problema

Los modelos generativos de texto a imagen (T2I) se entrenan con conjuntos de datos masivos, a menudo sin curar, que inevitablemente contienen contenido inseguro (por ejemplo, violencia, material sexual, imágenes de odio). Aunque las intervenciones reactivas como el filtrado de prompts y el RLHF son comunes, una pregunta fundamental aguas arriba permanece sin resolver: ¿En qué medida la composición de los datos de entrenamiento impulsa directamente la seguridad de la salida del modelo?

La literatura actual carece de un análisis controlado que aísle la composición de los datos de entrenamiento de otras variables de confusión (como conjuntos de datos propietarios, arquitecturas variables e hiperparámetros). Además, no está claro si la proporción de imágenes inseguras o la cantidad absoluta es la variable operativa que impulsa la generación insegura. Asimismo, la medida en que el filtrado de seguridad degrada la calidad de la imagen sigue siendo objeto de debate.

Metodología

Los autores realizaron un experimento controlado riguroso para aislar la composición del conjunto de datos como la variable clave.

Diseño Experimental

• Arquitectura del Modelo: Se utilizó un modelo fijo de flujo de coincidencia de texto a imagen (PRX-1.2B) en todas las condiciones.
• Datos de Entrenamiento: Los corpus se ensamblaron a partir de tres fuentes públicas (generadas por FLUX, FLUX-Reason, Midjourney-v6).
• Familia de Intervenciones: La distribución de entrenamiento se manipuló para crear siete condiciones distintas que variaban en:
  1. Proporción de Contaminación ($p$): Desde 0% hasta ~9.6% de imágenes inseguras.
  2. Escala del Conjunto de Datos ($N$): Desde 100K hasta 8.6M de imágenes.
  3. Conteo Absoluto ($U$): Las condiciones se diseñaron para mantener $U$ constante mientras se variaba $p$, y viceversa.
• Ablación del Codificador de Texto: Para aislar la contribución del modelo de condicionamiento, los autores reentrenaron modelos utilizando tres codificadores de texto diferentes: T5-Gemma-2B (predeterminado), CLIP ViT-L/14 y SafeCLIP ViT-L/14.
• Protocolo de Evaluación:
  • Generación: 30,000 imágenes generadas por modelo a partir de un banco de pruebas de prompts estratificado (1,000 prompts seguros, 9,000 prompts adversarios en 9 categorías de seguridad).
  • Clasificación de Seguridad: Las salidas fueron evaluadas por cuatro clasificadores de seguridad independientes (LlavaGuard, LlamaGuard, ShieldGemma, Stable Diffusion Safety Checker).
  • Métricas de Calidad: Se calcularon FID, CLIPscore e ImageReward para evaluar las compensaciones de calidad.

Contribuciones Clave

1. Vínculo Causal Establecido: El artículo proporciona un análisis controlado que demuestra una relación causal directa y monótona entre la proporción de datos de entrenamiento inseguros y la tasa de generación de imágenes inseguras.
2. Proporción vs. Conteo: Mediante un diseño factorial, los autores demuestran que la proporción de imágenes inseguras es la variable operativa, no el conteo absoluto. Se demuestra que el filtrado de seguridad es invariante a la escala por encima de un tamaño mínimo de conjunto de datos (~1M de imágenes).
3. Especificidad Adversarial: El efecto de generación insegura es exclusivamente adversarial. Bajo prompts seguros, todos los modelos producen aproximadamente un 1% de salidas inseguras, independientemente de los niveles de contaminación. La curación de datos se dirige específicamente a la superficie de ataque adversarial.
4. Suelo de Seguridad Irreducible: Incluso con 0% de imágenes de entrenamiento inseguras, persiste una línea base de salidas inseguras (16.6% con T5-Gemma). Este "suelo" se atribuye al preentrenamiento del codificador de texto congelado en datos a escala web. Reemplazar el codificador con SafeCLIP reduce este suelo al 9.6%.
5. Costo de Calidad Cero: El filtrado de seguridad no incurre en una degradación medible de la calidad de la imagen (FID, CLIPscore, ImageReward) en comparación con las líneas base sin filtrar.

Resultados Clave

Relación Dosis-Respuesta

• Aumento Monótono: La inseguridad de la salida aumenta monótonamente con la contaminación de entrenamiento.
  • 0% de contaminación (C1): 16.6% de salidas inseguras.
  • 1.2% de contaminación (C0, natural): 20.6% de salidas inseguras.
  • 5% de contaminación (C2): 25.5% de salidas inseguras.
  • 9.6% de contaminación (C3): 26.4% de salidas inseguras.
• Amplificación: El modelo amplifica significativamente la señal de entrada; una contaminación de entrenamiento del 1.2% resulta en un aumento de 17 veces en las salidas inseguras (20.6%).
• Sublinealidad: La relación es sublineal (saturada), lo que sugiere rendimientos marginales decrecientes a medida que aumenta la contaminación.

Proporción vs. Conteo Absoluto

• Invarianza de Escala: Los modelos entrenados con 1M de imágenes con 1.2% de contaminación (C4) y 8M de imágenes con 1.2% de contaminación (C0) no mostraron diferencias estadísticamente significativas en el rendimiento de seguridad.
• Control de Conteo: Al mantener constante el número absoluto de imágenes inseguras (96K) pero variar la proporción (1.2% en C0 vs. 9.6% en C6), el modelo con la proporción más alta (C6) produjo significativamente más salidas inseguras (26.2% vs. 20.6%).

Impacto del Codificador de Texto

• Suelo Irreducible: Con datos filtrados (0% de contaminación), las tasas de inseguridad fueron:
  • T5-Gemma: 16.6%
  • CLIP: 14.7%
  • SafeCLIP: 9.6%
• Persistencia del Efecto: El efecto dosis-respuesta persistió en los tres codificadores, confirmando que los conceptos inseguros se aprenden de la distribución visual de entrenamiento independientemente del codificador de texto, aunque el codificador establece el riesgo base.

Sensibilidad por Categoría

• Visual vs. Contextual: Las categorías que requieren conocimiento visual específico (O3: Contenido Sexual, O4: Nudez) mostraron la mayor sensibilidad a la contaminación de entrenamiento.
• Categorías Contextuales: Las categorías que dependen de la interpretación contextual (O1: Odio, O7: Autolesión) mostraron tendencias no monótonas y fueron menos sensibles a la contaminación de datos visuales, lo que sugiere una dominancia del codificador de texto.

Calidad y Robustez

• Métricas de Calidad: No se observó degradación sistemática en FID, CLIPscore o ImageReward en ninguna condición.
• Consistencia del Clasificador: El perfil dosis-respuesta fue consistente en los cuatro clasificadores de seguridad independientes, a pesar de las diferencias en la estrictitud de sus calificaciones absolutas.

Significado y Afirmaciones

El artículo establece que la curación de datos y la seguridad del codificador de texto son intervenciones complementarias e independientemente efectivas.

• Para los Practicantes: Los autores proponen una estrategia en capas:

  1. Filtrar una fracción fija de contenido de entrenamiento inseguro (efectivo independientemente del tamaño del corpus, sin costo de calidad).
  2. Reemplazar los codificadores de texto estándar con variantes alineadas a la seguridad (por ejemplo, SafeCLIP) para reducir el suelo de seguridad irreducible.
  3. Invertir en defensas contra prompts adversarios para abordar el riesgo residual no cubierto por las intervenciones de datos o codificadores.

• Implicaciones Teóricas: Los hallazgos desafían el paradigma de escalado "más grande es mejor" en cuanto a la seguridad, sugiriendo que, sin abordar la composición de los datos y la seguridad del codificador, una mayor capacidad del modelo puede conducir a tasas más altas de generación insegura (como se observa en la Fig. 1 a través de las generaciones del modelo).

• Limitaciones y Alcance: Los autores declaran explícitamente que su definición de "inseguro" es operativa, basada en clasificadores automatizados y una taxonomía de nueve categorías. No constituye una evaluación legal de contenido ilegal (por ejemplo, CSAM, NCII). El estudio se centra en la dinámica de preentrenamiento; aunque observaron que el Ajuste Fino Supervisado (SFT) en datos seguros puede paradójicamente aumentar las tasas de inseguridad (probablemente debido a ganancias de capacidad), el enfoque principal sigue siendo el vínculo causal entre la composición de los datos de preentrenamiento y la seguridad de la salida.