Detecting CSAM Text-to-Image LoRAs From Weights

Resumen Técnico: Detección de LoRAs de Texto-a-Imagen de CSAM a partir de los Pesos

Planteamiento del Problema
La proliferación de la adaptación de bajo rango (LoRA, por sus siglas en inglés) ha democratizado la personalización de los modelos de texto a imagen de pesos abiertos. Si bien esto es beneficioso para tareas creativas legítimas, esta accesibilidad facilita la creación de adaptadores diseñados específicamente para generar Material de Abuso Sexual Infantil (CSAM, por sus siglas en inglés). Las estrategias de moderación actuales dependen en gran medida de los metadatos (tarjetas de modelo, etiquetas) o de la inspección de los resultados generados. Sin embargo, los metadatos suelen ser incompletos, heterogéneos o controlados por atacantes, y generar resultados para inspeccionarlos es legal y éticamente inaceptable cuando el contenido sospechoso es CSAM. En consecuencia, existe una necesidad urgente de un método libre de inferencia para identificar adaptadores dañinos directamente desde sus pesos, sin depender de descripciones proporcionadas por el usuario o de la generación de imágenes dañinas.

Metodología
Los autores proponen un método de cribado en el espacio de pesos que extrae una huella digital compacta y libre de inferencia de los adaptadores LoRA, denominada $u_1$.

• Representación ($u_1$): Para una matriz de actualización LoRA $\Delta W = BA$, el método calcula el vector singular superior izquierdo de $\Delta W$. Este vector representa la dirección singular izquierda principal de la actualización de los pesos. Para los adaptadores que modifican múltiples capas, estos vectores se extraen de las capas de atención cruzada (cross-attention) y se concatenan para formar un único vector de características por adaptador.
• Base Teórica: El método se fundamenta en un modelo simplificado de álgebra lineal donde una actualización de sujeto se representa como $\Delta W = \gamma w a^\top$. Aquí, $a$ es la señal de entrada (cue) y $w$ es la dirección de salida. El vector singular izquierdo principal recupera la dirección $w$ (el sujeto) independientemente de la magnitud de la actualización $\gamma$ o de la fuerza de la señal $a$, siempre que la actualización sea de rango uno dominante. Esto sugiere que $u_1$ codifica qué aprendió el adaptador en lugar de cómo fue entrenado.
• Supervisión por Proximidad (Proxy Supervision): Dado que entrenar con CSAM real es ilegal y poco ético, el estudio emplea supervisión por proximidad. Los autores entrenan "zoológicos benignos" controlados de LoRAs en conjuntos de datos no dañinos donde el atributo objetivo es un proxy legal y éticamente permisible para el eje de seguridad. Específicamente, utilizan la edad del sujeto humano (niño, joven, adulto) como un proxy para el eje relacionado con la infancia en el CSAM.
• Zoológicos de Entrenamiento: El benchmark principal consiste en 957 LoRAs entrenados en SD-1.5 a través de siete categorías (incluyendo edad, aves, escenas, objetos, texturas, cobertura terrestre y géneros de iNaturalist). Las recetas de entrenamiento (rango, tasa de aprendizaje, optimizador) se aleatorizan para asegurar que el detector aprenda el sujeto y no la configuración de entrenamiento. Se crearon zoológicos adicionales para SDXL y FLUX.1-schnell para probar la robustez entre modelos.
• Evaluación: Se entrenan clasificadores (regresión logística, bosques aleatorios) utilizando las características de $u_1$ para distinguir los sujetos de entrenamiento. El sistema se evalúa en su capacidad para recuperar el sujeto de entrenamiento, su robustez ante la evasión en el espacio de pesos (ruido, reescalado, cuantización) y su capacidad para abstenerse ante contenido benigno no relacionado.

Contribuciones Clave

1. Análisis de Metadatos: Un estudio de 63,28 de LoRAs de una plataforma pública revela que los metadatos son frecuentemente incompletos, inconsistentes y controlados por atacantes. Las recetas de entrenamiento detalladas están disponibles para menos del 25% de los adaptadores e, incluso en esos casos, rara vez exponen estrategias de puerta trasera (backdoor) sigilosas.
2. Cribado Libre de Inferencia ($u_1$): La introducción de $u_1$ como una representación derivada únicamente de los pesos del adaptador. Este método identifica sujetos de entrenamiento a través de diversos conjuntos de datos y modelos base sin requerir prompts, generación de imágenes o inferencia de GPU.
3. Detección de Capacidades Ocultas: Evidencia de que los sujetos de entrenamiento siguen siendo detectables en el espacio de pesos incluso cuando están ocultos tras puertas traseras basadas en disparadores (triggers, tipo DreamBooth) o cuando el contenido dañino constituye solo una pequeña fracción de los datos de entrenamiento.
4. Robustez y Calibración: Demostración de que la señal $u_1$ es robusta al ruido aditivo, al reescalado global y a la reducción de precisión (fp16/8-bit/4-bit). Crucialmente, el detector entrenado en el proxy de edad se abstiene (produce baja confianza) ante contenido benigno no relacionado, minimizando los falsos positivos.

Resultados

• Recuperación de Sujetos: En el benchmark de SD-1.5, un clasificador de regresión logística utilizando $u_1$ logra un AUROC macro de uno-contra-todos de 0.976 a través de siete categorías de sujetos. Para el eje de edad relevante para la seguridad (adulto/niño/joven), el AUROC alcanza 0.993.
• Comparación con Baselines: $u_1$ compite competitivamente con el sondeo de activación gaussiana (que requiere ejecución de GPU e inferencia del modelo) y supera a las estadísticas de resumen y al análisis de pesos basado en PCA.
• Detección de Puertas Traseras (Backdoors): Incluso cuando la edad se aprende solo detrás de un token disparador raro (backdoor) y se regulariza con imágenes benignas, $u_1$ recupera la clase "niño" crítica para la seguridad con un AUROC de 0.96, significativamente por encima del nivel del azar.
• Resistencia a la Evasión: La señal permanece estable bajo ruido de peso aditivo hasta la magnitud de los propios pesos y es invariante al reescalado y a la reducción de precisión.
• Abstención: Al aplicarse a 627 adaptadores benignos no vistos y no relacionados con el eje de edad, el detector produce 0 clasificaciones erróneas con confianza, demostando que no se activa erróneamente ante contenido no relacionado.
• Transferencia de Gradiente: Un detector entrenado en clases de edad discretas se generaliza a mezclas graduadas de datos de adultos/niños, donde la probabilidad predicha de "niño" aumenta de forma monótona a medida que aumenta la fracción de contenido infantil en la mezcla de entrenamiento.

Significancia y Reivindicaciones
El artículo afirma que los LoRAs dañinos pueden ser cribados directamente desde sus pesos, ofreciendo una capa de defensa crítica que opera independientemente de los metad datos y sin los riesgos legales o éticos de generar salidas dañinas.

• Seguridad y Ética: El enfoque se basa enteramente en proxies benignos y conjuntos de datos abiertos curados, asegurando que no haya exposición humana a imágenes abusivas durante el desarrollo o despliegue.
• Despliegue Práctico: Debido a que $u_1$ requiere solo álgebra lineal sobre los pesos (solo CPU), es computacionalmente eficiente y escalable para el cribado de grandes volúmenes de adaptadores, incluyendo aquellos en plataformas de persona a persona donde los metadatos pueden estar ausentes.
• Complementariedad: Los autores señalan que el cribado en el espacio de pesos ($u_1$) y el sondeo en el espacio de activación poseen señales parcialmente independientes; combinar ambos puede mejorar aún más el rendimiento de la detección.
• Limitaciones: Los autores declaran explícitamente que sus detectores son específicos del modelo base y que aún no han probado el método en modificaciones del codificador de texto. Además, aunque el método se generaliza a partir de proxies benignos, no afirman que sea una generalización garantizada a todos los LoRAs que generan CSAM sin una validación adicional en datos dañinos reales.

En conclusión, este trabajo establece que el "cambio aprendido más fuerte" en un LoRA está codificado de forma legible en su dirección singular principal, proporcionando un mecanismo viable y libre de inferencia para detectar adaptadores dañinos antes de que sean desplegados o utilizados para generar contenido.