CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models

Resumen Técnico: CSF (Compositional Semantic Fingerprinting)

1. Planteamiento del Problema

Los modelos de texto a imagen (T2I) son activos comerciales valiosos, a menudo distribuidos bajo licencias restrictivas que prohíben su uso comercial o la distribución de derivados sin autorización. Sin embargo, la protección de la propiedad intelectual (PI) es ineficaz si no se pueden detectar las violaciones.

El escenario crítico ocurre cuando un infractor ajusta fino (fine-tuning) un modelo protegido y lo distribuye exclusivamente a través de una API comercial. En este entorno de "caja negra" estricta:

• No hay acceso a los pesos del modelo ni a las activaciones internas (lo que invalida métodos de huella digital tradicionales).
• No hay acceso previo para inyectar marcas de agua (watermarking) antes del despliegue.
• El ajuste fino altera drásticamente el estilo visual, la paleta de colores y la composición, haciendo que los métodos basados en similitud de píxeles o características visuales (como embeddings de CLIP) fallen, ya que los modelos ajustados se agrupan por estilo en lugar de por su linaje base.

La necesidad es un método que pueda atribuir un modelo sospechoso a su linaje base original utilizando únicamente acceso de consulta (query-only).

2. Metodología: Compositional Semantic Fingerprinting (CSF)

CSF propone un enfoque de huella digital que opera en el espacio semántico en lugar del espacio visual. La premisa central es que, aunque el estilo visual cambia con el ajuste fino, las sesgos semánticos inherentes del modelo base (su forma de interpretar conceptos ambiguos) persisten.

Componentes Clave del Método:

• Abstracción a Generadores de Categorías: En lugar de analizar la imagen pixel a pixel, CSF trata el modelo como un generador de distribuciones de categorías semánticas. Se pregunta: "¿Qué categoría semántica específica elige el modelo para un concepto dado?".
• Prompts de Composición Subespecificada (Compositional Underspecification):
  • Se utilizan prompts que combinan componentes semánticos comunes en combinaciones raras que es poco probable que aparezcan en los datos de ajuste fino.
  • Estructura del Prompt: [Atributo Subespecificado] + [Categoría Superordinada] + [Condición Contextual].
  • Ejemplo: "Una foto de un animal peligroso en un estudio oscurecido".
  • Principio de Robustez: Dado que la combinación específica de atributos es rara en los datos de entrenamiento del ajuste fino, el modelo no recibe señales de actualización para ese comportamiento específico. Por lo tanto, la respuesta del modelo ajustado a esta condición rara se mantiene similar a la del modelo base (similar al principio de las "puertas traseras" en marcas de agua, pero sin necesidad de inyección previa).
• Extracción de Huella Digital:
  1. Se generan múltiples imágenes (N=30) para cada prompt subespecificado.
  2. Cada imagen se clasifica mediante clasificación cero-shot (zero-shot) usando CLIP para obtener una distribución de probabilidad sobre categorías semánticas (ej. tigre, león, lobo).
  3. Se construye una distribución empírica de estas categorías para el modelo sospechoso.
• Atribución Bayesiana:
  • Se compara la distribución del modelo sospechoso con las distribuciones de referencia de los modelos base candidatos.
  • Se utiliza la Distancia de Wasserstein para medir la divergencia entre las distribuciones de vectores categóricos, capturando la estructura geométrica de las preferencias semánticas.
  • Se aplica un marco de inferencia bayesiana para calcular intervalos de credibilidad y tomar decisiones de atribución con riesgo controlado.

3. Contribuciones Clave

1. Primera Huella Digital en Caja Negra Estricta: CSF es el primer método capaz de atribuir modelos T2I ajustados finamente utilizando solo acceso a la API de generación, sin necesidad de pesos, activaciones o acceso previo al entrenamiento.
2. Ventaja Asimétrica para el Defensor: A diferencia de las marcas de agua (donde el atacante puede eliminar el trigger si lo conoce), CSF explota la explosión combinatoria de prompts. Los defensores pueden generar infinitas nuevas combinaciones raras post-despliegue, mientras que los atacantes no pueden prever ni suprimir todo el espacio de posibles combinaciones semánticas.
3. Independencia del Estilo Visual: Al centrarse en la interpretación semántica subyacente en lugar de los píxeles, el método es robusto frente a cambios drásticos de estilo (ej. de realista a anime) y técnicas de optimización agresivas como DPO (Direct Preference Optimization) o destilación.
4. Marco Estadístico Riguroso: Proporciona intervalos de confianza cuantificados para las decisiones de atribución, permitiendo distinguir entre coincidencia aleatoria y atribución dominante.

4. Resultados Experimentales

Los autores evaluaron CSF en 6 familias de modelos base (Flux, Kandinsky, SD1.5, SD2.1, SD3, SDXL) y 13 variantes ajustadas finamente (incluyendo LoRA, fusión de modelos, DPO, destilación y reemplazo de VAE).

• Precisión de Atribución: Todos los modelos ajustados lograron una precisión de atribución posterior media superior al 50%, cumpliendo el criterio de "dominancia" (la probabilidad del modelo base correcto es mayor que la suma de todas las alternativas).
• Robustez Extrema: El método funcionó incluso en casos extremos como:
  • SD3-Reality-Mix: Reentrenamiento completo en datasets fotorealistas.
  • Distilación (Lightning): Modelos comprimidos a pocos pasos de inferencia.
  • Fusión de Modelos: Combinaciones no lineales de pesos.
• Comparación con Baselines:
  • Los prompts "naive" (comunes) fallaron estrepitosamente (precisión ~18%, cercana al azar).
  • CSF alcanzó una precisión del 71% en estudios humanos y >90% en atribución bayesiana para la mayoría de los casos.
  • La distancia de Wasserstein superó a la Divergencia Jensen-Shannon (JSD) en términos de confianza y estabilidad.
• Resistencia a la Eliminación de Conceptos: Incluso cuando se intentó eliminar conceptos específicos (ej. "animales") mediante edición de conceptos unificados (UCE), CSF siguió siendo efectivo porque se basa en capacidades semánticas amplias y no en un solo disparador.

5. Significado e Impacto

CSF representa un cambio de paradigma en la protección de la propiedad intelectual de los modelos generativos:

• Solución Práctica para APIs: Ofrece una herramienta viable para que los propietarios de IP protejan sus modelos en el entorno comercial real, donde el acceso a los modelos internos es imposible.
• Evidencia Legal Potente: Al proporcionar una atribución estadísticamente significativa y perceptualmente interpretable (validada mediante estudios humanos), CSF genera evidencia robusta para disputas legales sobre violación de licencias.
• Bajo Costo: El método es "sin entrenamiento" (training-free) y el costo de consulta es bajo (aprox. $50 por modelo para verificar), lo que lo hace escalable.

En conclusión, CSF demuestra que la identidad de un modelo de difusión reside en sus sesgos semánticos profundos, los cuales son resistentes a la manipulación superficial del estilo y pueden ser extraídos mediante una ingeniería de prompts inteligente y una inferencia estadística rigurosa.