Resumen Técnico: Evaluación de las Salvaguardas de Propiedad Intelectual en Modelos de Generación de Imágenes

Planteamiento del Problema

Los modelos generativos de imágenes se entrenan con vastas cantidades de datos públicos de internet, una parte significativa de la cual incluye propiedad intelectual (PI) protegida, como personajes de ficción, la apariencia de celebridades y logotipos comerciales. El uso de estos datos sin consentimiento plantea preocupaciones legales y éticas relacionadas con la infracción de derechos de autor y los derechos de publicidad. Aunque los desarrolladores de modelos han comenzado a implementar "salvaguardas de PI" (medidas de mitigación en el tiempo de inferencia) para evitar la generación de PI reconocible, la transparencia, la cobertura y la efectividad de estas salvaguardas siguen siendo inciertas. Existe una falta de comprensión sistemática sobre con qué frecuencia estas salvaguardas rechazan las generaciones, cómo varían entre diferentes categorías de PI y estrategias de prompts, y hasta qué punto los modelos siguen produciendo PI reconocible a pesar de estas medidas.

Metodología

Para abordar estas incertidumbres, los autores desarrollaron un benchmark exhaustivo y un pipeline de evaluación automatizado.

1. Taxonomía de PI y Diseño del Benchmark

El benchmark de evaluación se construyó basándose en una taxonomía de cuatro dimensiones:

• Intención del Usuario: Distinguiendo entre generación inadvertida (prompts indirectos sin nombres de entidades) y generación adversaria (prompts directos con nombres de entidades).
• Categorías de PI: Se probaron cinco categorías distintas: (1) Celebridades de la vida real, (2) Personajes de cómics/caricaturas/manga, (3) Superhéroes/Villanos de cómics, (4) Personajes de videojuegos y (5) Logotipos comerciales.
• Origen Geográfico: Las entidades se estratificaron en regiones "Occidentales" (Norteamérica/Europa) y "Orientales" (Este/Sudeste Asiático).
• Popularidad: Las entidades se categorizaron como "Muy Mainstream" o "Menos Mainstream" dentro de su región.

El conjunto de datos final comprendió 1,809 prompts que cubren 201 entidades de PI distintas. Los prompts se generaron utilizando cinco estrategias:

• Directo: Nombrando explícitamente la entidad.
• Directo con Dilución: Nombrando la entidad pero añadiendo un distractor descriptivo.
• Indirecto (basado en palabras clave): Listando atributos visuales sin nombrar la entidad.
• Indirecto (Descripción corta/larga): Describiendo la apariencia de la entidad sin nombrarla.

2. Pipeline de Evaluación

El estudio evaluó 14 modelos de texto a imagen (T2I): tres modelos de pesos abiertos (ejecutados localmente) y once modelos propietarios (accedidos vía API de Stability AI, Google, OpenAI, Runway y Amazon).

• Generación: Cada modelo fue instado con el conjunto de datos completo. Los resultados se registraron como una generación de imagen exitosa o un rechazo (detectado mediante códigos de error de la API).
• Detección de PI: Las imágenes generadas fueron evaluadas mediante un detector automatizado de Modelo de Lenguaje-Visión (VLM). Tras evaluar 14 VLMs candidatos, se seleccionó Qwen3-VL-30B-A3B-Instruct como el juez debido a su alto F1 score (71.3%) y precisión. El VLM tuvo la tarea de realizar una clasificación binaria (presencia/ausencia de PI reconocible) e identificación de la entidad canónica.

3. Métricas

Se definieron dos métricas primarias:

• Tasa de Rechazo de Generación (GRR): La proporción de prompts rechazados por las salvaguardas de moderación de contenido del modelo.
• Tasa de Ocurrencia de PI (IOR): La proporción de todos los prompts que resultaron en una imagen que contiene PI reconocible (calculada como $G = \frac{1}{|P|} \sum D(I_i)$, donde $D(I_i)$ es la salida del detector).

Resultados Clave

Efectividad General de las Salvaguardas

• Varianza de Rechazo: La implementación de salvaguardas varió significativamente según el proveedor. Los modelos de pesos abiertos (Stable Diffusion 3 Medium, FLUX.1-dev, PixArt-Sigma) rechazaron el 0% de las generaciones. Entre los modelos propietarios, las tasas de rechazo oscilaron entre aproximadamente el 1% (Stability AI) y el 50% (Amazon Titan Image G2).
• Generación de PI: A pesar de las salvaguardas, los 14 modelos probados generaron PI reconocible a marzo de 2026.
• Correlación Inversa: Los modelos con mayores tasas de rechazo generalmente exhibieron menores Tasas de Ocurrencia de PI (IOR). Por ejemplo, los modelos de Amazon tuvieron un GRR alto (~43%) y un IOR más bajo, mientras que los modelos de Stability AI tuvieron un GRR bajo (<2%) y un IOR alto.

Impacto de la Estrategia de Prompt (Q2)

• Directo vs. Indirecto: Los prompts directos (que contienen nombres de entidades) activaron tasas de rechazo significativamente más altas que los prompts indirectos. Los tres modelos con las tasas de rechazo más altas (Runway Gen-4, Amazon Nova Canvas, Amazon Titan G2), rechazaron los prompts directos en aproximadamente un 80%, frente a un 7–8% para los indirectos.
• Dilución: Añadir "dilución" descriptiva a los prompts directos no redujo significativamente las tasas de rechazo ni afectó el IOR.
• Tasas de Generación: Los prompts directos resultaron en un IOR más alto (50%) en comparación con los indirectos (27–28%) en promedio, aunque esto varió según el modelo.

Impacto de la Categoría de PI (Q3)

• Logotipos Comerciales: Esta categoría tuvo las tasas de rechazo más bajas y el IOR más alto en la mayoría de los modelos. Por ejemplo, los modelos de Amazon rechazaron solo el 1–2% de los prompts de logotipos mientras los generaban frecuentemente.
• Superhéroes/Villanos: Esta categoría activó las tasas de rechazo más altas en promedio. Los modelos Imagen 3 y 4 de Google mostraron una activación de salvaguardas particularmente alta para esta categoría.
• Celebridades: Aunque tuvieron una baja tasa de rechazo, las celebridades tuvieron el IOR más bajo entre todas las categorías, potencialmente debido a la eliminación de datos en el tiempo de entrenamiento o filtros de privacidad específicos.

Impacto de la Popularidad y Región (Q3)

• Popularidad: Las entidades mainstream tuvieron tasas de rechazo ligeramente superiores (1.2x) pero un IOR significativamente mayor (1.7x) en comparación con las entidades menos mainstream.
• Región: Las tasas de rechazo e IOR fueron similares entre las entidades orientales y occidentales.

Significado y Reivindicaciones

Los autores posicionan este trabajo como el primer análisis sistemático de las salvaguardas de PI en el tiempo de inferencia a través de un conjunto diverso de modelos de generación de imágenes ampliamente utilizados.

• Contribución de Benchmarking: El artículo introduce un benchmark estructurado (201 entidades, 5 categorías, 5 tipos de prompts) y un pipeline de evaluación automatizado utilizando VLMs, abordando la brecha en la literatura existente que a menudo se centra en alcances estrechos o carece de variación sistemática en las estrategias de prompts.
• Brecha de Transparencia: Los resultados resaltan una falta significativa de transparencia por parte de los desarrolladores de modelos con respecto a las salvaguardas de PI en comparación con otras medidas de seguridad (por ejemplo, toxicidad, desnudez). El estudio revela que la cobertura de las salvaguardas es inconsistente; por ejemplo, los logotipos comerciales se generan con frecuencia a pesar de estar registrados como marcas, mientras que los superhéroes son bloqueados con mayor rigor.
• Limitaciones y Modestia: Los autores declaran explícitamente que sus resultados son solo informativos y no constituyen una evaluación legal de riesgo o cumplimiento. Reconocen limitaciones, incluyendo la dependencia de los VLMs para la detección (que pueden tener un recall menor para entidades menos mainstream) y la imposibilidad de inspeccionar la lógica interna de las salvaguardas propietarias más allá de los códigos de error de la API. Señalan que la naturaleza de "instantánea" de los datos (marzo de 2026) significa que las capacidades pueden haber cambiado.

En conclusión, el informe demuestra que, si bien existen salvaguardas de PI en los modelos propietarios, estas no son universales ni uniformemente efectivas a través de las diferentes categorías de PI. Los modelos de pesos abiertos, en sus configuraciones locales predeterminadas, carecen actualmente de salvaguardas de PI explícitas, lo que resulta en altas tasas de generación de PI reconocible.