Resumo Técnico: Avaliando as Salvaguardas de Propriedade Intelectual de Modelos de Imagem Generativa

Definição do Problema

Modelos de imagem generativa são treinados em vastas quantidades de dados públicos da internet, uma parte significativa dos quais inclui propriedade intelectual (PI) protegida, como personagens fictícios, semelhanças de celebridades e logotipos comerciais. O uso desses dados sem consentimento levanta preocupações legais e éticas relativas à infração de direitos autorais e direitos de publicidade. Embora os desenvolvedores de modelos tenham começado a implementar "salvaguardas de PI" (medidas de mitigação em tempo de inferência) para evitar a geração de PI reconhecível, a transparência, a cobertura e a eficácia dessas salvaguardas permanecem incertas. Há uma falta de compreensão sistemática sobre a frequência com que essas salvaguardas recusam gerações, como elas variam entre diferentes categorias de PI e estratégias de prompt, e até que ponto os modelos ainda produzem PI reconhecível apesar dessas medidas.

Metodologia

Para abordar essas incertezas, os autores desenvolveram um benchmark abrangente e um pipeline de avaliação automatizado.

1. Taxonomia de PI e Design do Benchmark

O benchmark de avaliação foi construído com base em uma taxonomia quadridimensional:

• Intenção do Usuário: Distinguindo entre geração inadvertida (prompts indiretos sem nomes de entidades) e geração adversária (prompts diretos com nomes de entidades).
• Categorias de PI: Cinco categorias distintas foram testadas: (1) Celebridades da vida real, (2) Personagens de quadrinhos/desenhos/mangás, (3) Super-heróis/Vilões de quadrinhos, (4) Personagens de videogames e (5) Logotipos comerciais.
• Origem Geográfica: As entidades foram estratificadas em regiões "Ocidentais" (América do Norte/Europa) e "Orientais" (Leste/Sudeste Asiático).
• Popularidade: As entidades foram categorizadas como "Muito Mainstream" ou "Menos Mainstream" dentro de sua região.

O conjunto de dados final compreendeu 1.809 prompts cobrindo 201 entidades de PI distintas. Os prompts foram gerados usando cinco estratégias:

• Direta: Nomeando explicitamente a entidade.
• Direta com Diluição: Nomeando a entidade, mas adicionando um distrator descritivo.
• Indireta (Baseada em Palavras-chave): Listando atributos visuais sem nomear a entidade.
• Indireta (Descrição Curta/Longa): Descrevendo a aparência da entidade sem nomeá-la.

2. Pipeline de Avaliação

O estudo avaliou 14 modelos de texto-para-imagem (T2I): três modelos de pesos abertos (executados localmente) e onze modelos proprietários (acessados via APIs da Stability AI, Google, OpenAI, Runway e Amazon).

• Geração: Cada modelo foi acionado por um conjunto completo de prompts. Os resultados foram registrados como uma geração de imagem bem-sucedida ou uma recusa (detectada via códigos de erro de API).
• Detecção de PI: As imagens geradas foram avaliadas por um detector de Modelo de Linguagem-Visão (VLM) automatizado. Após o teste de 14 VLMs candidatos, o Qwen3-VL-30B-A3B-Instruct foi selecionado como o juiz devido ao seu alto F1 score (71,3%) e precisão. O VLM teve a tarefa de classificação binária (presença/ausência de PI reconhecível) e identificação de entidade canônica.

3. Métricas

Duas métricas primárias foram definidas:

• Taxa de Recusa de Geração (GRR): A proporção de prompts recusados pelas salvaguardas de moderação de conteúdo do modelo.
• Taxa de Ocorrência de PI (IOR): A proporção de todos os prompts que resultaram em uma imagem contendo PI reconhecível (calculada como $G = \frac{1}{|P|} \sum D(I_i)$, onde $D(I_i)$ é a saída do detector).

Principais Resultados

Eficácia Geral das Salvaguardas

• Variância de Recusa: A implementação das salvaguardas variou significativamente por provedor. Modelos de pesos abertos (Stable Diffusion 3 Medium, FLUX.1-dev, PixArt-Sigma) recusaram 0% das gerações. Entre os modelos proprietários, as taxas de recusa variaram de ~1% (Stability AI) a ~50% (Amazon Titan Image G2).
• Geração de PI: Apesar das salvaguardas, todos os 14 modelos testados geraram PI reconhecível até março de 2026.
• Correlação Inversa: Modelos com maiores taxas de recusa geralmente exibiram menores Taxas de Ocorrência de PI (IOR). Por exemplo, os modelos da Amazon tiveram alta GRR (~43%) e menor IOR, enquanto os modelos da Stability AI tiveram baixa GRR (<2%) e alta IOR.

Impacto da Estratégia de Prompt (Q2)

• Direta vs. Indireta: Prompts diretos (contendo nomes de entidades) dispararam taxas de recusa significativamente mais altas do que prompts indiretos. Os três modelos com as maiores taxas de recusa (Runway Gen-4, Amazon Nova Canvas, Amazon Titan G2) recusaram prompts diretos em ~80%, comparado a ~7–8% para prompts indiretos.
• Diluição: Adicionar "diluição" descritiva aos prompts diretos não reduziu significativamente as taxas de recusa nem impactou a IOR.
• Taxas de Geração: Prompts diretos resultaram em uma IOR mais alta (50%) em comparação com prompts indiretos (27–28%) em média, embora isso varie por modelo.

Impacto da Categoria de PI (Q3)

• Logotipos Comerciais: Esta categoria teve as menores taxas de recusa e a maior IOR na maioria dos modelos. Por exemplo, os modelos da Amazon recusaram apenas 1–2% dos prompts de logotipos, enquanto os geraram frequentemente.
• Super-heróis/Vilões: Esta categoria disparou as maiores taxas de recusa em média. Os modelos Imagen 3 e 4 do Google mostraram ativação de salvaguarda particularmente alta para esta categoria.
• Celebridades: Embora tivessem uma baixa taxa de recusa, as celebridades tiveram a menor IOR entre todas as categorias, possivelmente devido à remoção de dados em tempo de treinamento ou filtros de privacidade específicos.

Impacto de Popularidade e Região (Q3)

• Popularidade: Entidades mainstream tiveram taxas de recusa ligeiramente superiores (1,2x), mas IOR significativamente maior (1,7x) em comparação com entidades menos mainstream.
• Região: As taxas de recusa e IOR foram semelhantes entre entidades Orientais e Ocidentais.

Significância e Alegações

Os autores posicionam este trabalho como a primeira análise sistemática de salvaguardas de PI em tempo de inferência através de um conjunto diversificado de modelos de imagem generativa amplamente utilizados.

• Contribuição de Benchmarking: O artigo introduz um benchmark estruturado (201 entidades, 5 categorias, 5 tipos de prompt) e um pipeline de avaliação automatizado usando VLMs, abordando a lacuna na literatura existente, que frequentemente foca em escopos estreitos ou carece de variação sistemática de estratégias de prompt.
• Lacuna de Transparência: Os resultados destacam uma falta significativa de transparência dos desenvolvedores de modelos em relação às salvaguardas de PI em comparação com outras medidas de segurança (ex: toxicidade, nudez). O estudo revela que a cobertura das salvaguardas é inconsistente; por exemplo, logotipos comerciais são frequentemente gerados apesar de serem marcas registradas, enquanto super-heróis são mais fortemente bloqueados.
• Limitações e Modéstia: Os autores declaram explicitamente que seus resultados são apenas informativos e não constituem uma avaliação jurídica de risco ou conformidade. Eles reconhecem limitações, incluindo a dependência de VLMs para detecção (que podem ter menor recall para entidades menos mainstream) e a incapacidade de inspecionar a lógica interna das salvaguardas proprietárias além dos códigos de erro de API. Eles observam que a natureza de "instantâneo" dos dados (março de 2026) significa que as capacidades podem ter mudado.

Em conclusão, o relatório demonstra que, embora as salvaguardas de PI existam em modelos proprietários, elas não são universais nem uniformemente eficazes entre diferentes categorias de PI. Modelos de pesos abertos, em suas configurações locais padrão, atualmente carecem de salvaguardas de PI explícitas, resultando em altas taxas de geração de PI reconhecível.