How Do Data Owners Say No? A Case Study of Data Consent Mechanisms in Web-Scraped Vision-Language AI Training Datasets

Título: Como os Proprietários de Dados Dizem Não? Um Estudo de Caso sobre Mecanismos de Consentimento de Dados em Conjuntos de Dados de Treinamento de IA Visão-Linguagem Raspados da Web

Data: 10 de abril de 2026
Autores: Chung Peng Lee, Rachel Hong, Harry H. Jiang, Aster Plotnik, William Agnew, Jamie Morgenstern (Princeton, UW, CMU, Toronto, AWS).

---

1. O Problema

O treinamento de modelos modernos de texto-para-imagem e visão-linguagem (como CLIP, Stable Diffusion e MidJourney) depende massivamente de conjuntos de dados raspados da web em escala bilionária. No entanto, há uma crescente incerteza sobre se essas práticas de coleta respeitam adequadamente os desejos dos proprietários dos dados.

• Contexto Legal e Ético: Ignorar indicações de consentimento não apenas levanta preocupações éticas, mas tem sido alvo de processos judiciais por violação de direitos autorais (ex: Andersen v. Stability AI, Getty v. Stability AI).
• Lacuna de Pesquisa: Enquanto a transparência em conjuntos de dados baseados em texto foi explorada, o cenário de consentimento para dados multimodais (imagem-texto) raspados da web permanece pouco estudado.
• Desafios Específicos: A transição para a modalidade imagem-texto introduz heterogeneidade nos sinais de consentimento e desafios na rastreabilidade da proveniência, pois o conteúdo de imagem é frequentemente entregue via provedores de nuvem de terceiros (CDNs), obscurecendo o proprietário original.

2. Metodologia

Os autores utilizaram o DataComp CommonPool (um conjunto de dados de 12,8 bilhões de pares imagem-texto) como estudo de caso. A análise foi dividida em duas camadas principais:

A. Nível de Amostra (Sample-Level)

Análise direta das imagens e metadados para identificar sinais de restrição:

1. Avisos de Direitos Autorais: Uso de expressões regulares para buscar símbolos como "©" e termos como "copr." tanto nas legendas (captions) quanto em textos extraídos via OCR (usando PaddleOCR).
2. Campos de Metadados (EXIF): Busca por tags de direitos autorais não vazias nos metadados da imagem (padrão EXIF 2.3).
3. Detecção de Marca d'Água: Avaliação de múltiplos modelos (YoloV8, MobileViTv2, Rolm OCR, Gemma-3) para detectar marcas d'água. Os modelos foram validados em um conjunto de dados padrão e em um subconjunto anotado manualmente do CommonPool.

B. Nível de Domínio Web (Web-Domain-Level)

Análise das políticas dos sites de origem (top 50 domínios base):

1. Termos de Serviço (ToS): Anotação manual das políticas dos 50 domínios principais para identificar restrições de raspagem (scraping) e uso comercial, classificando licenças e categorias de sites.
2. Protocolo de Exclusão de Robôs (REP/robots.txt): Análise dos arquivos robots.txt para verificar se agentes específicos (como GPTBot, CCBot, Claudebot) são bloqueados.

Escala de Análise: O estudo focou nas versões filtradas para inglês ("small-en" e "medium-en") do CommonPool para viabilidade computacional, extrapolando os resultados para a escala total.

3. Principais Resultados

Estatísticas de Nível de Amostra

• Avisos de Direitos Autorais: Estima-se que 122 milhões de amostras no CommonPool (aprox. 12,8B total) contenham algum tipo de aviso de direitos autorais ou reivindicação.
  • A sobreposição entre os métodos de detecção (OCR, legenda, EXIF) é muito baixa, indicando que os sinais de consentimento são heterogêneos e dispersos.
• Marcas d'Água:
  • Estima-se que 9% a 13% das amostras contenham marcas d'água (com intervalo de confiança de 95%).
  • Falha de Detecção: Métodos convencionais de detecção de marcas d'água falham em alta fidelidade em imagens raspadas da web ("in the wild"), apresentando queda significativa no F1-score devido a ruídos e textos na imagem que confundem os modelos.
  • Inutilidade de LAION-5B: As pontuações de probabilidade de marca d'água liberadas pelo LAION-5B mostraram baixa precisão (34%) e recall (51%), tornando-as inúteis para usuários que desejam evitar treinar em imagens com marcas d'água.

Estatísticas de Nível de Domínio

• Restrições de Raspagem: 60% das amostras provenientes dos 50 domínios principais vêm de sites cujos Termos de Serviço (ToS) proíbem a raspagem.
  • 57,1% proíbem raspagem geral (sem menção específica a IA).
  • 3,2% proíbem raspagem e uso de IA incondicionalmente.
• Uso Restrito: 33,4% das amostras dos domínios principais vêm de sites que limitam o uso a "Pessoal/Pesquisa/Não-comercial".
• Limitação Técnica (CDNs): Cerca de 27% das amostras vêm de provedores de CDN (ex: amazonaws.com). Como o CommonPool libera apenas a URL da imagem (src url) e não a URL da página original (page url), é impossível verificar o ToS real do site que hospedou o conteúdo, levando a 46,9% das amostras serem classificadas como "Não Aplicável" em termos de licença.
• Robots.txt e IA:
  • Muitos administradores de sites bloqueiam especificamente agentes de IA (GPTBot, Claudebot, Bytespider) em seus robots.txt (ex: 93% dos casos para GPTBot).
  • No entanto, quando usuários baixam o CommonPool para treinar modelos, eles geralmente não especificam um "user-agent" de IA, permitindo que contornem essas restrições e raspem dados de sites que explicitamente bloquearam IAs.

4. Contribuições Principais

1. Auditoria de Consentimento: Investigação sistemática dos mecanismos de consentimento em um grande conjunto de dados de visão-linguagem raspado da web.
2. Estimativas Quantitativas: Revelação de que ~122M de amostras têm avisos de direitos autorais e que 60% das amostras dos domínios principais violam políticas de ToS de raspagem.
3. Identificação de Falhas Técnicas: Demonstração de que os pipelines atuais de coleta de dados de IA não respeitam totalmente os canais de consentimento (ToS, robots.txt, metadados) e que a detecção de marcas d'água é atualmente ineficaz para dados da web.
4. Limitações da Prática Atual: Evidência de que a liberação de apenas pares url-texto (sem a imagem ou a URL da página original) impede uma verificação adequada de consentimento e transfere a responsabilidade legal para o usuário final de forma obscura.

5. Significado e Recomendações

Limitações da Prática Atual

A prática atual de curadoria e liberação de conjuntos de dados cria uma "ilusão" de que o consentimento foi tratado, quando na verdade a responsabilidade é deslocada para o usuário final, que muitas vezes não tem como verificar as restrições originais devido à falta de contexto (URL da página) e à complexidade das CDNs.

Recomendações para o Futuro

1. Transparência de Proveniência: As futuras liberações de conjuntos de dados devem incluir a URL da página original onde a amostra foi coletada, permitindo a verificação do ToS e do contexto de publicação.
2. Framework Unificado de Consentimento:
   • É necessário um protocolo comum para que proprietários de dados comuniquem consentimento especificamente para o desenvolvimento de modelos de IA.
   • O robots.txt é insuficiente porque os mantenedores do site nem sempre são os proprietários dos dados e o protocolo não cobre todo o ciclo de vida da IA.
   • Sugere-se a adoção de um modelo de opt-in (consentimento explícito) em vez de opt-out, reconhecendo a complexidade e a falta de visibilidade da raspagem para muitos criadores.
3. Responsabilidade dos Curadores: Os curadores de conjuntos de dados devem assumir a responsabilidade de construir conjuntos de dados com ativos de imagem autônomos que respeitem o consentimento do proprietário, em vez de apenas fornecer links para raspagem futura.

Conclusão

O estudo conclui que os mecanismos atuais de consentimento de dados são fragmentados, inconsistentes e frequentemente ignorados pelos pipelines de coleta de dados de IA. A falta de um framework unificado e a prática de liberação de dados sem contexto de proveniência (URL da página) criam riscos legais e éticos significativos. A comunidade precisa evoluir para práticas de curadoria que respeitem ativamente os direitos dos proprietários de dados, considerando a IA como um caso de uso específico que requer consentimento explícito.