🤖 AI

A Marketplace for AI-Generated Adult Content and Deepfakes

Este artigo analisa um conjunto de dados de 14 meses da plataforma Civitai para revelar que seu sistema de recompensas monetizadas incentiva desproporcionalmente a criação de deepfakes não consensuais e NSFW visando celebridades femininas, destacando, assim, danos de gênero significativos e desafios de governança em mercados de IA generativa impulsionados pela comunidade.

Autores originais: Shalmoli Ghosh, Matthew R. DeVerna, Filippo Menczer

Publicado 2026-06-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shalmoli Ghosh, Matthew R. DeVerna, Filippo Menczer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mercado digital massivo e movimentado chamado Civitai. Pense nele como um gigantesco mercado de pulgas de alta tecnologia onde as pessoas não apenas compram e vendem bens físicos, mas negociam imagens e ferramentas geradas por IA.

Neste mercado, existe uma seção especial chamada "Bounties" (Recompensas). Você pode pensar em uma Recompensa como um cartaz de "Procurado", mas em vez de um criminoso, você está procurando por uma imagem ou ferramenta de IA específica. Uma pessoa (o "Apoiador") faz um pedido, diz: "Eu quero uma imagem de um gato usando um smoking", e coloca uma recompensa em dinheiro (na forma de moedas virtuais chamadas "buzz") sobre a mesa. Outros usuários (os "criadores") competem para fazer essa imagem. O primeiro a conseguir fazer corretamente ganha o dinheiro.

Os pesquisadores deste artigo decidiram investigar este mercado para ver o que as pessoas estão realmente pedindo, quem está pedindo e como as regras estão sendo seguidas. Eles analisaram cada um dos cartazes de "Procurado" postados ao longo de 14 meses. Aqui está o que eles descobriram, dividido de forma simples:

1. A Seção "Adulta" está Tomando o Controle

Os pesquisadores descobriram que, embora as pessoas peçam todo tipo de coisa (como arte ou logotipos), uma enorme parte dos pedidos é para conteúdo NSFW (Not Safe For Work - Não Seguro para o Trabalho) — basicamente, material adulto ou explícito.

A Tendência: No início do estudo, esses pedidos eram uma minoria. Mas, com o tempo, eles cresceram constantemente. Ao final dos 14 meses, quase metade de todos os pedidos eram para conteúdo adulto.
A Ferramenta: A maioria desses pedidos não é apenas para uma única imagem; eles estão pedindo por LoRAs. Pense em um LoRA como um "manual de instruções especial" ou um "filtro" que você pode baixar e usar para sempre. Uma vez que alguém cria um LoRA que pode gerar um tipo específico de imagem adulta, qualquer pessoa pode usar essa ferramenta para criar variações infinitas dela. O mercado é dominado por pessoas tentando comprar esses "manuais de instruções" para direcionar modelos de IA para fazer coisas para as quais não foram originalmente projetados.

2. O Problema do "Deepfake": Quem está sendo Alvo?

Um "Deepfake", neste contexto, é um pedido para gerar uma imagem de uma pessoa real e viva (como uma celebridade) que não posou de fato para aquela foto.

O Abismo de Gênero: Os pesquisadores descobriram um desequilíbrio chocante. Se você observar todos os pedidos para gerar imagens de pessoas reais, 9 em cada 10 são de mulheres. A vasta maioria desses alvos são celebridades femininas, atrizes e influenciadoras.
A Brecha do "Eu Mesmo": Algumas pessoas tentaram contornar as regras alegando: "Estou pedindo uma foto de mim mesmo" ou "da minha esposa". Os pesquisadores descobriram que essas alegações eram muitas vezes impossíveis de verificar e não resolviam, de fato, o problema do consentimento.

3. Os "Super-Requisitantes"

O estudo observou quem está fazendo todas as postagens. Não é uma distribuição justa e igual onde todos postam um pouco.

A Regra dos 20%: Cerca de 20% dos usuários são responsáveis por aproximadamente metade de todos os pedidos.
Concentração de Deepfakes: Essa concentração é ainda mais forte para os deepfakes. Um grupo muito pequeno de pessoas está impulsionando a maioria dos pedidos para gerar imagens de pessoas reais.

4. O "Sinal de Alerta" que nem sempre está lá

O Civitai tem uma regra: se você pedir uma foto de uma pessoa real, o sistema deve colocar um sinal de alerta na página. Este sinal diz: "Ei, esta é uma pessoa real. Nós só permitimos imagens seguras, e a pessoa pode nos pedir para remover isso".

A Lacuna: Os pesquisadores verificaram se esse sinal de alerta aparecia de fato.
- Para pedidos de pessoas reais "Seguros" (SFW), o sinal apareceu 86% das vezes.
- Para pedidos de pessoas reais "Adultos" (NSFW), o sinal estava ausente 42% das vezes.
A Conclusão: Mesmo que a plataforma tenha uma regra, o "sinal de alerta" está frequentemente ausente exatamente quando é mais necessário — quando os pedidos são para conteúdo explícito.

Resumo

O artigo conclui que este mercado evoluiu para um lugar onde um pequeno grupo de usuários está impulsionando fortemente a demanda por conteúdo adulto e imagens de mulheres reais, muitas vezes usando ferramentas especiais de IA (LoRAs) para contornar os filtros de segurança. Embora a plataforma tenha regras e sinais de alerta, a aplicação é inconsistente, especialmente para os pedidos mais sensíveis e potencialmente prejudiciais.

Nota Importante: Os pesquisadores analisaram apenas os pedidos (o que as pessoas pediram), não as imagens finais que foram criadas, nem as razões pessoais pelas quais as pessoas fizeram esses pedidos. Eles simplesmente mapearam o "cardápio" do que estava sendo encomendado neste restaurante digital.

Resumo Técnico: Um Mercado para Conteúdo Adulto e Deepfakes Gerados por IA

Declaração do Problema
A IA generativa democratizou a criação de mídia sintética realista, levando ao surgimento de plataformas impulsionadas pela comunidade que misturam interação social com geração de conteúdo. Embora plataformas como o Civitai facilitem o compartilhamento de modelos e resultados, elas também hospedam um recurso de "Bounties" (recompensas) monetizado, onde usuários encomendam conteúdos específicos gerados por IA em troca de pagamento. Isso cria um mercado estruturado que coordena demanda, trabalho e recompensa. No entanto, a dinâmica desse mercado permanece amplamente inexplorada, particularmente no que diz respeito aos tipos de conteúdo incentivados, à prevalência de material "Not Safe For Work" (NSFW - não adequado para o trabalho) e ao uso do sistema para gerar deepfakes não consensuais (mídia que retrata indivíduos reais identificáveis). As pesquisas existentes focaram em imagens e modelos gerados, mas não analisaram sistematicamente os sinais do lado da demanda e as estruturas de incentivo de tais sistemas de recompensas.

Metodologia
Os autores realizaram uma análise longitudinal de todas as solicitações de recompensa publicamente disponíveis no Civitai durante um período de 14 meses (15 de outubro de 20 much 2023 – 30 de janeiro de 2025), resultando em um conjunto de dados de 4.847 recompensas.

Coleta de Dados: Um pipeline personalizado usando sessões de navegação automatizadas com Python Selenium para capturar metadados de recompensas (títulos, descrições, carimbos de data/hora, métricas de engajamento) e imagens de exemplo. A coleta de dados ocorreu em duas etapas: uma passagem "borrada" para capturar a classificação de explicidade fornecida pela plataforma (PG, PG-13, R, X, XXX) e uma passagem "desborrada" para capturar URLs de imagens.
Estratégia de Classificação:
- Rotulagem SFW/NSFW: As recompensas foram classificadas como NSFW se qualquer imagem de exemplo apresentasse uma classificação "R", "X" ou "XXX". Para validar isso, os autores compararam os rótulos do Civitai com a API de moderação de conteúdo da OpenAI, descobrindo que o Civitai adota uma abordagem de classificação mais conservadora.
- Análise Temática: Para as recompensas SFW (seguras para o trabalho), os autores empregaram um pipeline de classificação temática automatizada. Após a anotação manual de uma amostra de 150 recompensas para estabelecer uma taxonomia (incluindo categorias como "Deepfake humano", "Personagens fictícios" e "NSFW"), o GPT-4.1 foi selecionado para a classificação em larga escala devido à maior confiabilidade inter-avaliador (Krippendorff's $\alpha$ = 0,8) em comparação ao GPT-4o.
- Identificação de Deepfake: Um processo de duas etapas identificou solicitações de deepfake: (1) o GPT-4.1 analisou as recompensas SFW em busca de temas de "Deepfake humano", e (2) títulos e descrições de recompensas NSFW foram analisados para potenciais conteúdos de deepfake. Todos os casos identificados pela IA passaram por revisão manual por um único anotador humano para verificar o alvo de indivíduos reais, resultando em um conjunto confirmado de 323 recompensas de deepfake.
Análise de Concentração: Os autores quantificaram a concentração de participação do usuário usando curvas de Lorenz e coeficientes de Gini em todas as categorias SFW, NSFW e deepfake.
Avaliação de Intervenção: O estudo mediu a eficácia do aviso informativo do Civitai (um alerta sobre a semelhança com pessoas reais) calculando a proporção de recompensas de deepfake que exibiam esse marcador.

Principais Contribuições e Resultados
O estudo fornece a primeira caracterização sistemática de um mercado de IA generativa monetizado e impulsionado pela comunidade, revelando o seguinte:

Composição do Mercado: O sistema de recompensas é dominado por solicitações de LoRAs (Low-Rank Adaptations) e imagens, que juntas constituem 92% de todas as recompensas. As LoRAs são significativas pois permitem que os usuários direcionem os modelos para comportamentos para os quais não foram originalmente treinados, contornando efetivamente as salvaguardas.
Prevalência e Crescimento de Conteúdo NSFW: Solicitações NSFW são generalizadas e crescentes. Ao final do período de estudo, as recompensas NSFW compunham a maioria das solicitações semanais (ultrapassando 50% em setembro de 2024). Especificamente, 48% de todas as recompensas eram NSFW, com as recompensas de vídeo apresentando a maior proporção (69%).
Direcionamento de Deepfake: Solicitações de deepfake constituem uma parcela não negligenciável do mercado. Há uma assimetria de gênero pronunciada: 95,8% dos alvos de deepfake são mulheres, sendo atores e atrizes as profissões mais frequentemente visadas.
Concentração de Usuários: A participação é desigual. Aproximadamente 20% dos solicitantes respondem por cerca de metade de todas as solicitações. Essa concentração é mais pronunciada na categoria de deepfake (coeficiente de Gini = 0,45), sugerindo que um pequeno grupo de usuários altamente ativos impulsiona a atividade relacionada a deepfakes.
Lacunas de Fiscalização: O mecanismo de intervenção do Civitai (um alerta informativo sobre deepfakes) é aplicado de forma inconsistente. Enquanto 85,6% das recompensas de deepfake SFW exibiam o alerta, apenas 58,3% das recompensas de deepfake NSFW o faziam, deixando uma fração substancial de solicitações de alto risco sem marcação. Além disso, apesar de uma atualização formal de política em agosto de 2024 proibindo representações de indivíduos reais, tais solicitações persistiram na plataforma.

Significância e Alegações
O artigo afirma oferecer uma lente empírica inovadora sobre como plataformas de IA generativa monetizadas e comunitárias estruturam a participação e aplicam salvaguardas. Os autores argumentam que suas descobertas demonstram como tais mercados podem produzir danos de gênero, especificamente através do direcionamento desproporcional de mulheres em solicitações de deepfake.

O estudo destaca que o recurso de "Bounties" cria um incentivo econômico direto para a geração de conteúdo que pode violar as políticas da plataforma ou normas éticas, incluindo imagens íntimas não consensuais. Os autores concluem que o modelo de governança atual, que depende fortemente da autorrelatagem do usuário e de sinalizações automatizadas inconsistentes, é insuficiente. Eles sugerem que a governança eficaz requer a combinação de regras baseadas em conteúdo com sinais comportamentais (como a concentração de atividade do usuário) e monitoramento proativo. O artigo não propõe novas soluções técnicas, mas sim clama por um escrutínio mais próximo dos incentivos das plataformas e pela necessidade de reguladores e moderadores abordarem as lacunas entre política e aplicação.