The Malicious Technical Ecosystem: Exposing Limitations in Technical Governance of AI-Generated Non-Consensual Intimate Images of Adults

Este artigo adota uma abordagem centrada nas sobreviventes para expor como o atual ecossistema técnico malicioso, composto por modelos de código aberto e softwares de "nudificação", e as falhas nas práticas de governança de IA, como as refletidas no relatório NIST AI 100-4, falham em prevenir eficazmente a criação de imagens íntimas não consensuais geradas por IA de adultos.

O essencial

Imagine que a internet é uma grande cidade. Nela, existem prédios seguros (como os grandes sites de IA corporativos) e também existem vielas escuras e mercados clandestinos.

Este artigo, escrito por Michelle Ding e Harini Suresh, fala sobre um problema grave que acontece nessas "vielas": a criação de imagens íntimas falsas de adultos (o famoso "deepfake pornográfico") sem o consentimento das vítimas.

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. O "Ecossistema Técnico Malicioso" (A Fábrica de Falsificações)

Os autores chamam o conjunto de ferramentas que cria essas imagens de "Ecossistema Técnico Malicioso".

• A Analogia: Pense na IA corporativa (como a do Google ou Microsoft) como uma fábrica de carros que tem um gerente de segurança rigoroso. Eles não deixam você construir um carro para atropelar pessoas.
• O Problema: O "Ecossistema Malicioso" é como um mercado de peças de reposição e manuais de instrução que você encontra na internet. São códigos abertos (como o DeepFaceLab) e mais de 200 programas gratuitos que qualquer pessoa, mesmo sem saber programar, pode baixar.
• Como funciona: É como se alguém tivesse um manual de "Como transformar uma foto de uma pessoa em uma imagem nua" e o deixasse em uma prateleira pública. Qualquer um pode pegar, usar em 5 minutos e criar uma imagem falsa. O resultado pode não ser perfeito (às vezes parece um desenho ruim), mas ainda causa um dano terrível.

2. Por que as regras atuais não funcionam?

O governo e as empresas de tecnologia tentam criar regras para parar isso, mas os autores dizem que as regras atuais estão erradas ou incompletas. Eles apontam três falhas principais:

Falha 1: A ilusão de que "se parece falso, não faz mal"

• A Regra Atual: Muitas regras focam em transparência. A ideia é: "Se a imagem tiver um selo dizendo 'Isso é IA' ou 'Isso é falso', ninguém vai se machucar, pois todos saberão que é mentira".
• A Realidade: Isso é como dizer: "Se um assalto for feito com uma arma de brinquedo, não é um crime".
• O Dano: Mesmo que a imagem seja claramente falsa e tenha um selo de "IA", a vítima ainda sofre. Ela pode perder o emprego, ser humilhada, sofrer violência física ou psicológica. O simples fato de ver a própria imagem em um contexto sexual não consentido é devastador, não importa se a imagem é "boa" ou "ruim". A transparência não cura a dor.

Falha 2: Misturar "Crianças" com "Adultos"

• A Regra Atual: As leis e ferramentas de segurança tratam imagens de abuso infantil (CSAM) e imagens de abuso de adultos (NCII) como a mesma coisa.
• A Analogia: É como tentar usar o mesmo filtro de segurança de aeroporto para impedir que crianças entrem com facas e que adultos entrem com passaportes falsos.
• O Problema: Para crianças, a lei é clara: qualquer imagem sexual é crime, ponto final. As ferramentas de segurança usam bancos de dados de imagens ilegais de crianças para bloquear tudo.
• Para Adultos: Não existe um banco de dados de "todas as fotos de adultos" para bloquear. O problema é o consentimento. Uma foto de uma pessoa adulta é legal, mas usá-la sem permissão para criar pornografia é ilegal. As ferramentas atuais não sabem diferenciar uma foto legítima de uma usada de forma maliciosa, porque elas foram feitas para caçar crimes óbvios (como o de crianças), não para proteger a autonomia de adultos.

Falha 3: Focar nos "Grandes Vilões" e ignorar os "Pequenos"

• A Regra Atual: As empresas e governos estão focando em regular as grandes empresas de tecnologia (como a Stability AI), pedindo que elas bloqueiem comandos de texto que gerem pornografia.
• A Realidade: O "Ecossistema Malicioso" não usa comandos de texto. Ele usa ferramentas de troca de rosto. Você não digita "crie uma imagem nua"; você faz o upload de uma foto da sua vizinha e clica em "transformar".
• O Erro: É como a polícia focar em prender o dono de um cassino ilegal, mas ignorar que existem centenas de apostadores usando aplicativos clandestinos em seus celulares para jogar. As regras atuais não conseguem parar as ferramentas simples e gratuitas que estão nas mãos de qualquer pessoa.

3. A Conclusão: O que precisamos mudar?

Os autores dizem que precisamos mudar a mentalidade.

• Não culpe apenas o usuário: Não adianta dizer "foi culpa de quem usou a ferramenta". A própria ferramenta foi criada com a intenção maliciosa de causar dano.
• Proteger a vítima, não apenas a imagem: O foco não deve ser apenas em detectar se a imagem é falsa, mas em impedir que a ferramenta seja criada e distribuída.
• Uma abordagem centrada na sobrevivente: As soluções técnicas precisam ser desenhadas pensando na dor da vítima, não apenas na tecnologia. Se a tecnologia permite que qualquer pessoa crie abuso em minutos, a tecnologia em si é o problema que precisa ser governado.

Resumo final:
A tecnologia atual de IA está sendo usada como uma ferramenta de violência. As regras atuais tentam colocar um "adesivo de aviso" na ferramenta ou focar apenas nos grandes fabricantes, mas isso não para a violência. Precisamos regular o mercado clandestino de ferramentas que permite que qualquer pessoa seque a imagem de alguém para abusar, reconhecendo que, mesmo sendo "falso", o dano é real e devastador.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "The Malicious Technical Ecosystem: Exposing Limitations in Technical Governance of AI-Generated Non-Consensual Intimate Images of Adults", apresentado em português.

1. O Problema

O artigo aborda a criação e disseminação de Imagens Íntimas Não Consensuais Geradas por IA (AIG-NCII), popularmente conhecidas como "pornografia deepfake". O foco central é a incapacidade das atuais estruturas de governança técnica de prevenir a criação dessas imagens de adultos.

Os autores identificam que, embora existam esforços para combater o material de abuso sexual infantil gerado por IA (AIG-CSAM), as imagens de adultos permanecem amplamente desreguladas devido a um fenômeno específico: o Ecossistema Técnico Malicioso (MTE). Este ecossistema é composto por:

• Modelos de código aberto de troca de rosto (ex: DeepFaceLab, FaceSwap).
• Quase 200 softwares dedicados ("nudifiers") que permitem a usuários não técnicos criar imagens íntimas falsas em minutos.
• Uma infraestrutura descentralizada que inclui repositórios de código (GitHub), fóruns de discussão e serviços de terceiros pagos.

O problema fundamental é que, embora essas imagens sejam frequentemente perceptivelmente "falsas" (não fotorealistas como modelos corporativos de ponta), elas causam danos reais e graves, incluindo trauma psicológico, danos à reputação, custos financeiros e um "efeito de resfriamento" (chilling effect) que silencia mulheres e minorias nos espaços online.

2. Metodologia

A pesquisa adota uma abordagem centrada na sobrevivente para localizar e dissecar o papel da governança de IA sociotécnica. A metodologia envolve:

• Mapeamento do Ecossistema: Os autores mapearam a cadeia de suprimentos da AIG-NCII, contextualizando-a dentro do pipeline de conteúdo sintético (criação, distribuição e consumo) definido pelo relatório do NIST (AI 100-4).
• Análise de Ferramentas e Infraestrutura: Investigação detalhada dos modelos de código aberto (como DeepFaceLab, com 17,2 mil estrelas no GitHub), softwares de usuário final e serviços de criação independentes.
• Avaliação Crítica de Governança: Utilização do relatório do NIST AI 100-4 ("Reducing Risks Posed by Synthetic Content") como base para analisar as práticas atuais de governança. Os autores comparam as recomendações do NIST com a realidade técnica do MTE para identificar lacunas.
• Identificação de Pressupostos Flawed: Análise das premissas subjacentes às medidas de prevenção atuais que falham ao lidar com o MTE.

3. Principais Contribuições

O artigo contribui para o campo de governança de IA e segurança cibernética através de três pontos principais:

1. Definição do MTE: A caracterização formal do "Ecossistema Técnico Malicioso" como um desafio único de governança, distinto dos modelos corporativos centralizados (como Stable Diffusion). O MTE é descentralizado, baseado em ferramentas de código aberto e projetado especificamente para a criação de conteúdo abusivo.
2. Crítica à Governança Atual: A demonstração de que as medidas atuais de governança de conteúdo sintético são inadequadas para o MTE de adultos, falhando em três frentes específicas (detalhadas nos resultados).
3. Reenquadramento do Problema: A argumentação de que a prevenção não deve focar apenas na distribuição (remoção de conteúdo) ou na transparência (marcação de água), mas sim na regulação das tecnologias de criação em si, reconhecendo que a própria tecnologia no MTE é maliciosa, e não apenas o usuário.

4. Resultados e Limitações Identificadas

Ao analisar o relatório do NIST e o estado atual das práticas, os autores identificam três limitações críticas que impedem a regulação eficaz do MTE:

• Limitação 1: A Falácia da Transparência e da "Falsidade" Perceptível.

  • O Erro: As medidas de governança focam em transparência (marcação de água, detecção de IA, rastreamento de proveniência), assumindo que conteúdo visivelmente "falso" ou marcado não causa danos.
  • A Realidade: As imagens do MTE são frequentemente detectáveis como falsas e carregam marcas d'água, mas ainda causam danos psicológicos e sociais severos. A "falsidade" não mitiga o abuso, pois o dano reside na violação da autonomia e na intimidação, não apenas na desinformação.

• Limitação 2: A Conflação entre CSAM e NCII de Adultos.

  • O Erro: As estruturas de governança tratam AIG-NCII de adultos e AIG-CSAM (abuso infantil) como a mesma categoria, aplicando métodos eficazes para um ao outro.
  • A Realidade: Métodos de prevenção de CSAM (como filtragem de dados de treinamento baseada em bancos de dados de imagens ilegais conhecidas, ex: PhotoDNA) dependem da definição legal clara de que qualquer imagem sexual de um menor é ilegal. Para adultos, o consentimento é variável e não pode ser pré-definido em um banco de dados global, tornando essas técnicas ineficazes para o MTE de adultos.

• Limitação 3: Foco Exclusivo em Modelos Corporativos.

  • O Erro: As medidas propostas (como filtragem de entrada baseada em palavras-chave ou "red-teaming" com prompts adversariais) assumem um modelo de geração de imagem baseado em prompts (texto-para-imagem) controlado por grandes empresas.
  • A Realidade: O MTE opera com ferramentas onde a entrada do usuário é uma foto existente (para "nudificar"), e não um prompt de texto. Além disso, a tecnologia em si no MTE foi desenvolvida com o único objetivo de gerar abuso, ao contrário de modelos corporativos que são ferramentas gerais com usos maliciosos. Portanto, as defesas projetadas para modelos corporativos não se aplicam às ferramentas do MTE.

5. Significância

Este trabalho é significativo porque desafia a narrativa predominante de que a governança de IA deve focar apenas na transparência ou na remoção reativa de conteúdo.

• Mudança de Paradigma: O artigo argumenta que a tecnologia no MTE é intrinsecamente maliciosa, exigindo uma governança que trate a ferramenta como o vetor de risco, e não apenas o usuário final.
• Proteção de Sobreviventes: Ao expor as falhas nas abordagens atuais, o artigo defende a necessidade de frameworks de governança que priorizem a prevenção da criação (prevenção técnica) em vez de apenas a resposta (remoção), reduzindo a carga sobre as vítimas que frequentemente não têm recursos para lutar contra a remoção de conteúdo.
• Direção Futura: O estudo aponta para a necessidade urgente de desenvolver métodos técnicos de prevenção específicos para o MTE, reconhecendo que o conteúdo "falso" gerado por IA é, de fato, um conteúdo de alto risco que merece regulação técnica rigorosa.

Em suma, o artigo alerta que, sem abordar o Ecossistema Técnico Malicioso com ferramentas adequadas à sua natureza descentralizada e maliciosa, as vítimas de abuso sexual baseado em imagens continuarão a ser desprotegidas, independentemente das medidas de transparência ou remoção de conteúdo implementadas.