DIME: Query-Efficient Framework for Membership Inference on Diffusion Models

No cenário moderno da inteligência artificial, uma classe específica de sistemas conhecidos como modelos de difusão tornou-se o motor por trás de muitas das imagens mais impressionantes que vemos online. Esses sistemas aprendem a criar novas imagens começando com estática aleatória e removendo gradualmente o ruído até que uma imagem clara emerja. Para fazer isso, eles são treinados em coleções massivas de fotografias existentes, aprendendo os padrões estatísticos que conectam uma imagem a outra. Embora esses modelos sejam celebrados por sua capacidade de gerar arte, uma preocupação silenciosa com a privacidade surgiu junto ao seu sucesso. Como a lista específica de fotos usadas para treinar um modelo raramente é tornada pública, é difícil saber se a foto privada de um indivíduo específico foi incluída nesse conjunto de treinamento. Isso importa por várias razões: confirmar que os dados médicos ou biométricos de uma pessoa foram usados pode ser, por si só, uma violação de privacidade, e sob as leis atuais de proteção de dados, os indivíduos têm o direito de solicitar que seus dados sejam removidos, mas muitas vezes não há como verificar se um modelo realmente os esqueceu. Além disso, se um modelo memorizou uma imagem específica protegida por direitos autorais em vez de apenas aprender um estilo geral, isso levanta questões jurídicas sobre quem detém a propriedade das novas imagens que ele cria.

Por anos, pesquisadores tentaram construir ferramentas para responder à pergunta se uma imagem específica fez parte dos dados de treinamento de um modelo. Essas tentativas, conhecidas como ataques de inferência de pertencimento, basearam-se amplamente na intuição. Pesquisadores supunham que, se um modelo já tivesse visto uma imagem antes, ele poderia reagir a ela de uma forma ligeiramente diferente do que a uma imagem que nunca viu. Eles testaram vários sinais, como o nível de erro que o modelo cometia ao tentar limpar uma versão ruidosa da imagem. No entanto, esses métodos eram frequentemente incertos, exigiam que um grande número de perguntas fosse feito ao modelo e careciam de uma base teórica sólida que explicasse por que funcionavam. Eram como tentar encontrar uma agulha em um palheiro adivinhando qual parte do feno poderia ser afiada, em vez de entender a forma da própria agulha.

Uma equipe de pesquisadores da Universidade de Illinois em Urbana-Champaign abordou agora este problema de um ângulo completamente diferente. Em vez de adivinhar quais sinais poderiam ser úteis, eles começaram derivando matematicamente exatamente como seria o melhor sinal possível. Eles fizeram uma pergunta fundamental: se um modelo de difusão foi treinado em um conjunto finito de imagens, qual é a função teórica perfeita que ele deve usar para remover o ruído de qualquer foto dada? Ao resolver isso matematicamente, descobriram que o comportamento do modelo é governado por um tipo específico de média. Quando o modelo olha para uma imagem ruidosa, ele essencialmente pergunta: "Quais das minhas imagens de treinamento poderiam ter produzido isto?" e então mistura as respostas, ponderando-as de acordo com o quão próxima cada imagem de treinamento corresponde ao ruído atual.

Este insight teórico revelou que o comportamento do modelo contém duas pistas distintas sobre se uma imagem fazia parte do conjunto de treinamento. A primeira pista é o que os pesquisadores chamam de termo de viés (bias). Isso mede o quão longe o melhor palpite do modelo para a imagem original está da imagem sendo testada. Se a imagem estava no conjunto de treinamento, o palpite do modelo será muito próximo da imagem em si. Se a imagem nunca foi vista, o palpite provavelmente estará mais distante. Esta parte do sinal já era conhecida por pesquisadores anteriores, que a utilizavam para construir seus ataques. No entanto, a derivação matemática dos pesquisadores descobriu uma segunda pista, anteriormente ignorada: um termo de agrupamento (crowding). Isso mede o quão densamente compactadas estão as imagens semelhantes ao redor do ponto onde o modelo está fazendo seu palpite. Imagine uma multidão de pessoas em um campo. Se você está parado sozinho, as pessoas ao seu redor estão longe. Se você está em um grupo denso, as pessoas ao seu redor estão muito próximas. Os pesquisadores descobriram que, mesmo que o palpite do modelo seja preciso, a maneira como as imagens de treinamento se agrupam em torno desse palpite fornece um sinal poderoso e independente. Uma imagem que não pertence ao conjunto pode acidentalmente cair em um ponto onde o palpite do modelo é próximo, mas se as imagens de treinamento responsáveis por esse palpite estiverem espalhadas, a lógica interna do modelo revela que a imagem é nova.

Usando esse entendimento duplo de viés e agrupamento, a equipe desenvolveu um novo método de ataque que chamam de DIME. Este método é projetado para ser incrivelmente eficiente. Ataques anteriores frequentemente exigiam que o modelo respondesse a dezenas de perguntas para obter uma resposta confiável, o que é lento e caro em cenários do mundo real onde as empresas cobram por consulta ou limitam o número de perguntas que podem ser feitas. O DIME, por outro lado, pode alcançar resultados com apenas duas perguntas. Ele funciona pedindo ao modelo para observar a imagem em questão e, em seguida, versões levemente alteradas dessa mesma imagem. Ao comparar como as previsões do modelo mudam entre essas visualizações, o método pode calcular tanto o sinal de viés quanto o de agrupamento sem precisar ver o código interno do modelo ou retreinar qualquer outro modelo.

Os pesquisadores testaram essa nova abordagem em uma grande variedade de conjuntos de dados de imagens, variando de figuras simples e pequenas a fotografias complexas de rostos e cenas diversas. Em todos os casos, o DIME superou os melhores métodos existentes. Em alguns conjuntos de dados, foi capaz de identificar corretamente imagens de treinamento três vezes mais vezes do que o melhor método anterior, utilizando uma fração das perguntas. Notavelmente, a versão do ataque que utilizou apenas duas perguntas foi frequentemente capaz de igualar ou superar o desempenho de outros ataques que utilizaram trinta perguntas. Essa eficiência é crucial porque significa que o ataque é prático contra sistemas do mundo real que possam tentar se proteger limitando o acesso. Os pesquisadores também testaram seu método contra uma defesa de privacidade padrão chamada privacidade diferencial, que é projetada para garantir matematicamente que nenhuma única imagem de treinamento possa influenciar o modelo excessivamente. Eles descobriram que, quando essa defesa estava ativa, o ataque falhava completamente, reduzindo sua taxa de sucesso ao nível de um palpite aleatório. Isso confirma que, embora o novo método seja poderoso contra modelos não protegidos, as defesas matemáticas existentes permanecem eficazes.

A significância deste trabalho reside não apenas no fato de ser um ataque melhor, mas em como ele muda nossa compreensão desses sistemas. Ao começar com uma descrição teórica do modelo ideal, os pesquisadores mostraram que os riscos de privacidade não são peculiaridades aleatórias, mas estão incorporados na própria estrutura de como esses modelos aprendem. Eles provaram que o comportamento do modelo deixa um rastro detectável que pode ser medido de duas formas complementares. Isso fornece uma explicação clara e matematicamente fundamentada de por que a inferência de pertencimento funciona e oferece um roteiro para construir melhores defesas no futuro. O estudo demonstra que mesmo os modelos generativos mais sofisticados não estão imunes a serem auditados, e que compreender a mecânica precisa de seu processo de aprendizado é a chave tanto para expor suas vulnerabilidades quanto para protegê-los.