Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
Este artigo demonstra que a destilação de conhecimento livre de dados usando inicialização compartilhada falha em sanitizar modelos privados, pois consultas com ruído gaussiano podem inadvertidamente transmitir dados de treinamento memorizados e backdoors do professor para as redes estudantes.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, os modelos são frequentemente treinados em vastas coleções de informações privadas, desde registros médicos até mensagens pessoais. Para proteger esses dados, pesquisadores desenvolveram uma técnica chamada destilação de conhecimento. Imagine um mestre chef que aprendeu a cozinhar a partir de um livro de receitas de família secreto. Para compartilhar as habilidades do chef sem revelar o livro, eles treinam um novo e menor aprendiz para imitar o estilo de cozinha do mestre usando apenas ingredientes aleatórios e sem sentido, como água pura ou farinha sem tempero. A esperança é que, como o aprendiz nunca vê os ingredientes originais, ele aprenda apenas a técnica geral e esqueça os segredos específicos. Este método tem sido considerado há muito tempo uma forma segura de compartilhar modelos de IA mantendo a privacidade dos dados de treinamento originais. Também é usado para tentar remover "backdoors" ocultos — gatilhos secretos plantados por atacantes que forçam o modelo a se comportar mal — ao retreinar o modelo em dados limpos e aleatórios.
No entanto, um novo estudo desafia essa crença de longa data. Pesquisadores descobriram que, se o mestre e o aprendiz começarem com o mesmo projeto básico exato, o aprendiz ainda pode aprender os segredos, mesmo quando alimentado apenas com ruído aleatório. O estudo demonstra que esse processo não sanitiza o modelo como se pensava anteriormente. Em vez disso, ele atua como um pipeline oculto que transfere não apenas as habilidades gerais, mas também os detalhes específicos e memorizados dos dados privados, incluindo backdoors e registros privados. Esta descoberta sug# sugere que simplesmente retreinar um modelo em entradas aleatórias não é suficiente para proteger a privacidade se o ponto de partida do treinamento for conhecido por um estranho.
Os pesquisadores testaram essa ideia usando modelos de reconhecimento de imagem treinados em conjuntos de dados padrão, como dígitos manuscritos e itens de vestuário. Eles criaram um cenário onde um modelo "professor" foi treinado em dados privados que incluíam imagens especialmente rotuladas incorretamente e gatilhos ocultos projetados para agir como backdoors. Eles então tentaram criar um modelo "aluno" fazendo com que este imitasse as respostas do professor a ruídos aleatórios, um processo conhecido como destilação livre de dados (data-free distillation). Crucialmente, eles compararam dois cenários: um onde o aluno começou com as mesmas configurações iniciais do professor, e outro onde o aluno começou com uma configuração completamente diferente e aleatória.
Os resultados foram impressionantes. Quando o aluno e o professor compartilhavam o mesmo projeto inicial, o aluno herdava com sucesso os segredos do professor. Mesmo que o aluno tenha sido treinado apenas em estática aleatória, ele aprendeu a identificar as imagens específicas privadas que o professor havia memorizado. Em um experimento envolvendo dígitos manuscritos, o modelo aluno conseguiu adivinhar corretamente se uma imagem específica fazia parte do conjunto de treinamento privado do professor com um AUC de 0,86, um nível muito acima do acaso. Além disso, o aluno também herdou os gatilhos de backdoor. Ao ser apresentado a imagens contendo um padrão oculto específico, o modelo aluno ativava o mesmo comportamento malicioso que o professor, com um aumento na taxa de sucesso de 9 de 93 por cento. Isso aconteceu mesmo quando o aluno recebia apenas as saídas internas e não utilizadas do professor — sinais que nunca fizeram parte do treinamento original e que não carregavam nenhum significado óbvio.
Em contraste, quando o aluno começou com um projeto diferente e independente, ele não aprendeu nada dos segredos. O mesmo treinamento de ruído aleatório produziu um modelo que não conseguia identificar as imagens privadas ou acionar os backdoors. Isso prova que o vazamento não foi causado pelo ruído aleatório em si, mas pelo ponto de partida compartilhado. Os pesquisadores descobriram que esse efeito era particularmente forte quando o modelo professor não havia sido treinado por muito tempo, permanecendo próximo ao seu estado original. À medida que o professor se afastava de seu ponto de partida através de um treinamento extensivo, o vazamento tornava-se mais difícil de explorar, mas não desaparecia totalmente. O estudo também mostrou que essa vulnerabilidade se estende além de modelos de imagem simples para modelos de linguagem, onde sequências de caracteres aleatórios foram suficientes para extrair códigos secretos que haviam sido inseridos no texto de treinamento privado.
Os pesquisadores explicaram este fenômeno observando como os modelos mudam durante o treinamento. Eles descobriram que, quando dois modelos compartilham um ponto de partida, o ato de imitar as respostas do professor ao ruído aleatório efetivamente empurra as configurações internas do aluno na mesma direção que o professor. Como as configurações do professor foram moldadas pelos dados privados, as configurações do aluno são empurradas nessa mesma direção, carregando a informação privada com elas. O ruído aleatório atua como um veículo que excita as partes certas do modelo para revelar essas direções ocultas. O estudo mostrou que essa transferência ocorre independentemente de a informação movida ser um conhecimento geral útil ou um segredo específico memorizado. O processo não consegue distinguir entre ambos.
Para testar se essa vulnerabilidade poderia ser corrigida, os pesquisadores tentaram várias defesas. Eles descobriram que adicionar ruído aleatório às respostas que o professor dava não impedia o ataque; um atacante poderia simplesmente fazer mais perguntas para compensar o ruído e ainda assim recuperar os segredos. Eles também descobriram que restringir a saída apenas para dados sem sentido não ajudava, pois a informação oculta ainda era transferida. As únicas defesas eficazes que identificaram foram usar privacidade diferencial — uma garantia matemática que limita o que qualquer peça individual de dado pode ensinar ao modelo — ou garantir que o modelo privado comece de uma inicialização completamente diferente e secreta que não seja compartilhada com o público. No entanto, esta última opção é difícil para modelos que são ajustados (fine-tuned) a partir de bases públicas populares, pois exige abandonar os benefícios desse ponto de partida público.
Este trabalho muda fundamentalmente a forma como vemos a segurança do compartilhamento de modelos de IA. Ele mostra que a suposição de que as entradas aleatórias atuam como um filtro está incorreta quando os modelos compartilham uma origem comum. O estudo conclui que, em uma era em que a maioria dos modelos de IA é construída através do ajuste fino de algumas bases públicas, o ponto de partida compartilhado é uma informação crítica que atacantes podem usar. As avaliações de privacidade e segurança para esses modelos devem agora considerar um adversário que conhece a base pública e pode usar consultas aleatórias para extrair detalhes privados, provando que a destilação livre de dados não é um refúgio seguro para informações sensíveis.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.