Resumo Técnico: VMask – Proteção de Privacidade de Rótulos Ajustável para Aprendizado Federado Vertical via Mascaramento de Camadas

1. Declaração do Problema

O Aprendizado Federado Vertical (VFL) permite que múltiplas partes colaborem no treinamento de um modelo de aprendizado de máquina enquanto mantêm a privacidade de seus conjuntos de dados locais. Em uma configuração típica de VFL, uma parte ativa detém os rótulos (labels), enquanto partes passivas detêm subconjuntos de características (features). Embora o VFL seja geralmente considerado preservador de privacidade porque apenas embeddings de características intermediárias e gradientes são trocados, estudos recentes demonstraram sua vulnerabilidade a ataques de inferência de rótulo.

Entre várias superfícies de ataque, o ataque de Completagem de Modelo (MC - Model Completion) é identificado como a ameaça mais poderosa e severa. Neste cenário, uma parte passiva semi-honesta (honesta-mas-curiosa), que segue estritamente o protocolo de treinamento, pode ajustar um modelo inferior (bottom model) treinado localmente com uma cabeça de inferência adicionada para prever com precisência os rótulos privados da parte ativa. Isso é possível porque o modelo inferior aprende a gerar embeddings de características que estão fortemente correlacionados com os rótulos privados.

Os mecanismos de defesa existentes contra ataques de MC enfrentam três desafios críticos:

1. Compromisso Subótimo (Trade-off): Métodos frequentemente sacrificam utilidade significativa do modelo para alcançar privacidade, ou vice-versa.
2. Sobrecarga Impraticável: Soluções baseadas em criptografia (ex: Criptografia Homomórfica, Computação Multipartidária Segura) oferecem privacidade rigorosa, mas incorrem em custos computacionais proibitivos, tornando-as inadequadas para implantação em larga escala.
3. Falta de Ajustabilidade: Os métodos atuais não permitem que o defensor ajuste flexivelmente o nível de privacidade do rótulo com base em restrições específicas de recursos ou requisitos de precisão.

2. Metodologia: O Framework VMask

Os autores propõem o VMask, um novo framework que defende contra ataques de MC através de mascaramento de camadas (layer masking), preservando a utilidade do modelo e oferecendo privacidade ajustável.

Insight Central

O insight fundamental é que a forte correlação entre os dados de entrada e os embeddings de características resultantes permite que atacantes infiram os rótulos. O VMask interrompe essa correlação ao randomizar parâmetros de camadas específicas dentro do modelo inferior do atacante. Ao mascarar essas camadas, a capacidade do modelo de gerar embeddings de características representativas é degradada, reduzindo, assim, a precisão de inferência do atacante.

Componentes Principais

O VMask integra dois módulos e dois procedimentos em um sistema VFL padrão:

1. Compartilhamento de Segredos (SS - Secret Sharing) para Mascaramento de Camadas:

   • Em vez de simplesmente descartar camadas, o VMask utiliza Compartilhamento de Segredos Aditivo para mascarar os parâmetros das camadas lineares.
   • A parte ativa e as partes passivas compartilham os parâmetros de modo que a parte passiva (atacante) detenha uma parte (share) aleatória, enquanto a parte ativa detém a parte complementar (mais ruído aleatório para evitar a reconstrução).
   • Isso preserva a integridade das computações lineares (operações de Adição e Multiplicação) durante o treinamento, garantindo que a precisão da tarefa principal permaneça alta.

2. Estratégia de Seleção de Camadas Críticas:

   • Mascarar todas as camadas ingenuamente é computacionalmente caro. O VMask emprega uma estratégia para selecionar apenas as camadas críticas para o mascaramento.
   • Critério: As camadas são selecionadas com base em suas normas de gradiente acumuladas ao longo do histórico de treinamento. Camadas com gradientes maiores são consideradas mais críticas para a inferência de rótulo.
   • Observação: Resultados empíricos mostram que mascarar camadas críticas não adjacentes é mais eficaz para reduzir a precisão do ataque do que mascarar camadas consecutivas.

3. Modelo Sombra para Estimativa:

   • Como a parte ativa não pode acessar diretamente os gradientes reais do atacante, ela mantém um modelo sombra (arquitetura idêntica ao modelo inferior da parte passiva) treinado de forma síncrona em um pequeno conjunto de dados auxiliar.
   • A parte ativa usa este modelo sombra para simular localmente o ataque de MC e estimar a extensão do vazamento de rótulo.

4. Orçamento de Privacidade Ajustável:

   • O framework suporta um orçamento de privacidade ajustável ($\epsilon$). A parte ativa simula o ataque no modelo sombra; se a precisão do ataque estimada exceder o orçamento, o sistema seleciona avidamente camadas críticas adicionais para mascarar até que o vazamento caia dentro do limite definido.

Fluxo de Trabalho

1. Inicialização: As partes passivas e a parte ativa inicializam os modelos. A primeira camada é mascarada por padrão.
2. Mascaramento de Camadas: Com base na estratégia de seleção, camadas específicas são mascaradas usando SS.
3. Atualização de Modelo Segura: O modelo VFL treina. As camadas mascaradas são computadas via compartilhamento de segredos (forward/backward seguro), enquanto as camadas não mascaradas usam computação em texto claro padrão.
4. Atualização do Modelo Sombra: A parte ativa treina o modelo sombra no conjunto de dados auxiliar.
5. Seleção de Camada: A parte ativa simula um ataque de MC no modelo sombra. Se o vazamento > orçamento, mais camadas são adicionadas à lista de mascaramento para a próxima época.
6. Iteração: Este processo se repete até que o modelo VFL global converja.

3. Principais Contribuições

• Framework Inovador: A introdução do VMask, o primeiro framework que utiliza compartilhamento de segredos para mascaramento de camadas para defender contra ataques de MC enquanto mantém alta utilidade do modelo.
• Privacidade Ajustável: O design de um mecanismo de orçamento de privacidade ajustável, permitindo que os defensores controlem flexivelmente o compromisso entre privacidade e utilidade com base em requisitos reais, um recurso ausente em trabalhos anteriores.
• Estratégia de Seleção Eficiente: Uma estratégia de seleção de camadas baseada em normas de gradiente acumuladas que visa camadas críticas e não adjacentes, reduzindo significativamente a sobrecarga de aplicar o compartilhamento de segredos a todo o modelo.
• Avaliação Abrangente: Experimentos extensos em 5 arquiteturas de modelos (MLP3, LeNet5, VGG13, ResNet18, DistilBERT) e 13 conjuntos de dados (tabulares, imagens, texto), comparando o VMask contra 12 métodos de defesa existentes.

4. Resultados Experimentais

A avaliação demonstra que o VMask alcança o melhor compromisso entre privacidade e utilidade entre todos os métodos comparados:

• Proteção de Privacidade: O VMask impede com sucesso os ataques de MC, reduzindo a precisão da inferência de rótulo para um nível de adivinhação aleatória (comparável ao modelo de um atacante randomizado). Em todos os casos testados, a precisão do ataque foi reduzida para níveis próximos ao aleatório (ex: ~10-20%, dependendo do conjunto de dados, comparado a 40-90% para modelos não protegidos).
• Utilidade do Modelo: O framework preserva o desempenho do modelo com degradação mínima.
  • Em modelos baseados em Transformer (DistilBERT), a queda média na precisão do modelo VFL foi de apenas 0,09%.
  • Em todos os modelos, a queda de precisão média foi de no máximo 0,34%.
• Eficiência:
  • O VMask é até 60.846 vezes mais rápido que os métodos baseados em criptografia (ex: Criptografia Homomórfica).
  • Comparado ao VFL padrão, a sobrecarga de tempo de execução é marginal. Para modelos grandes como o DistilBERT (67M parâmetros), o tempo de execução do VMask é apenas 1,8 vezes o do VFL padrão, o que os autores consideram geralmente aceitável.
• Ajustabilidade: O framework controla consistentemente o vazamento de rótulos dentro do orçamento de privacidade definido através de diferentes níveis de privacidade.

5. Significância e Alegações

O artigo afirma que o VMask aborda a necessidade urgente de uma defesa prática contra o ataque de Completagem de Modelo no VFL. Sua significância reside em:

1. Quebrar o Compromisso (Trade-off): Ele alcança alta utilidade do modelo e forte privacidade simultaneamente, superando as limitações das defesas anteriores baseadas em ML que frequentemente sacrificam um pelo outro.
2. Implantação Prática: Ao evitar operações criptográficas pesadas, oferece uma solução computacionalmente viável para cenários do mundo real, ao contrário das abordagens criptográficas existentes.
3. Flexibilidade: É o primeiro a oferecer um orçamento de privacidade ajustável, capacitando os defensores a tomar decisões informadas com base em suas restrições de recursos e requisitos de privacidade específicos sem a necessidade de retreinar ou redesenhar o sistema.

Os autores concluem que o VMask fornece uma solução robusta, eficiente e flexível para proteger a privacidade de rótulos no Aprendizado Federado Vertical, tornando-o um candidato viável para implantação em domínios sensíveis, como finanças e saúde, onde o vazamento de rótulos é uma preocupação crítica.