Resumo Técnico: Detectabilidade na Diversidade: Aprimoramento da Criação de Canários para Auditoria de Privacidade em Uma Única Execução

Declaração do Problema

A auditoria de privacidade visa avaliar empiricamente o vazamento de privacidade em modelos de aprendizado de máquina, frequentemente para derivar limites inferiores para os parâmetros de Privacidade Diferencial (DP). Isso é tipicamente alcançado por meio de Ataques de Inferência de Membros (MIAs), onde um adversário tenta determinar se um ponto de dados específico fez parte do conjunto de treinamento de um modelo.

Abordagens padrão de auditoria exigem o treinamento de milhares de modelos independentes com inclusões variadas de canários para obter estimativas estatisticamente confiáveis, o que é computacionalmente proibitivo. Para abordar isso, a auditoria de "uma única execução" foi proposta, onde um único modelo é treinado em um conjunto de dados contendo múltiplos canários, cada um incluído independentemente com probabilidade 1/2. O adversário então infere o status de inclusão de todos os canários a partir desse único modelo.

No entanto, existe uma lacuna significativa entre os limites superiores teóricos de privacidade (fornecidos por métodos de contabilidade) e os limites inferiores empíricos (estimados pela auditoria de uma única execução). A literatura recente atribui essa lacuna à interferência entre canários: a inclusão ou exclusão de um canário $z'$ pode alterar a pontuação de confiança da MIA de outro canário $z$, particularmente quando os canários são semelhantes no espaço de representação. Essa interferência degrada a capacidade do adversário de distinguir membros de não membros, levando a estimativas de vazamento mais fracas em comparação com métodos de múltiplas execuções. Os métodos existentes de criação de canários não impõem explicitamente a diversidade para mitigar essa interferência.

Metodologia

Os autores propõem o IBIS (Criação de Canários Bilevel com Influência e Supressão de Interferência), um pipeline de duas etapas projetado para criar canários que sejam altamente detectáveis (fortemente memorizados) e diversos (com interferência mínima).

1. Inicialização Gananciosa via Funções de Influência

A primeira etapa seleciona um conjunto inicial de canários a partir dos dados de treinamento usando funções de influência, que medem o efeito de aumentar o peso de uma amostra de dados em um modelo.

• Auto-influência ($I_s(z, z)$): Um proxy para memorizabilidade. Alta auto-influência indica que um ponto é fortemente memorizado pelo modelo.
• Cruz-influência ($I_s(z, z')$): Um proxy para interferência. Alta cruz-influência indica que a presença de $z'$ afeta significativamente a pontuação de $z$.
• Estratégia de Seleção: O algoritmo seleciona gananciosamente um conjunto de $m$ canários para maximizar a razão entre a auto-influência e a máxima cruz-influência dos outros canários selecionados. Isso é formulado como um problema de otimização combinatória resolvido via uma heurística gananciosa. Esta etapa fornece uma inicialização forte com baixa interferência par a par a um baixo custo computacional.

2. Otimização Bilevel com Regularização de Diversidade

A segunda etapa refina os canários selecionados usando otimização baseada em gradiente. Diferentemente de trabalhos anteriores que exigem o retreinamento do modelo para cada subconjunto de canários (computacionalmente intratável), os autores formulam um problema de otimização bilevel tratável.

• Objetivo: Minimizar um objetivo de distinguibilidade que maximiza a diferença de pontuação entre canários incluídos e excluídos, sujeito à restrição de que os parâmetros do modelo minimizam o risco empírico.
• Regularizador de Diversidade: Para suprimir explicitamente a interferência, um regularizador $R(C)$ é adicionado, promovendo ortogonalidade no espaço de representação (embeddings) dos canários:
  $$R_{\theta^*}(C) = \lambda \sum_{z, z' \in C, z \neq z'} \langle \phi_{\theta^*}(z), \phi_{\theta^*}(z') \rangle^2$$
  onde $\phi_{\theta^*}$ mapeia amostras para seus embeddings sob o modelo base $\theta^*$.
• Solver Eficiente (SOBA): Os autores empregam uma abordagem de Diferenciação Implícita Aproximada (AID), adaptando o algoritmo SOBA. Isso mantém variáveis acopladas para os parâmetros do modelo ($\theta$), o vetor de influência ($v$) e as entradas dos canários ($C_x$). Crucialmente, o modelo é atualizado incrementalmente junto com os canários, em vez de ser retreinado do zero em cada etapa, permitindo o cálculo eficiente de hipergradientes.

Contribuições Principais

1. Seleção Baseada em Influência Gananciosa: Um algoritmo de baixo custo que identifica pontos de treinamento com alta memorabilidade e baixa interferência mútua, servindo como uma inicialização robusta para otimização posterior.
2. Formulação de Otimização Bilevel: Uma formulação inovadora que incorpora um regularizador de diversidade explícito para impor ortogonalidade no espaço de representação. Esta formulação permite algoritmos bilevel eficientes ao atualizar o modelo incrementalmente, evitando o custo proibitivo de retreinamento para cada subconjunto de canários.
3. Pipeline IBIS: Um framework unificado combinando os componentes acima. Ele alcança estimativas de vazamento de privacidade mais fortes do que os métodos existentes, enquanto requer recursos computacionais substancialmente menores.

Resultados Experimentais

O método foi avaliado em arquiteturas WideResNet (WRN16-4) e CNN usando o conjunto de dados CIFAR-10.

• Estudos de Ablação: A pré-seleção baseada em influência superou a seleção aleatória mesmo antes da otimização bilevel. Em configurações não privadas, o regularizador de diversidade melhorou ainda mais o desempenho.
• Inferência de Membros (MIA): Ao criar canários usando a mesma arquitetura do modelo auditado (WRN16-4), o IBIS regularizado alcançou taxas de verdadeiros positivos (TPR) quase perfeitas em uma taxa de falsos positivos (FPR) de 0,05, superando significativamente as bases aleatórias e igualando ou excedendo o desempenho do método mais avançado de Boglioni et al. [6].
• Auditoria DP: O método forneceu limites inferiores competitivos para o parâmetro de privacidade $\epsilon$ em comparação com abordagens existentes. Embora as estimativas mostrassem alta variância (consistente com a dificuldade do cenário de auditoria DP), o IBIS igualou o desempenho de trabalhos anteriores.
• Eficiência Computacional: O método proposto é significativamente mais eficiente. A geração de 1000 canários exigiu aproximadamente 2,5 horas de GPU em uma NVIDIA A100, em comparação com 90–120 horas relatadas para a abordagem baseada em retreinamento de Boglioni et al. [6]. Esse ganho de eficiência decorre das atualizações incrementais do modelo em vez do retreinamento completo.

Significado e Alegações

O artigo afirma que a limitação primária das abordagens existentes de auditoria de uma única execução é a interferência entre canários. Ao abordar explicitamente isso por meio de seleção baseada em influência e uma otimização bilevel que promove diversidade, os autores demonstram que é possível fechar a lacuna entre o desempenho da auditoria de uma única execução e o de múltiplas execuções.

O significado deste trabalho reside em tornar a auditoria de privacidade de uma única execução computacionalmente viável e estatisticamente mais forte. Ao reduzir o custo computacional em uma ordem de grandeza, mantendo ou melhorando a força da auditoria, o método permite que auditores usem a arquitetura específica do modelo sendo auditado para a geração de canários, o que os autores mostram melhorar significativamente o desempenho. Os autores posicionam isso como um avanço prático para a avaliação empírica de privacidade, particularmente para modelos em grande escala onde a auditoria de múltiplas execuções é inviável.