Privacy Leakage via Output Label Space and Differentially Private Continual Learning

Resumo Técnico: Vazamento de Privacidade via Espaço de Rótulos de Saída e Aprendizado Contínuo com Privacidade Diferencial

1. O Problema: O Canal Lateral de Privacidade (Privacy Side-Channel)

O artigo aborda uma vulnerabilidade crítica em sistemas de Aprendizado de Máquina (ML) que utilizam Privacidade Diferencial (DP). Embora o treinamento do modelo (os pesos) possa ser protegido por DP, o modelo faz parte de um sistema maior. Os autores identificam que o espaço de rótulos de saída (as classes que o classificador pode prever) atua como um "canal lateral" de vazamento de privacidade.

Em contextos de Aprendizado Contínuo (Continual Learning - CL), onde novos dados e novas classes chegam sequencialmente, o conjunto de rótulos do modelo é atualizado constantemente. Se um novo rótulo é adicionado ao espaço de saída, um atacante pode inferir com 100% de precisão se um determinado conjunto de dados (que contém aquela nova classe) foi utilizado para o treinamento, invalidando as garantias formais de DP, mesmo que os pesos do modelo tenham sido treinados de forma privada.

2. Metodologia e Propostas

Para mitigar esse vazamento, os autores propõem que a seleção do espaço de rótulos de saída ($O_t$) deve ser tratada como uma operação que também deve respeitar a DP. Eles introduzem duas abordagens principais:

• $S_{learned}$ (Liberação de Rótulos via Mecanismo DP): Em vez de usar os rótulos reais do conjunto de dados sensível, utiliza-se um mecanismo de DP separado (baseado no problema de seleção de partição privada) para decidir quais rótulos serão incluídos no espaço de saída. Isso envolve uma divisão do orçamento de privacidade ($\epsilon$): uma parte é usada para selecionar os rótulos e a outra para treinar os pesos do modelo.
• $S_{prior}$ (Uso de um Espaço de Rótulos Público): Utiliza-se um conjunto de rótulos pré-definido e público que é independente dos dados sensíveis. Caso os dados de treinamento contenham classes não presentes nesse conjunto público, elas são mapeadas para classes existentes ou descartadas. Como o conjunto de rótulos não depende dos dados sensíveis, ele não vaza informações.

Implementação com Modelos Pré-treinados:
Os autores adaptam dois métodos de CL para funcionar com DP e modelos pré-treinados (como ViT-Base):

1. Cosine Similarity Classifier: Utiliza um extrator de características congelado e acumula somas de características por classe sob ruído Gaussiano para criar "protótipos" de classes.
2. PEFT Ensemble (Parameter-Efficient Fine-Tuning): Utiliza adaptadores (como FiLM) para realizar o ajuste fino de pequenos subconjuntos de parâmetros via DP-SGD, criando um conjunto de modelos para cada tarefa.

3. Principais Contribuições

• Identificação de uma falha teórica: Demonstram formalmente que a liberação direta do espaço de rótulos em CL não é diferencialmente privada.
• Formalização de DP para CL: Introduzem a definição de Task-wise DP (DP por tarefa), permitindo raciocinar sobre a privacidade em fluxos de dados sequenciais.
• Novas estratégias de proteção: Propõem métodos práticos ($S_{learned}$ e $S_{prior}$) para proteger o espaço de rótulos sem sacrificar excessivamente a utilidade do modelo.
• Integração com Modelos Pré-treinados: São os primeiros a propor métodos de DP CL que utilizam modelos pré-treinados para mitigar o compromisso entre privacidade e utilidade.

4. Resultados Experimentais

Os experimentos foram realizados nos benchmarks Split-CIFAR-100 e Split-ImageNet-R. Os principais achados foram:

• Superioridade sobre Baselines: Os métodos propostos superaram implementações anteriores de DP CL (como a de Desai et al., 2021), mesmo sem o uso de buffers de memória (episodic memory), que são comuns mas apresentam riscos de privacidade.
• Desempenho de $S_{learned}$ vs $S_{prior}$: O método de liberação de rótulos ($S_{learned}$) mostrou-se comparável ou superior ao uso de rótulos públicos, especialmente quando o orçamento de privacidade é bem ajustado.
• Impacto da "Blurriness" (Classes Borradas): Em cenários onde as classes são distribuídas entre várias tarefas, o método de classificador de cosseno mostrou-se mais robusto sob restrições de privacidade muito rigorosas ($\epsilon = 1$).
• Eficiência de PEFT: O método de Ensemble PEFT demonstrou ser altamente eficaz em manter a precisão em cenários de maior orçamento de privacidade ($\epsilon = 8$).

5. Significância

Este trabalho é fundamental para o desenvolvimento de sistemas de IA que operam em ambientes de produção contínua (como sistemas médicos ou financeiros), onde os dados chegam em fluxos constantes e a privacidade do usuário é mandatória. Ele preenche uma lacuna crítica na literatura de DP, garantindo que a proteção de privacidade não seja apenas uma "casca" nos pesos do modelo, mas uma garantia que se estende a todo o sistema de saída do classificador.