Amplified Patch-Level Differential Privacy for Free via Random Cropping

Título: Amplificação de Privacidade Diferencial ao Nível de Patch via Recorte Aleatório (Random Cropping)

1. O Problema

A Privacidade Diferencial (DP) é o padrão-ouro para proteger dados em aprendizado de máquina, garantindo que a saída de um algoritmo não revele informações sobre indivíduos específicos. O método mais comum para treinar modelos privados é o DP-SGD (Stochastic Gradient Descent com Privacidade Diferencial), que utiliza ruído adicionado aos gradientes e amostragem de minibatches (subamostragem) para amplificar a privacidade.

No entanto, a aplicação padrão do DP-SGD em visão computacional trata cada imagem inteira como uma "unidade de privacidade" (registro). Isso é excessivamente conservador para muitos cenários reais, onde informações sensíveis (como rostos ou placas de carro) estão localizadas espacialmente em pequenas regiões da imagem, enquanto o restante da imagem é público ou irrelevante para a privacidade.

Além disso, técnicas de aumento de dados (data augmentation), como o recorte aleatório (random cropping), são onipresentes no treinamento de modelos de visão para melhorar a generalização. Até agora, o papel inerente da aleatoriedade do recorte na amplificação da privacidade não foi explorado ou formalizado.

2. Metodologia

Os autores propõem uma nova abordagem que alinha a definição de privacidade com a estrutura espacial dos dados visuais, utilizando o recorte aleatório existente no pipeline de treinamento como um mecanismo de amplificação de privacidade "gratuito".

• Relação de Vizinhança ao Nível de Patch (Patch-Level Neighboring Relation):
  Em vez de definir dois conjuntos de dados como vizinhos se diferirem em uma imagem inteira, os autores definem a vizinhança baseada na substituição de um patch retangular específico dentro de uma única imagem. Se dois conjuntos de dados diferem apenas em uma pequena região espacial (ex: uma placa de carro), eles são considerados vizinhos. Isso reflete melhor a realidade de riscos de privacidade em visão.

• Recorte Aleatório como Mecanismo Estocástico:
  O recorte aleatório seleciona uma subregião da imagem. Se a região sensível (patch) estiver fora da área recortada, ela não influencia o gradiente do modelo. Isso introduz uma terceira fonte de estocasticidade (além da amostragem de minibatches e do ruído no gradiente).

  • A probabilidade de um patch privado ser incluído no recorte ($\gamma'_{crop}$) é calculada geometricamente.
  • A taxa de amostragem efetiva torna-se o produto da taxa de amostragem do minibatch ($\gamma_{wo}$) pela probabilidade de inclusão do patch ($\gamma_{crop}$): $\gamma_{eff} = \gamma_{wo} \cdot \gamma_{crop}$.

• Análise Teórica:
  Os autores formalizam essa interação derivando limites de privacidade rigorosos para o DP-SGD combinado com recorte aleatório sob a nova relação de vizinhança. Eles demonstram que a privacidade é amplificada porque a probabilidade de um indivíduo ser incluído no treinamento é menor do que a probabilidade de sua imagem inteira ser selecionada.

3. Principais Contribuições

1. Definição de Privacidade ao Nível de Patch: Introdução de uma relação de vizinhança que considera substituições locais em imagens, permitindo garantias de privacidade mais precisas e menos conservadoras para dados visuais.
2. Amplificação de Privacidade Gratuita: Demonstração teórica e empírica de que o recorte aleatório, já padrão em pipelines de visão, atua como um mecanismo de amplificação de privacidade sem custo computacional adicional ou necessidade de alterar a arquitetura do modelo.
3. Limites de Privacidade Apertados (Tight Bounds): Derivação de limites teóricos rigorosos que quantificam como a probabilidade de inclusão do patch se combina com a subamostragem de minibatches, resultando em um custo de privacidade efetivamente menor.
4. Validação Empírica: Testes extensivos em tarefas de segmentação semântica (Cityscapes, A2D2) e classificação, mostrando melhorias significativas na relação privacidade-utilidade.

4. Resultados Experimentais

Os experimentos foram realizados utilizando arquiteturas como DeepLabV3+ e PSPNet em conjuntos de dados de direção autônoma (Cityscapes e A2D2).

• Melhoria na Relação Privacidade-Utilidade: O método proposto superou consistentemente o DP-SGD padrão (apenas com subamostragem de minibatches).
  • No Cityscapes com DeepLabV3+, houve uma melhoria média de >40% no mean Intersection over Union (mIoU) para um orçamento de privacidade fixo, com ganhos de até 81% em certos pontos.
  • No PSPNet, as melhorias foram ainda mais pronunciadas (média de >110%, chegando a 330% em alguns casos).
• Comparação com Adição de Ruído: O método superou a adição direta de ruído gaussiano aos pixels de entrada. Para atingir níveis de privacidade comparáveis, a adição de ruído direto exigiria níveis de ruído tão altos ($\sigma_{data} = 1000$) que tornariam os dados inutilizáveis, enquanto o recorte aleatório mantém a qualidade dos dados.
• Sensibilidade a Parâmetros: A análise mostrou que o benefício da amplificação depende criticamente do tamanho do recorte e do tamanho do patch privado. Quanto menor o recorte em relação à imagem e menor o patch sensível, maior a amplificação de privacidade.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre privacidade e visão computacional:

• Eficiência de Recursos: Permite treinar modelos mais precisos com o mesmo orçamento de privacidade, ou atingir o mesmo nível de privacidade com menos ruído, sem custo computacional extra.
• Aproveitamento de Estrutura de Domínio: Demonstra que ignorar a estrutura espacial dos dados (tratando imagens inteiras como registros) leva a garantias de privacidade excessivamente conservadoras. Alinhar a contabilidade de privacidade com a natureza dos dados (localização de informações sensíveis) é crucial.
• Aplicabilidade Prática: Como o método não requer alterações no algoritmo de treinamento (é uma "melhoria de plug-and-play" na contabilidade de privacidade), ele pode ser imediatamente adotado em pipelines existentes que já utilizam recorte aleatório, especialmente em áreas como direção autônoma, imagens médicas, vigilância e imagens de satélite, onde informações sensíveis são frequentemente localizadas.

Em resumo, o artigo prova que a aleatoriedade já presente no treinamento de modelos de visão pode ser formalizada e explorada para fornecer garantias de privacidade mais fortes e úteis, transformando uma técnica de aumento de dados comum em uma ferramenta de proteção de privacidade.