Resumo Técnico: LDPKiT

Definição do Problema

Em domínios regulamentados, como saúde e finanças, organizações frequentemente hospedam modelos de aprendizado de máquina (ML) via APIs remotas para fornecer serviços (ex: previsão de risco de doenças, detecção de fraude) sem compartilhar seus dados de treinamento proprietários ou pesos do modelo. Embora o acesso de caixa-preta proteja a propriedade intelectual e os dados de treinamento do provedor do modelo, ele força o usuário do modelo a transmitir entradas de inferência potencialmente sensíveis ao servidor remoto. Métodos existentes de inferência com preservação de privacidade, como criptografia homomórfica ou ambientes de execução confiáveis (TEEs), sofrem com sobrecargas computacionais severas ou exigem hardware especializado que não está amplamente disponível.

Por outro outro lado, permitir que os usuários baixem os pesos do modelo para inferência local expõe o modelo a ataques de caixa-branca. O desafio central abordado por este trabalho é permitir que os usuários destilem um modelo local a partir de um modelo remoto de caixa-preta usando seus próprios dados privados e sensíveis, enquanto limitam rigorosamente a vazão de privacidade das consultas. Um desafio secundário é que os usuários nesses domínios geralmente possuem apenas pequenas quantidades de dados privados, o que, quando combinado com o ruído necessário para a privacidade, resulta em baixa utilidade (acurácia) para o modelo destilado.

Metodologia

Os autores propõem o LDPKiT (Local Differentially-Private and Utility-Preserving Inference via Knowledge Transfer), um framework que combina Privacidade Diferencial Local (LDP) com uma nova técnica de aumento de dados para recuperar a utilidade perdida devido ao ruído de privacidade.

1. Configuração do Sistema

O cenário envolve um provedor de modelo hospedando um modelo remoto ($M_R$) e um usuário com um conjunto de dados sensível e não rotulado ($D_{priv}$). O objetivo do usuário é treinar um modelo local ($M_L$) que possa rotular $D_{priv}$ com precisão sem revelar os dados brutos para $M_R$.

2. Mecanismo de Privacidade

Para proteger $D_{priv}$, o usuário aplica ruído $\epsilon$-LDP a cada amostra antes de consultar $M_R$. O artigo utiliza o Mecanismo de Laplace para satisfazer $\epsilon$-LDP. Crucialmente, o framework baseia-se na Propriedade de Pós-processamento da LDP, que afirma que qualquer função determinística ou aleatória aplicada a uma saída $\epsilon$-LDP permanece $\epsilon$-LDP. Isso permite que o usuário aumente os dados ruidosos sem enfraquecer a garantia de privacidade.

3. Estratégias de Aumento de Dados

Como $D_{priv}$ é tipicamente pequeno, a consulta direta gera baixa utilidade. O LDPKiT aumenta o conjunto de dados ruidoso inicial ($D_{protected}$) em um conjunto de dados de inferência maior ($D_{infer}$) usando duas estratégias:

• LDPKiT-Rand: Adiciona uma segunda camada de ruído de Laplace independente às amostras protegidas. Isso gera variantes perturbadas, mas pode afastar os dados da distribuição real.
• LDPKiT-Sup (Superposição): Esta é a contribuição inédita. Gera novas amostras através da média de pares de amostras protegidas de $D_{protected}$. Especificamente, para índices distintos $i$ e $j$, uma amostra aumentada é computada como $d_{infer} = \text{avg}(d_{protected_i}, d_{protected_j})$.
  • Racional: Os autores hipotetizam que a superposição de amostras ruidosas ajuda a preservar melhor a estrutura da classe-alvo e as fronteiras de decisão do que a injeção de ruído aleatório.
  • Privacidade: Como a média é uma operação de pós-processamento sobre saídas $\epsilon$-LDP, o $D_{infer}$ resultante mantém a garantia de $\epsilon$-LDP ao nível do registro. Mesmo que um provedor tente recuperar algebricamente os registros protegidos a partir de médias de pares, eles recuperariam apenas os registros protegidos ruidosos, não os dados privados originais, preservando assim a garantia de $\epsilon$-LDP.

4. Fluxo de Trabalho

1. Estágio I: O usuário aplica ruído $\epsilon$-LDP a $D_{priv}$ para criar $D_{protected}$.
2. Estágio II: O usuário realiza o pós-processamento de $D_{protected}$ (via Rand ou Sup) para gerar $D_{infer}$.
3. Estágio III: O usuário consulta $M_R$ com $D_{infer}$ para obter os rótulos.
4. Estágio IV: O usuário treina $M_L$ no $D_{infer}$ rotulado e usa $M_L$ para inferência local em $D_{priv}$.

Principais Contribuições

1. Framework para Destilação com Preservação de Privacidade: O LDPKiT permite que usuários destilem conhecimento de modelos remotos de caixa-preta usando seus próprios dados privados, limitando a vazão de privacidade via LDP.
2. Técnica de Superposição: A introdução do LDPKiT-Sup, que utiliza a média de pares de amostras ruidosas para gerar dados aumentados. Esta técnica aproveita a propriedade de pós-processamento da LDP para melhorar a utilidade sem comprometer a privacidade.
3. Validação Empírica: Os autores demonstram que o LDPKiT, particularmente a variante de superposição, recupera significativamente a utilidade perdida devido ao ruído LDP em comparação com os métodos de linha de base (SIDP) e o aumento de ruído aleatório.
4. Análise do Espaço Latente: O artigo fornece uma análise das representações do espaço latente, mostrando que amostras superpostas permanecem mais próximas dos clusters de classe alvo do que amostras perturbadas aleatoriamente, explicando os ganhos de acurácia.

Resultados Experimentais

O framework foi avaliado em três conjuntos de dados de classificação de imagem: Fashion-MNIST, SVHN e PathMNIST (imagem médica), utilizando ResNet-152 como professor remoto e ResNet-18 ou MobileNetV2 como aluno local.

• Recuperação de Utilidade: O LDPKiT-Sup supera consistentemente tanto a linha de base (SIDP) quanto o LDPKiT-Rand.
  • No SVHN com $\epsilon = 1.25$, o LDPKiT-Sup atinge quase a mesma acurácia de inferência que em $\epsilon = 2.0$, proporcionando garantias de privacidade mais fortes com menos de 2% de redução de acurácia em comparação com a configuração de $\epsilon$ mais alto.
  • No Fashion-MNIST ($\epsilon = 2.0$), o LDPKiT-Sup melhorou a acurácia do ResNet-18 para 81,78%, comparado a 28,69% para o SIDP e 68,52% para o LDPKiT-Rand.
  • No PathMNIST ($\epsilon = 10.0$), o LDPKiT-Sup atingiu 82,11%, superando significativamente o SIDP (28,74%) e o LDPKiT-Rand (43,90%).
• Impacto do Tamanho do Conjunto de Dados: O sistema é relativamente insensível ao tamanho do conjunto de dados privado ($|D_{priv}|$). Usuários podem alcançar utilidade semelhante com menos amostras privadas (ex: 125 amostras), desde que o conjunto de consultas aumentado ($|D_{infer}|$) seja suficientemente grande (ex: 250k–500k consultas).
• Robustez da Privacidade: Ataques de reconstrução de dados usando DDPMs nos dados aumentados falharam em recuperar imagens originais com alta fidelidade. As imagens reconstruídas mostraram SSIM mais baixo e MSE mais alto em comparação com as originais, e os classificadores atingiram acurácia próxima ao acaso nelas.
• Eficiência de Custo: Os autores estimam que, para grandes conjuntos de consultas (ex: 2,2M de consultas), o custo da API é de aproximadamente $1,15 (baseado em um preço hipotético de 2026), tornando-o mais eficiente que a criptografia homomórfica para processamento em lote.

Significância e Alegações

O artigo afirma que o LDPKiT oferece um design prático e com preservação de privacidade para interagir com serviços de ML remotos em domínios sensíveis. Sua significância reside em:

• Equilíbrio entre Privacidade e Utilidade: Demonstra que a transferência de conhecimento eficaz é possível mesmo sob restrições de privacidade fortes (baixo $\epsilon$) ao aproveitar o aumento de dados que respeita as garantias de LDP.
• Acessibilidade: Ao contrário de TEEs ou criptografia homomórfica, o LDPKiT não requer hardware especializado e opera dentro das restrições padrão de API, tornando-o mais acessível para adoção.
• Privacidade por Design: O framework alinha-se aos princípios de uso responsável de dados, garantindo que os dados privados brutos nunca saiam do controle do usuário e que a vazão de privacidade seja matematicamente limitada.

Os autores observam modestamente as limitações, incluindo a restrição atual a modalidades de imagem (onde a superposição é baseada em pixels) e a falta de um limite inferior universal para o tamanho do conjunto de dados privado, sugerindo estas como direções para trabalhos futuros. Eles também reconhecem que, embora a LDP ao nível do registro seja garantida, correlações entre registros poderiam teoricamente enfraquecer a privacidade semântica, embora práticas de desduplicação na indústria possam mitigar isso.