Privacy Against Agnostic Inference Attacks in Vertical Federated Learning

Este artigo propõe um novo ataque de inferência agnóstico contra o Aprendizado Federado Vertical, onde a parte ativa pode inferir dados da parte passiva, e apresenta esquemas de preservação de privacidade que distorcem os parâmetros da parte passiva para mitigar o risco, estabelecendo um equilíbrio ajustável entre privacidade e interpretabilidade do modelo.

O essencial

Imagine que você e um amigo estão tentando adivinhar o resultado de uma corrida, mas cada um de vocês tem uma parte diferente da história.

• Você (o "Participante Ativo") sabe quem ganhou a corrida no passado (os resultados) e conhece a idade e o salário dos corredores.
• Seu amigo (o "Partivante Passivo") não sabe quem ganhou, mas conhece o tipo de tênis e a marca da bicicleta de cada corredor.

Para prever quem vencerá a próxima corrida, vocês decidem juntar forças. Vocês criam um modelo de inteligência artificial juntos, sem que você precise ver os tênis do seu amigo, e ele não precisa ver os resultados que você tem. Isso é chamado de Aprendizado Federado Vertical.

Agora, aqui entra o problema e a solução que este artigo discute:

1. O Perigo: O Detetive "Ignorante"

O artigo revela um novo tipo de "ataque" ou espionagem. Imagine que você é o Participante Ativo e, em vez de apenas querer prever o futuro, você quer descobrir os segredos do seu amigo (os detalhes dos tênis e bicicletas).

Normalmente, para fazer isso, você precisaria ver a "pontuação" que o modelo deu para cada corredor (ex: "80% de chance de ganhar"). Mas o artigo mostra algo assustador: você não precisa dessa pontuação para espionar!

• A Analogia: Imagine que você tem um "clone" do seu cérebro. Você treina esse clone apenas com o que você sabe (idade, salário e quem ganhou). Como você conhece os resultados, seu clone aprende a prever quem ganha muito bem, apenas olhando para a idade e o salário.
• O Truque: Quando o modelo real (o de vocês dois) dá uma previsão, você compara com a previsão do seu clone. A diferença entre as duas previsões revela informações sobre os tênis e bicicletas do seu amigo.
• O Nome: Chamamos isso de "Ataque de Inferência Agnóstica". "Agnóstico" aqui significa que o atacante é "cego" para a pontuação real do alvo, mas mesmo assim consegue deduzir os segredos. É como um detetive que resolve um crime sem nunca ter visto a cena do crime, apenas analisando as pistas que ele já tinha.

2. A Defesa: O Espelho Distorcido

Como proteger os dados do seu amigo (o Participante Passivo) sem impedir que vocês continuem trabalhando juntos?

O artigo propõe uma solução inteligente chamada Esquemas de Preservação de Privacidade (PPS).

• A Analogia: Em vez de esconder completamente os dados do seu amigo (o que faria o modelo ficar inútil) ou de mostrar tudo (o que permitiria a espionagem), vocês decidem distorcer os dados dele antes de mostrar para você.
• O Espelho: Imagine que o seu amigo tem um espelho que reflete a imagem dos seus tênis. O ataque funciona porque o espelho reflete a imagem perfeitamente. A defesa consiste em colocar uma película levemente embaçada ou curvada no espelho.
  • Para você (Ativo): A imagem ainda é reconhecível. Você ainda consegue entender por que o modelo tomou uma decisão (ex: "Ah, tênis de corrida ajudam a ganhar"). Isso mantém a interpretabilidade (a capacidade de entender a lógica).
  • Para o Espião: A imagem está tão distorcida que, se ele tentar usar o "clone" do cérebro para adivinhar a marca exata do tênis, ele vai errar feio. A precisão da espionagem cai drasticamente.

3. O Equilíbrio Perfeito

O grande trunfo deste trabalho é que vocês podem ajustar o quanto o espelho é distorcido.

• Pouca distorção: O modelo é muito claro e fácil de entender, mas o risco de espionagem é maior.
• Muita distorção: A espionagem é quase impossível, mas o modelo fica confuso e difícil de explicar.

O artigo mostra como encontrar o "ponto doce" (o equilíbrio) onde o seu amigo mantém seus dados seguros, mas você ainda consegue confiar e entender as decisões do modelo.

Resumo em uma frase

O artigo descobre que, em parcerias de inteligência artificial, um parceiro pode descobrir os segredos do outro mesmo sem ver os resultados diretos, e propõe uma "distorção controlada" dos dados secretos para proteger a privacidade sem destruir a utilidade da parceria.

Resumo técnico

1. Problema Investigado

O artigo aborda uma nova vulnerabilidade de privacidade no Aprendizado Federado Vertical (VFL). No VFL, duas ou mais partes colaboram para treinar um modelo de Machine Learning (ML) sem compartilhar seus dados brutos. Tipicamente:

• Parte Ativa: Possui as etiquetas (labels) e um conjunto de características (features).
• Parte Passiva: Possui um conjunto distinto de características para as mesmas amostras, mas não possui as etiquetas.
• Autoridade Coordenadora (CA): Uma terceira parte confiável que coordena o treinamento e a inferência.

O Cenário de Ameaça:
A maioria das pesquisas anteriores sobre ataques de inferência no VFL assume que o adversário (a Parte Ativa) tem acesso às pontuações de confiança (confidence scores) exatas ou perturbadas das amostras alvo durante a fase de predição. Com essas pontuações, o adversário pode reconstruir as características privadas da Parte Passiva resolvendo um sistema de equações lineares.

A Inovação do Problema:
Este artigo propõe um ataque de inferência agnóstico. O adversário (Parte Ativa) tenta reconstruir as características da Parte Passiva sem ter acesso às pontuações de confiança das amostras alvo. Isso inclui:

1. Amostras da fase de treinamento (onde as pontuações nunca são solicitadas).
2. Amostras futuras da fase de predição (antes que a Parte Ativa solicite a pontuação).

O adversário utiliza apenas seus próprios dados (features ativas e labels) para treinar um modelo independente e estimar as pontuações de confiança, permitindo o ataque mesmo na ausência de interação direta com a CA para aquelas amostras específicas.

2. Metodologia

O estudo foca em modelos de Regressão Logística (LR) dentro de um cenário de "caixa branca" (onde o adversário conhece a estrutura do modelo e os parâmetros da Parte Ativa, mas não os da Parte Passiva).

A. O Ataque Agnóstico

1. Modelo do Adversário (AM - Adversary Model): A Parte Ativa treina um classificador independente usando apenas suas features locais e as labels verdadeiras. Este modelo estima as pontuações de confiança ($\hat{c}$) que seriam geradas pelo modelo VFL colaborativo.
2. Refinamento (RAM - Refined Adversary Model): Para melhorar a precisão, o adversário pode utilizar um conjunto pequeno de pontuações de confiança reais (recebidas anteriormente da CA) para ajustar o AM. Isso é feito adicionando uma função de perda que penaliza a discrepância entre as previsões do AM e as pontuações reais observadas.
3. Reconstrução de Features: Uma vez obtida uma estimativa de pontuação ($\hat{c}$), o adversário substitui a pontuação real no sistema de equações lineares derivado da função de ativação (softmax) da LR.
   • Se o número de features passivas ($d$) for menor que o número de classes ($k$), o sistema é superdeterminado e usa-se Mínimos Quadrados.
   • Se $d \ge k$, o sistema é subdeterminado e utiliza-se o método half ou half (proposto em trabalhos anteriores) para encontrar a solução mais próxima do centro do espaço viável.

B. Esquemas de Preservação de Privacidade (PPS)

O artigo propõe contra-medidas que não distorcem as pontuações de confiança (mantendo a utilidade do modelo para tarefas downstream), mas sim distorcem sistematicamente os parâmetros da Parte Passiva ($W_{pas}$) antes de compartilhá-los com a Parte Ativa.

• Abordagem: A Parte Passiva aplica uma transformação ortogonal (matriz $R$) ou uma perturbação otimizada aos seus parâmetros.
• Compromisso (Trade-off): Existe um equilíbrio entre Privacidade (MSE alto na reconstrução das features pelo adversário) e Interpretabilidade (quão próximos os parâmetros distorcidos estão dos originais para justificar decisões).
• Formulação: O problema é formulado como otimização com restrições (incluindo variedades de Stiefel para matrizes ortogonais), onde se maximiza o erro de reconstrução do adversário sujeito a um limite de distorção ($\epsilon$) nos parâmetros.

3. Principais Contribuições

1. Definição do Ataque Agnóstico: Identificação e formalização de um ataque onde o adversário não precisa das pontuações de confiança reais para reconstruir features privadas, tornando ataques anteriores baseados em ofuscação de scores ineficazes.
2. Eficácia do Modelo Adversário: Demonstração de que um modelo treinado localmente pela Parte Ativa pode estimar pontuações com alta precisão, especialmente quando refinado com poucas amostras de scores reais (RAM).
3. Novos Esquemas de Defesa (PPS): Proposta de métodos que distorcem os parâmetros do modelo (e não os dados ou scores), permitindo um controle fino do nível de privacidade versus interpretabilidade.
4. Análise Teórica e Experimental: Derivação de limites de erro (MSE) para o ataque agnóstico e validação em cinco conjuntos de dados reais (Bank, Adult, Satellite, PenDigits, Grid).

4. Resultados Experimentais

• Eficácia do Ataque:

  • O ataque agnóstico (usando AM) alcança um desempenho de reconstrução (MSE) comparável ao ataque tradicional que usa scores reais, especialmente em datasets com features ativas e passivas altamente correlacionadas (como Bank e Adult).
  • O uso do RAM (com apenas 50-100 scores de treinamento) melhora significativamente a precisão do ataque, reduzindo o MSE.
  • Em datasets com features pouco correlacionadas (como Grid), o ataque é ineficaz, pois o modelo local não consegue prever as features passivas.

• Eficácia das Defesas (PPS):

  • As PPSs propostas aumentam drasticamente o MSE do adversário, tornando a reconstrução das features passivas imprecisa.
  • Foi possível ajustar o parâmetro de distorção ($\epsilon$) para encontrar um ponto onde a privacidade é protegida (MSE alto) sem destruir totalmente a interpretabilidade do modelo para a Parte Ativa.
  • A defesa é robusta mesmo quando o adversário possui um modelo refinado (RAM).

5. Significado e Conclusão

O trabalho é significativo porque muda o paradigma de defesa no VFL:

• Mudança de Foco: Em vez de proteger apenas os dados de saída (scores), a defesa deve focar na proteção dos parâmetros do modelo da Parte Passiva.
• Realismo: Reconhece que em muitos cenários (como bancos e fintechs), a Parte Ativa precisa de scores de confiança exatos para decisões de risco, tornando a ofuscação de scores inviável. A distorção de parâmetros oferece uma alternativa viável.
• Equilíbrio Prático: Introduz uma abordagem matizada que permite às partes negociar o nível de privacidade versus a necessidade de explicar decisões (interpretabilidade), evitando a dicotomia rígida entre "caixa preta" (sem privacidade) e "caixa branca" (sem privacidade).

Em resumo, o artigo demonstra que a privacidade no VFL é vulnerável mesmo sem acesso direto aos scores de predição, mas propõe mecanismos matemáticos robustos para mitigar esse risco através da manipulação controlada dos parâmetros do modelo.