🤖 machine learning

Privacy Cost as Equity Input: A Group Fairness Criterion for Differentially Private Machine Learning

Este artigo propõe a Razão de Equidade Privacidade-Custo (PCER), uma métrica de equidade pós-hoc prática que avalia a privacidade diferencial em aprendizado de máquina ao equilibrar os benefícios preditivos de um grupo contra seus custos de exposição à privacidade, revelando disparidades ocultas, como a "dupla desvantagem" enfrentada por grupos protegidos que métricas tradicionais baseadas em resultados não conseguem detectar.

Autores originais: Rakshit Naidu

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rakshit Naidu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está comandando um jogo de alto risco e escala massiva, onde um juiz robô decide quem recebe um empréstimo, quem consegue um emprego ou até quem permanece fora da prisão. No mundo da inteligência artificial, este robô é um modelo de aprendizado de máquina. Mas há um porém: para tornar esses robôs inteligentes, nós os alimentamos com dados reais sobre pessoas reais. Isso cria uma tensão. Por um lado, queremos que o robô seja justo, dando a todos uma chance igual de um bom resultado. Por outro lado, queremos proteger a privacidade das pessoas para que o robô não acabe revelando seus segredos sem querer.

Para impedir que o robô memorize segredos, os cientistas usam um escudo especial chamado "Privacidade Diferencial". Pense neste escudo como adicionar uma camada espessa de ruído estático a um sinal de rádio. Isso torna o sinal mais difícil de ser interceptado, mas também faz com que a música soe um pouco mais abafada. A grande questão que os pesquisadores têm feito é: esse ruído estático prejudica a todos igualmente? Ou ele faz a música soar terrível para alguns grupos enquanto permanece clara para outros? Geralmente, apenas verificamos se os resultados são justos (se todos recebem o mesmo número de empréstimos?). Mas este artigo faz uma pergunta mais profunda e sutil: o custo do escudo de privacidade é justo? Se um grupo de pessoas tiver que abrir mão de mais privacidade para obter o mesmo resultado nebuloso, isso é realmente justo?

A Conta da Privacidade: Quem Paga o Preço?

Neste artigo, o autor, Rakshit Naidu, argumenta que a privacidade não é apenas uma configuração técnica; é um custo que as pessoas pagam. Imagine você e seu amigo tentando atravessar um rio em uma ponte com neblina. A neblina é o "ruído de privacidade" adicionado para evitar que vocês sejam vistos. Se a neblina estiver tão espessa que você não consiga ver seus próprios pés, você pode tropeçar. Se seu amigo for mais alto ou tiver sapatos melhores, ele pode tropeçar menos.

O artigo sugere que, se um grupo de pessoas (digamos, um grupo demográfico específico) acabar "memorizando" os dados de treinamento mais do que outro grupo, elas estão efetivamente pagando um "imposto de privacidade" mais alto. Elas estão mais expostas a serem identificadas por um hacker, embora devessem estar protegidas. O autor propõe uma nova forma de medir a equidade chamada Razão de Equidade do Custo de Privacidade (PCER).

Pense no PCER como uma pontuação de "Custo-Benefício".

O Benefício: Com que frequência o robô lhe dá um resultado positivo (como conseguir um empréstimo ou um emprego)?
O Custo: O quanto o robô "memorizou" seus dados específicos? (Quanto mais ele memoriza, maior o risco de um hacker descobrir que você estava nos dados de treinamento).

A fórmula é simples: Benefício dividido pelo Custo.
Se o Grupo A recebe muitos benefícios, mas paga um custo de privacidade minúsculo, e o Grupo B recebe menos benefícios, mas paga um custo de privacidade enorme, o sistema é injusto. O artigo argumenta que, para um sistema ser verdadeiramente equitativo, a razão entre "Coisas Boas Recebidas" e "Risco de Privacidade Assumido" deve ser a mesma para todos.

A Reviravolta Surpreendente: O Orçamento "Seguro" Não é Seguro

Os pesquisadores testaram essa ideia em seis diferentes conjuntos de dados do mundo real, incluindo dados sobre renda (Adult Income), justiça criminal (COMPAS) e cargos de emprego (Bias in Bios). Eles usaram uma ferramenta de privacidade padrão chamada DP-SGD, que adiciona ruído ao processo de treinamento. Eles testaram diferentes quantidades de ruído, rotuladas por um número chamado $\epsilon$ (épsilon). Um $\epsilon$ mais baixo significa mais ruído (mais privacidade, mas resultados mais abafados) e um $\epsilon$ mais alto significa menos ruído (menos privacidade, mas resultados mais claros).

É aqui que a história fica interessante.

1. A "Dupla Desvantagem" no COMPAS
Ao observar o conjunto de dados COMPAS (que prevê se alguém voltará a cometer crimes), as ferramentas de justiça padrão disseram: "Ei, está tudo bem! A diferença nos resultados entre os grupos é constante em todos os níveis de privacidade". Parecia que o escudo de privacidade estava funcionando igualmente bem para todos.

Mas a nova ferramenta PCER viu algo totalmente diferente. Ela descobriu que indivíduos afro-americanos estavam sofrendo uma dupla desvantagem:

Eles estavam recebendo previsões piores (mais alarmes falsos sobre reincidência criminal).
E, além disso, estavam pagando um custo de privacidade mais alto (seus dados estavam sendo memorizados mais, tornando-os mais vulneráveis a ataques).

As ferramentas padrão perderam isso completamente porque olhavam apenas para o veredito final, não para o custo oculto para chegar até lá. A pontuação PCER mostrou uma lacuna negativa persistente, significando que este grupo estava recebendo o pior dos dois mundos: mais danos e mais risco.

2. O "Falso Amigo" da Privacidade Forte
No conjunto de dados Adult Income (prevendo se alguém ganha mais de $50 mil), a métrica de justiça padrão disse que a configuração mais justa era um nível de privacidade moderado ( $\epsilon = 5$ ou $10$). Parecia que o ruído havia suavizado as diferenças entre os grupos.

No entanto, a métrica PCER contou uma história diferente. Ela sugeriu que a configuração mais equitativa era, na verdade, nenhuma privacidade (no-DP). Por quê? Porque quando você adiciona muito ruído, o modelo fica tão confuso que para de memorizar os dados de qualquer pessoa. O "custo de privacidade" para todos cai para perto de zero. Quando o custo é zero, a fórmula PCER falha e volta a olhar apenas para os resultados brutos novamente.

O artigo descobriu que, em níveis de privacidade muito fortes (como $\epsilon = 0,1$ ), o "custo de privacidade" para todos colapsa para um número minúsculo. Nesse regime, a nova ferramenta de justiça deixa de ser útil e torna-se apenas uma cópia da ferramenta antiga. Os autores alertam que, se você vir um resultado "perfeitamente justo" em uma privacidade extremamente alta, pode ser apenas uma ilusão causada pelo fato de o modelo estar confuso demais para aprender qualquer coisa.

O Que Isso Significa para o Futuro

O artigo não afirma ter resolvido o problema da justiça na IA. Em vez disso, oferece uma nova lanterna para iluminar os cantos escuros que geralmente ignoramos.

É uma Ferramenta de Diagnóstico: Os autores chamam o PCER de um "auditoria post-hoc". Isso significa que você pode usá-lo depois que um modelo é construído para verificar se os custos de privacidade foram distribuídos de forma justa. Você não precisa reconstruir o modelo ou contratar uma equipe de hackers para testá-lo; você só precisa das pontuações de precisão do modelo nos dados de treinamento e de teste.
Revela a Iniquidade Oculta: O estudo mostra que um sistema pode parecer justo na superfície (todos têm a mesma taxa de aprovação de empréstimo), mas ser profundamente injusto por baixo (um grupo está pagando um preço de risco de privacidade muito mais alto para obter essa taxa).
Tem Limites: Os autores são muito cuidadosos ao dizer que esta ferramenta para de funcionar quando o ruído de privacidade é tão forte que o modelo para de aprender totalmente. Nesses casos, o "custo" é tão baixo que se torna um erro matemático, e a ferramenta não pode lhe dizer nada de novo.

A Conclusão

Este artigo sugere que, quando falamos de justiça na IA, não podemos olhar apenas para os vencedores e perdedores do jogo. Temos que olhar para o preço impresso nos ingressos. Se um grupo tem que pagar um "imposto de privacidade" muito mais alto para obter o mesmo resultado que outro grupo, o sistema não é verdadeiramente justo, mesmo que as pontuações finais pareçam iguais. Ao usar esta nova razão de "Valor pela Privacidade", talvez possamos finalmente identificar as duplas desvantagens que têm se escondido à vista de todos.

Resumo Técnico: Custo de Privacidade como Input de Equidade

Definição do Problema
As auditorias de equidade atuais para sistemas de aprendizado de máquina com privacidade diferencial (DP) tipicamente tratam a equidade e a privacidade como preocupações separadas. A equidade é avaliada via métricas baseadas em resultados (ex: Lacuna de Paridade Demográfica, Igualdade de Oportunidades), enquanto a privacidade é aplicada através de um orçamento de privacidade global ( $\epsilon$ ) usando mecanismos como DP-SGD. Este artigo argumenta que essa separação é incompleta. Embora trabalhos anteriores documentem que o DP-SGD degrada a acurácia de forma desigual entre grupos demográficos, esse enquadramento trata a privacidade como uma restrição de design, em vez de um custo suportado pelos indivíduos.

O problema central identificado é que ataques de inferência de membros (MIA) têm sucesso em taxas diferentes entre grupos sob o mesmo orçamento de privacidade nominal. Quando os dados de um grupo são mais suscetíveis à inferência (maior exposição de privacidade), esse grupo suporta um custo de privacidade involuntário maior. Métricas de equidade padrão falham em detectar cenários de "dupla desvantagem", onde um grupo protegido sofre tanto com piores resultados preditivos quanto com maior exposição de privacidade. O artigo postula que um sistema não é equitativo se a razão entre o benefício da predição e o custo de privacidade involuntário não for igual entre os grupos.

Metodologia: Razão de Equidade de Custo de Privacidade (PCER)
Para abordar isso, os autores introduzem a Razão de Equidade de Custo de Privacidade (PCER), uma métrica de equidade de grupo fundamentada na teoria da equidade de Adams. A PCER operacionaliza um framework de equidade compensatória onde um grupo que suporta maior exposição de privacidade deve receber proporcionalmente maior benefício.

Definição: Para um grupo $g$ , a PCER é definida como a razão entre a taxa de predição positiva do grupo ( $R_g$ ) e seu gap de overfitting por grupo ( $\delta_g$ ):
$PCER_g = \frac{R_g}{\max(\delta_g, \eta)}$
onde $\eta$ é uma constante de piso pequena para evitar a divisão por zero.
Proxy de Custo de Privacidade: O denominador, $\delta_g$ , é o gap de overfitting por grupo, definido como $\max(0, \text{acc}_{train, g} - \text{acc}_{test, g})$ . Os autores baseiam-se no limite teórico de Yeom et al. (2018), que estabelece que o gap de overfitting limita superiormente a vantagem de um atacante de inferência de membro baseado em limiar. Assim, $\delta_g$ serve como um proxy conservador e livre de modelos de sombra para o vazamento de privacidade.
Critério de Equidade: Um sistema é considerado PCER-equitativo se $\Delta PCER = PCER_0 - PCER_1 = 0$ . Uma disparidade não nula indica que um grupo recebe uma razão benefício-custo menor do que o outro.
Procedimento de Auditoria (Algoritmo 1): A auditoria proposta requer apenas as acurácias de treinamento e teste por grupo de um modelo já treinado. Ela não exige modelos de sombra ou infraestrutura de ataque auxiliar, tornando-a uma ferramenta post-hoc prática.

Principais Contribuições

Definição Formal de PCER: O artigo define a PCER como um mapeamento único de benefício-custo que satisfaz a linearidade no benefício e a inversão de linearidade no custo, distinguindo-se normativamente da Paridade Demográfica (DP-Gap) e da Igualdade de Oportunidades (EO-Gap).
Resultados Teóricos:
- Caracterização Axiomática: Prova que a PCER é o mapeamento único que satisfaz axiomas de linearidade específicos.
- Teorema de Degenerescência de Piso: Demonstra que sob garantias de privacidade fortes (onde os gaps de overfitting colapsam abaixo da constante de piso $\eta$ ), a PC_ER reduz-se a uma versão escalonada da DP-Gap, tornando-se não informativa nesse regime.
- Teorema de Incompatibilidade: Prova que um sistema não pode satisfazer simultaneamente a equidade de PCER e a equidade de DP-Gap, a menos que os gaps de overfitting por grupo sejam idênticos. Como o DP-SGD não garante gaps de overfitting iguais, passar em ambas as auditorias é estruturalmente impossível em geral.
Avaliação Empírica: Os autores avaliam a PCER através de seis combinações de atributos de benchmark (Adult Income, COMPAS, ACS Income, Bias in Bios) sob DP-SGD.
Validação: O proxy do gap de overfitting é validado contra ataques diretos de inferência de membro por limiar por grupo, mostrando forte concordância direcional (88,9% de concordância de sinal), apesar de os ataques diretos serem fracos.

Resultos
Os experimentos revelam padrões que métricas de resultados padrão não detectam:

Adult Income (Raça): A PCER inverte o ranking de equidade em relação às métricas padrão. Enquanto a DP-Gap sugere que $\epsilon \in \{5, 10\}$ é o mais equitativo, a PCER indica que o cenário sem DP (sem proteção de privacidade) é o mais equitativo, pois o orçamento de privacidade introduz custos de exposição desproporcionais.
COMPAS (Raça): A PCER revela uma "dupla desvantagem" persistente para afro-americanos. Eles suportam maior exposição de inferência de membro (maior $\delta_g$ ) e recebem piores resultados preditivos (maiores taxas de predição prejudiciais). Isso resulta em um $\Delta PCER$ significativamente negativo através dos orçamentos, um achado completamente mascarado pela DP-Gap quase plana.
Bias in Bios (Gênero): No domínio de PLN, a PCER detecta inequidade mesmo no baseline sem DP, onde homens recebem mais benefício por unidade de custo de privacidade do que mulheres.
Análise de Sensibilidade: Observou-se que os achados em orçamentos de privacidade muito fortes ( $\epsilon = 0.1$ ) são artefatos da constante de piso (degenerando em DP-Gap). Achados robustos emergem em orçamentos moderados ( $\epsilon \ge 1$ ).

Significância e Alegações
O artigo afirma que as auditorias de equidade para sistemas preservadores de privacidade devem considerar quem suporta o custo da proteção, não apenas quem se beneficia dos resultados.

Utilidade Prática: A PCER é uma ferramenta de auditoria post-hoc implantável que requer um overhead computacional negligenciável em comparação com abordagens baseadas em modelos de sombra (como LiRA).
Poder Diagnóstico: É a única métrica capaz de detectar a "dupla desvantagem" (alta exposição + baixos resultados), que as lacunas de paridade demográfica perdem inteiramente.
Posição Normativa: Os autores afirmam explicitamente que a PCER representa uma posição normativa (equidade compensatória) entre várias (ex: igualdade de tratamento, maximin de Rawls). Eles não alegam que esta seja a única norma correta, mas argumentam que ela torna a dimensão da exposição de privacidade involuntária mensurável e auditável.
Limitações: Os autores reconhecem que a PCER é não informativa sob garantias de privacidade extremamente fortes, onde o overfitting colapsa para zero. Além disso, observam que o uso de taxas de predição positiva como proxy de benefício confunde diferenças de taxa base com disparidades induzidas pelo modelo, e que a métrica depende de atributos protegidos binários.

O artigo conclui que, embora a PCER forneça um diagnóstico crítico para a equidade ajustada por exposição, ela deve ser reportada junto com análises de sensibilidade de piso e intervalos de confiança de bootstrap, e não deve substituir a responsabilidade estrutural ou o engajamento comunitário.

A Conta da Privacidade: Quem Paga o Preço?

A Reviravolta Surpreendente: O Orçamento "Seguro" Não é Seguro

O Que Isso Significa para o Futuro

A Conclusão

Mais como este