Optimal Fairness under Local Differential Privacy

Resumo Técnico: Equidade Ótima sob Privacidade Diferencial Local

Definição do Problema
Modelos de aprendizado de máquina dependem cada vez mais de atributos sensíveis (ex: raça, gênero) para decisões de alto risco, levantando preocupações quanto à equidade e privacidade. Embora a Privacidade Diferencial (DP) seja o padrão para privacidade, a DP central tem demonstrado poder exacerbar a injustiça. Em contrapartida, a Privacidade Diferencial Local (LDP), onde os dados são perturbados antes de saírem do dispositivo do usuário, permanece pouco explorada em relação à sua interação com a equidade. As abordagens de equidade baseadas em LDP existentes frequentemente dependem de mecanismos específicos como a Resposta Aleatória Generalizada (GRR) ou Resposta Aleatória (RR) e são frequentemente limitadas a atributos sensíveis binários. O problema central abordado é como projetar mecanismos de LDP de forma ótima para minimizar a injustiça dos dados tanto para atributos sensíveis binários quanto multivalorados, preservando uma utilidade não trivial, e estabelecer teoricamente como essa redução na injustiça dos dados se traduz em uma melhoria na equidade da classificação.

Metodologia
Os autores propõem um framework de pré-processamento onde os atributos sensíveis são perturbados usando um mecanismo LDP ótimo antes do treinamento do modelo. A metodologia é dividida em derivação teórica e validação empírica:

1. Derivação do Mecanismo Ótimo:

   • Atributos Binários: Para atributos sensíveis binários ($A \in \{0, 1\}$), os autores derivam uma solução ótima de forma fechada. Eles formulam o problema como a minimização da razão entre a injustiça dos dados no conjunto de dados perturbado e o conjunto de dados original, sujeito a um orçamento de privacidade $\epsilon$ fixo. O mecanismo ótimo mostra-se dependente da distribuição dos dados (especificamente as probabilidades condicionais do rótulo dado o atributo) e do parâmetro de privacidade. Diferente do RR padrão, o mecanismo ótimo não trata necessariamente ambas as classes de forma simétrica; ele ajusta a probabilidade de relatar o valor real com base em qual classe é mais prevalente ou discriminatória.
   • Atributos Não Binários: Para atributos multivalorados ($A \in [k]$), o problema é reformulado como um programa linear fracionário min-max. O objetivo é minimizar uma métrica de injustiça de dados (especificamente a Definição 1, $\Delta$) sujeito a:
     • Restrições de $\epsilon$-LDP.
     • Restrições de estocasticidade de linha (as probabilidades somam 1).
     • Restrições de veracidade (probabilidade de relatório correto $\ge$ probabilidade de erro de relatório).
     • Restrições de utilidade (limitando a probabilidade total de erro a um limiar $\zeta$).
       Esta otimização é resolvida numericamente usando o método branch-and-bound.

2. Elo Teórico para Equidade de Classificação:
   O artigo estabelece uma conexão teórica entre a minimização da injustiça dos dados e a redução da injustiça de classificação. Ele introduz o conceito de classificadores ótimos de Discriminação-Acurácia (DA) — classificadores que não são estritamente dominados por qualquer outro classificador em termos de acurácia e discriminação. Os autores provam que, para classificadores DA-ótimos, o treinamento em dados com menor injustiça (especificamente menor $\Delta'$) garante uma redução no gap de paridade estatística do classificador resultante.

3. Validação Experimental:
   O mecanismo proposto (OPT) é avaliado em diversos conjuntos de dados (Adult, LSAC, COMPAS, Bank, Student Performance, German Credit) usando LightGBM e Regressão Logística.

   • Baselines: O OPT é comparado contra mecanismos LDP padrão (GRR/RR, Seleção de Subconjunto) e intervenções de equidade de última geração (FairProjection, FairBalance).
   • Métricas: O desempenho é medido via Acurácia, Paridade Estatística ($\Delta_{SP}$), Oportunidade Igualada ($\Delta_{EO}$) e Média de Igualdade de Oportunidades ($\Delta_{MEO}$).

Principais Contribuições

• Design de Mecanismo Ótimo: O artigo fornece o primeiro mecanismo LDP de forma fechada para atributos sensíveis binários e um framework numérico tratável para atributos não binários para minimizar a injustiça dos dados.
• Justificativa Teórica: Prova-se que, para classificadores DA-ótimos, a redução da injustiça dos dados via pré-processamento LDP leva diretamente à redução da injustiça de classificação, unindo o pré-processamento consciente de privacidade e a equidade downstream.
• Superioridade Empírica: O mecanismo OPT proposto supera consistentemente os mecanismos LDP existentes (GRR, SS) na redução da injustiça, mantendo uma acurácia comparável aos baselines não privados.
• Trade-offs Superiores: Comparado a métodos de equidade de pré-processamento (FairBalance) e pós-processamento (FairProjection), o OPT alcança um trade-off acurácia-equidade mais favorável, enquanto simultaneamente preserva a privacidade dos atributos sensíveis.

Resultos

• Atributos Binários: Nos datasets Adult e LSAC, o OPT reduz significativamente os gaps de paridade estatística e de oportunidade igualada (ex: quase reduzindo os gaps pela metade no LSAC) enquanto mantém a acurácia comparável ao RR e SS.
• Atributos Não Binários: Para atributos multivalorados (ex: raça, renda familiar), o mecanismo OPT resolvido numericamente alcança menores gaps de equidade do que o GRR e SS, particularmente em orçamentos de privacidade mais altos ($\epsilon$), com perda de acurácia negligenciável.
• Comparação com Métodos de Equidade: Quando comparado ao FairProjection (pós-processamento) e FairBalance (pré-processamento) em níveis de acurácia equivalentes, o OPT geralmente produz menores gaps de equidade (ex: no dataset COMPAS, o OPT reduziu $\Delta_{SP}$ de 26,8% para 24,3% em comparação ao FairProjection). No dataset Bank, o OPT alcançou maior acurácia (90,1% vs 84,5%) e menor $\Delta_{EO}$ do que o FairBalance.
• Integração: O OPT substitui com sucesso o RR no framework de dois estágios de [13], demonstrando adaptabilidade em cenários onde apenas atributos sensíveis privatizados estão disponíveis.

Significância e Alegações
O artigo alega que a Privacidade Diferencial Local serve como uma intervenção de pré-processamento fundamentada e eficaz para aumentar a equidade. Ao contrário da DP central, que pode ser fundamentalmente incompatível com a equidade, a LDP oferece um mecanismo onde a randomização inerente à preservação da privacidade pode ativamente mitigar a injustiça dos dados. Os autores posicionam seu trabalho como um elo direto entre o pré-processamento consciente de privacidade e a equidade de classificação, demonstrando que a perturbação ótima de atributos sensíveis é uma ferramenta simples, porém poderosa, para mitigar o viés sem sacrificar a utilidade do modelo. Os resultados sugerem que a LDP não é meramente uma ferramenta de privacidade, mas uma estratégia viável para ampliação da equidade em pipelines de aprendizado de máquina.