Resumo Técnico: Otimização Bilevel Funcional para Equidade Preditiva

Declaração do Problema

Modelos de aprendizado de máquina padrão frequentemente exploram sinais estatísticos vinculados a atributos sensíveis (ex: idade, renda, pontuações demográficas), levando a previsões injustas. Embora a equidade seja frequentemente formulada como a imposição de independência estatística total entre as previsões e os atributos sensíveis, essa abordagem é frequentemente excessivamente restritiva, particularmente quando os atributos sensíveis são contínuos e de alta dimensão. Nesses regimes, a independência total restringe toda a distribuição da previsão, ao passo que a preocupação prática com a equidade é frequentemente limitada a mudanças sistemáticas nas médias das previsões através de diferentes valores do atributo sensível.

As relaxações existentes para atributos contínuos dependem de penalidades de dependência indireta (ex: HSIC, informação mútua), esquemas adversariais ou restrições de dependência linear. Esses métodos frequentemente falham em visar diretamente o trade-off específico de equidade-acurácia de controlar a média condicional, ou são limitados a atributos de baixa dimensão ou discretos.

Os autores propõem abordar essa lacuna otimizando a Paridade Demográfica de Média, formalizada como a minimização da variância da média condicional da previsão dado o atributo sensível. Esta métrica é denominada DPVar:
$$\text{DPVar}(\omega) = \text{Var}_A \left( \mathbb{E}[f_\omega(X) \mid A] \right)$$
onde $f_\omega$ é o preditor e $A$ é o atributo sensível.

Metodologia

A Formulação Bilevel Funcional

Otimizar o DPVar apresenta um desafio único: o objetivo depende da função de média condicional $h^\star_\omega(a) = \mathbb{E}[f_\omega(X) \mid A=a]$, que é desconhecida e deve ser estimada a partir dos dados. Os autores formulam isso como um problema de otimização bilevel funcional:

1. Problema Interno: Estimar a função de média condicional $h^\star_\omega$ minimizando a perda quadrática entre a saída do preditor e a função do atributo sensível:
   $$h^\star_\omega \in \arg\min_{h \in \mathcal{H}} \mathbb{E}[(f_\omega(X) - h(A))^2]$$
2. Problema Externo: Otimizar os parâmetros do preditor $\omega$ para minimizar um trade-off entre a acurácia da previsão e a penalidade DPVar (que depende da solução $h^\star_\omega$ do problema interno):
   $$\min_\omega \mathbb{E}[(f_\omega(X) - Y)^2] + \alpha \text{Var}_A(h^\star_\omega(A))$$

Como a variável interna é uma função, e não um vetor de parâmetros de dimensão finita, este é um problema bilevel funcional.

Algoritmos Propostos

O artigo introduz dois algoritmos para resolver este problema, ambos utilizando uma divisão de dados em IN (para estimativa interna) e OUT (para avaliação externa) para evitar o viés otimista.

1. FBO (Otimização Bilevel Funcional):

   • Mecanismo: Este método explora a estrutura específica do problema interno de perda quadrática. Os autores derivam um adjunto de forma fechada para a sensibilidade da solução interna em relação aos parâmetros externos.
   • Vantagem: Esta derivação produz um hipergradiente exato e livre de Hessiana. Evita o custo computacional de inverter Hessianas ou calcular Jacobianos internos, exigindo apenas uma regressão interna e duas médias empíricas por passo externo.
   • Limitação: É específico para o objetivo interno de perda quadrática.

2. ITD (Diferenciação Iterativa):

   • Mecanismo: Este método utiliza uma estratégia mais ampla de desenrolar (unrolling) os passos de otimização interna. O regressor interno é atualizado por $K$ passos de gradiente, e o objetivo externo é diferenciado através deste grafo de computação desenrolado.
   • Vantagem: É generalizável para objetivos internos de não-perda quadrática (ex: perda Huber) e não requer uma inversa de forma fechada da Hessiana interna.
   • Trade-off: É aproximado e computacionalmente mais caro por passo externo (escalando linearmente com $K$) em comparação ao FBO.

Principais Contribuições

1. Critério DPVar: A adoção do DPVar como um critério de equidade especificamente projetado para atributos sensíveis contínuos e de alta dimensão, indo além da independência total para uma visão de média condicional.
2. Estrutura Bilevel Funcional: A formulação da otimização do DPVar como um problema bilevel funcional que se integra naturalmente com preditores de redes neurais, um regime não coberto pelas abordagens anteriores de média condicional.
3. Inovações Algorítmicas:
   • Derivação de um adjunto de forma fechada para o caso de perda quadrática, permitindo o algoritmo FBO exato.
   • Desenvolvimento do algoritmo ITD para aplicabilidade mais ampla via diferenciação iterativa.
4. Benchmark Semi-Sintético: A criação de um conjunto de avaliação padronizado e de larga escala construído a partir de 60 conjuntos de dados reais de regressão tabular. Este benchmark constrói automaticamente atributos sensíveis contínuos a partir de características para fornecer cenários controlados de trade-off não triviais de equidade-acurácia.

Resultados Experimentais

Os métodos foram avaliados em dados sintéticos e no novo benchmark tabular semi-sintético contra baselines fortes, incluindo HSIC, debiasing adversarial, penalidades de dependência linear e Paridade Demográfica Generalizada (GDP).

• Dados Sintéticos: Em regimes onde a injustiça é impulsionada por deslocamentos de primeiro momento, todos os métodos performam de forma semelhante. No entanto, conforme o problema de previsão se torna mais complexo (introduzindo interações entre características sensíveis e não sensíveis), FBO e ITD consistentemente alcançam melhores trade-offs de equidade-acurácia. Eles superam métodos que dependem de independência de distribuição total (HSIC, adversarial) ou penalidades lineares, que são ou muito restritivos ou perdem efeitos não lineares.
• Benchmark Tabular: Em 27 conjuntos de dados informativos, FBO e ITD alcançam o menor ou quase o menor arrependimento de acurácia agregada sob restrições DPVar.
  • Sob orçamentos de equidade rigorosos e de nível médio, FBO e ITD vencem na maioria das vezes.
  • Sob orçamentos mais flexíveis, o GDP torna-se um competidor mais forte.
  • Ambos os métodos propostos consistentemente igualam ou superam as baselines de HSIC, adversarial e dependência linear.

Significância e Alegações

O artigo afirma que, ao visar a média condicional em vez da distribuição completa, o DPVar oferece uma medida de equidade mais apropriada e estimável para atributos contínuos e de alta dimensão. A significância do trabalho reside em:

• Fornecer um caminho de otimização direta para este critério específico de equidade, evitando a indireção de penalidades adversariais ou baseadas em kernel.
• Demonstrar que a otimização bilevel funcional pode ser tornada prática e eficiente (via FBO) para modernos preditores de redes neurais.
• Oferecer um benchmark padronizado que vai além de conjuntos de dados escolhidos à mão para avaliar sistematicamente métodos de equidade em atributos contínuos.

Escopo e Limitações:
Os autores explicitamente observam que o DPVar é um critério de paridade de média. Ele controla deslocamentos sistemáticos nas médias das previsões, mas não garante a igualdade de momentos de ordem superior (variância, caudas) ou equidade de distribuição total. Consequentemente, não deve ser interpretado como um certificado de equidade global para aplicações que exigem igualdade distributiva total. Além disso, o método depende da estimativa de uma função de média condicional, o que pode ser estatisticamente desafiador em altas dimensões. O benchmark é semi-sintético, projetado para avaliação metodológica em vez de fazer reivindicações sociais ou legais específicas sobre os conjuntos de dados originais.