Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

Resumo Técnico: Aprendizado Supervisionado Justo através de Restrições em Substitutos Não Convexos Suaves de Medidas de Injustiça

Definição do Problema
Modelos de aprendizado de máquina supervisionado, embora eficazes em domínios como finanças, justiça criminal, contratação e saúde, frequentemente herdam ou introduzem vieses que levam a resultados discriminatórios. Esses vieses se manifestam como injustiça nas previsões entre diferentes grupos demográficos. As estratégias existentes para mitigar a injustiça geralmente se dividem nas categorias de pré-processamento, in-processamento ou pós-processamento. Este artigo foca em estratégias de in-processamento, especificamente a incorporação de medidas de injustiça nos problemas de otimização usados no treinamento de modelos.

As abordagens atuais enfrentam desafios computacionais e teóricos significativos:

1. Não suavidade e Não convexidade: A formulação direta de medidas de injustiça (ex: Paridade Demográfica, Impacto Dispar) envolve funções degrau de Heaviside descontínuas, levando a problemas de otimização não convexos e não suaves, que são difíceis de resolver.
2. Limitações de Substitutos Convexos: Para lidar com dificuldades computacionais, pesquisadores frequentemente utilizam substitutos convexos (ex: aproximações baseadas em covariância). No entanto, estes não garantem que a medida de injustiça original permaneça dentro de limites aceitáveis; um valor pequeno no substituto não implica necessariamente uma pequena medida de injustiça real.
3. Limitações de Regularização: O uso generalizado de termos de regularização (restrições suaves) para impor justiça exige um ajuste de hiperparâmetros caro. Além disso, aumentar a força da regularização para reduzir a injustiça pode degradar severamente a precisão da previsão, e a relação entre o parâmetro de regularização e a injustiça resultante é frequentemente não monotônica e difícil de controlar.
4. Lidando com Múltiplas Medidas: Estratégias que tentam equilibrar múltiplas medidas de injustiça, potencialmente conflitantes, via regularização frequentemente resultam em problemas de treinamento intratáveis e custos adicionais de ajuste.

Metodologia
Os autores propõem uma nova estratégia de in-processamento que combina substitutos não convexos suaves com restrições rígidas para impor a justiça.

1. Substitutos Não Convexos Suaves:
   Em vez de usar aproximações convexas ou funções degrau descontínuas, os autores introduzem substitutos não convexos, suaves e limitados para aproximar a função de Heaviside. Duas aproximações específicas são utilizadas:
   • A função sigmoide.
   • Uma função degrau suavizada derivada de técnicas de suavização da literatura de otimização (especificamente, uma aproximação afim por partes suavizada via um termo de raiz quadrada).

Crucialmente, esses substitutos são limitados no intervalo $[0, 1]$ e são escalonados (via um parâmetro $\alpha$) para garantir que aproximem de perto a função degrau. Os autores provam (via Teorema 2.1, derivado de trabalhos anteriores) que, se o valor do substituto for pequeno, a medida de injustiça empírica real também será pequena, desde que os valores do substituto estejam suficientemente próximos de 0 ou 1. Esta aproximação estreita não é garantida por substitutos lineares ou convexos não limitados.

2. Restrições Rígidas (Hard Constraints):
   Em vez de adicionar medidas de injustiça como termos de regularização na função objetivo, os autores formulam o problema de treinamento como um problema de otimização restrita:
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{sujeito a} \quad l \leq c(w) \leq u$$
   Aqui, $c(w)$ representa o vetor de substitutos para uma ou mais medidas de injustiça (ex: Impacto Dispar, Impacto Igual). Os limites $l$ e $u$ impõem tolerâncias específicas para a injustiça diretamente.

   • Tratabilidade: Os autores aproveitam técnicas recentes de Newton estocástico/Programação Quadrática Sequencial (SQP) para resolver esses problemas não convexos restritos de forma eficiente.
   • Gradientes Estocásticos: O Teorema 3.1 demonstra que estimativas de gradiente estocástico não enviesadas podem ser obtidas para as funções de restrição se os mini-lotes (mini-batches) mantiverem um número equilibrado de amostras de cada grupo sensível.

Principais Contribuições

1. Aproximação Estreita de Substitutos: O artigo introduz substitutos não convexos, suaves e limitados que fornecem uma garantia teórica: se a restrição do substituto for satisfeita, a medida de injustiça real é limitada. Isso contrasta com substitutos convexos, onde um pequeno valor do substituto não garante baixa injustiça.
2. Restrições Rígidas vs. Regularização: Os autores propõem o uso de restrições rígidas em vez de regularização. Isso elimina a necessidade de um ajuste caro de parâmetros de regularização e evita o comportamento não monotônico frequentemente visto em abordagens baseadas em regularização. Permite a imposição explícita de tolerâncias específicas de injustiça.
3. Escalabilidade para Múltiplas Medidas: O framework acomoda naturalmente múltiplas medidas de injustiça, potencialmente conflitantes, simultaneamente dentro de um único problema de otimização, sem a explosão computacional associada ao ajuste de múltiplos pesos de regularização.

Resultados Experimentais
Os autores avaliaram seu método em três conjuntos de dados de referência: Dutch (previsão de renda, atributo sensível: gênero), Law School (aprovação no exame da ordem, atributo sensível: raça) e ACSIncome (previsão de renda, atributo sensível: gênero).

• Estreiteza do Substituto: Experimentos mostraram que substitutos não escalonados levaram a lacunas entre os níveis de justiça desejados e reais. No entanto, quando os substitutos foram escalonados (ex: $\alpha=50$), os níveis de justiça realizados corresponderam estritamente às restrições impostas tanto para a função degrau suavizada quanto para a sigmoide. Em contraste, substitutos baseados em covariância dificultaram o mapeamento de um valor de restrição específico para um nível de justiça desejado.
• Restrição vs. Regularização: Comparar a abordagem proposta de "apenas restrição" contra uma abordagem de "apenas regularização" revelou que o método de restrição alcançou uma melhoria monotônica na justiça conforme os limiares eram apertados, enquanto o método de regularização exibiu um comportamento imprevisível e não monotônico. A abordagem de restrição manteve alta precisão de previsão mesmo quando as restrições de justiça tornaram-se ativas, enquanto a abordagem de regularização frequentemente sofreu quedas significativas de precisão ao tentar impor uma justiça rigorosa.
• Múltiplas Medidas: O framework conseguiu impor simultaneamente restrições de Impacto Dispar e Impacto Igual. Embora a adição de múltiplas restrições tenha reduzido a precisão ligeiramente mais do que as restrições únicas, o método satisfez consistentemente ambos os critérios, demonstrando robustez ao lidar com requisitos de justiça complexos.

Significância e Alegações
O artigo alega que sua abordagem oferece um paradigma de treinamento tratável para o aprendizado supervisionado justo. Ao resolver um único problema de otimização restrita, os profissionais podem obter modelos que atendam aos limites prescritos de injustiça sem o ônus computacional de ajustar parâmetros de regularização. Os autores enfatizam que, embora a resolução de problemas não convexos restritos seja mais cara por iteração do que problemas não restritos, o custo computacional total é reduzido ao eliminar a necessidade de uma busca extensa de hiperparâmetros. O método é apresentado como uma solução robusta para aplicações do mundo real onde garantias de justiça rigorosas são necessárias juntamente com alta precisão preditiva.