Resumo Técnico: Camadas de Otimização Diferenciáveis para Garantia de Equidade em Aprendizado Profundo

1. Declaração do Problema

A implantação de sistemas de aprendizado de máquina em domínios de alto risco (por exemplo, concessão de crédito, contratação, diagnóstico clínico) tornou necessário o desenvolvimento de abordagens rigorosas para "equidade". Os métodos existentes para incorporar restrições de equidade de grupo em pipelines de aprendizado profundo geralmente se enquadram em três categorias: pré-processamento, processamento e pós-processamento. No entanto, essas abordagens sofrem de limitações significativas:

• Pré-processamento (modificação dos dados de treinamento) pode amplificar vieses e falha em garantir o cumprimento das restrições durante a inferência.
• Processamento (por exemplo, penalidades de Lagrange) frequentemente depende de penalidades suaves ou substitutas que não impõem estritamente as restrições, levando a possíveis violações.
• Pós-processamento (modificação das previsões após o treinamento) opera sobre modelos desprovidos de consciência de equidade, frequentemente exigindo ajustes não diferenciáveis que quebram a treinabilidade de ponta a ponta e podem não generalizar.

Além disso, impor equidade em configurações de inferência em fluxo contínuo ou com lotes pequenos apresenta um desafio fundamental: impor restrições estritas por lote pode ser excessivamente restritivo, limitando a expressividade do modelo, enquanto a falha em impô-las arrisca uma injustiça agregada.

Os autores identificam uma lacuna na realização de três objetivos simultâneos: (G1) Equidade Verificada (cumprimento estrito), (G2) Aprendizado de Ponta a Ponta (manutenção da diferenciabilidade sem ajustes post-hoc) e (G3) Alta Flexibilidade (compatibilidade com qualquer arquitetura).

2. Metodologia

A Camada de Equidade

A contribuição central é a introdução de uma "camada de equidade", uma camada de otimização diferenciável acoplada à saída de uma rede neural. Diferentemente dos frameworks tradicionais "prever-então-otimizar", onde a otimização resolve um problema de decisão a jusante, esta camada projeta as saídas brutas da rede ($z$) sobre um conjunto de restrições de equidade para produzir as previsões finais ($\hat{y}$).

Matematicamente, para um lote de previsões brutas $z$, a camada computa:
$$g(z) = \arg \min_{\tilde{y} \in \mathbb{R}^b} \{ \tilde{d}(\tilde{y}, z) : h_{ineq}(\tilde{y}) \leq 0, h_{eq}(\tilde{y}) = 0 \}$$
onde $\tilde{d}$ é uma função de discrepância convexa (por exemplo, distância euclidiana) e as restrições são lineares (afins). Esta formulação permite que a camada imponha vários critérios de equidade, tais como:

• Paridade Condicional Esperada (Demográfica): Garantir que as previsões médias sejam semelhantes entre grupos protegidos.
• Resíduos Equilibrados Esperados: Garantir que os erros de previsão médios sejam semelhantes entre grupos.
• Odds Equilibradas Esperadas: Garantir que as expectativas condicionais das previsões dadas as verdadeiras etiquetas sejam semelhantes entre grupos.

Ao substituir o limiar rígido não convexo (comum em equidade de classificação) por restrições baseadas em expectativas, os autores garantem que o problema de otimização permaneça convexo e diferenciável.

Algoritmo de Inferência Primal-Dual Online

Para abordar o desafio de impor equidade com tamanhos de lote arbitrariamente pequenos (onde restrições por lote podem ser excessivamente restritivas ou as proporções de grupos variarem), os autores propõem um algoritmo de inferência primal-dual online.

• Mecanismo: Em vez de impor equidade em cada mini-lote individual, o algoritmo mantém uma variável dual ($\lambda$) que acumula violações de equidade ao longo do tempo.
• Regra de Atualização: Para lotes pequenos, a camada resolve um problema de otimização com restrições que inclui um termo de penalidade dinamicamente atualizado com base em $\lambda$. Para lotes maiores onde a amostragem estratificada é viável, ela impõe restrições rígidas.
• Garantia: O Teorema 3.2 prova que, embora lotes individuais possam violar restrições de equidade, a violação média ponderada pela amostra converge para a tolerância alvo $\epsilon$ à medida que o número de lotes de inferência cresce. Isso fornece garantias determinísticas de equidade agregada.

Propriedades Teóricas

O artigo fornece uma análise rigorosa das propriedades da camada:

• Diferenciabilidade: A camada é globalmente Lipschitz contínua e diferenciável em quase toda parte (Teorema 4.1), garantindo retropropagação estável.
• Estabilidade do Gradiente: A Jacobiana da camada possui uma estrutura espectral onde os autovalores são binários (0 ou 1). Crucialmente, os gradientes em direções normais às superfícies de restrição ativas são completamente suprimidos (Teorema 4.4). Isso impede que o modelo aprenda a violar restrições ativas, permitindo aprendizado livre em direções viáveis.
• Estrutura: O domínio é particionado em regiões poliédricas onde a camada atua como uma função afim, com fronteiras de medida zero, garantindo que otimizadores não fiquem presos em pontos não diferenciáveis.

3. Contribuições Principais

1. A Camada de Equidade: Um componente arquitetônico inovador que garante adesão estrita a restrições de equidade afins, mantendo a diferenciabilidade de ponta a ponta. É o primeiro método a satisfazer simultaneamente os objetivos (G1), (G2) e (G3).
2. Algoritmo Primal-Dual Online: Um algoritmo de inferência que supera as limitações da inferência com lotes pequenos, fornecendo garantias de equidade agregada onde restrições por lote são proibitivamente restritivas.
3. Análise Matemática: Provas que estabelecem a diferenciabilidade da camada, estabilidade do gradiente (Jacobiana limitada) e propriedades espectrais, motivando sua utilidade prática no treinamento de redes profundas.
4. Implementação de Código Aberto: Os autores lançaram um pacote Python (fairness_training) e código para experimentos no GitHub.

4. Resultados Experimentais

Os autores avaliaram o método em quatro configurações distintas: previsão de inadimplência de empréstimos, análise de desempenho de funcionários, classificação de imagens (conjuntos de dados CelebA e FairFace) e regressão sintética.

• Previsão de Inadimplência de Empréstimos: O método F-Layer alcançou melhorias modestas, mas consistentes, na AUC (aumento médio de 1,46%) e desempenho significativamente melhor em Precisão-Revocação em comparação com a projeção post-hoc. Evitou o comportamento degenerado (prever uma única classe) observado em métodos de penalidade estrita.
• Desempenho de Funcionários (Modelagem de Dados): O F-Layer satisfez todas as restrições de equidade com o menor Erro Quadrático Médio (MSE) entre os métodos que satisfazem restrições. Diferentemente da projeção post-hoc, que alterou previsões para 319/1200 indivíduos (reduzindo a transparência), o F-Layer incorporou a equidade durante o treinamento.
• Classificação de Imagens: Em cinco arquiteturas diferentes (incluindo ViT, Swin-T, ResNet, DenseNet), o F-Layer superou consistentemente as linhas de base. Alcançou 2–5% de maior precisão que a projeção post-hoc e superou significativamente os métodos de penalidade de Lagrange, que frequentemente colapsaram para adivinhação aleatória (precisão ~50%) quando forçados a priorizar fortemente as restrições.
• Dados Sintéticos: O F-Layer ficou em primeiro lugar em 22–27 de 32 configurações de conjunto de dados. Demonstrou robustez a tamanhos de lote variáveis e alcançou reduções de perda de teste de 18–30% sobre as linhas de base em muitos cenários. O algoritmo online controlou com sucesso a equidade agregada mesmo com lotes de inferência pequenos.

5. Significado e Alegações

O artigo afirma que a camada de equidade oferece uma solução verificável e de ponta a ponta para integrar equidade ao aprendizado profundo. Ao manter a diferenciabilidade, permite que profissionais incorporem a equidade diretamente no processo de treinamento, em vez de como um pensamento posterior.

Os autores posicionam este trabalho como uma ferramenta dentro de uma estratégia abrangente de equidade, não como uma solução completa. Eles notam explicitamente limitações:

• O trabalho foca exclusivamente em métricas de equidade de grupo, que capturam apenas um aspecto dos desejos de equidade.
• A escolha de atributos protegidos, restrições e parâmetros de tolerância requer expertise de domínio para evitar a introdução de novas formas de disparidade.
• O método garante equidade para conjuntos de restrições afins; estender isso para restrições não convexas é deixado para trabalhos futuros.

Em última análise, o artigo argumenta que camadas de otimização diferenciáveis fornecem um mecanismo matematicamente fundamentado para satisfazer requisitos regulatórios (como a Lei de IA da UE) enquanto preservam o desempenho e a interpretabilidade do modelo.