Fairness under uncertainty in sequential decisions

Resumo Técnico: Justiça sob Incerteza em Decisões Sequenciais

1. O Problema

O artigo aborda a limitação das abordagens atuais de Fair Machine Learning (ML Justo), que são predominantemente focadas em aprendizado supervisionado estático (classificação ou regressão em um único momento). O problema central identificado é que muitas aplicações do mundo real (como empréstimos bancários, contratação e justiça criminal) são sequenciais e online, onde decisões passadas informam futuras e geram feedback seletivo.

Nesses cenários, surgem dois desafios críticos de incerteza que afetam desproporcionalmente grupos sub-representados:

1. Feedback Seletivo (Cenário de "Counterfactuals" não observados): Um sistema não pode saber o resultado de uma decisão não tomada (ex: um banco não sabe se um empréstimo negado teria sido pago). Ignorar esses resultados não observados cria um viés de feedback, onde grupos marginalizados, historicamente excluídos, têm menos dados de sucesso observados, perpetuando a exclusão.
2. Incerteza Desigual: Grupos marginalizados frequentemente possuem maior incerteza preditiva devido à falta de dados históricos (viés de representação). Políticas ingênuas tendem a penalizar esses grupos ao tratar a incerteza do modelo como risco, recusando decisões para indivíduos cujos resultados são incertos, mesmo que sejam qualificados.

O artigo argumenta que a aleatoriedade inerente aos algoritmos de Aprendizado por Reforço (RL), necessária para a exploração, pode violar leis de não discriminação se não for gerida corretamente, criando riscos legais e reputacionais.

2. Metodologia e Taxonomia

Os autores propõem uma estrutura teórica e empírica baseada em três pilares principais:

A. Taxonomia da Incerteza
O paper introduz uma taxonomia estruturada de incertezas ao longo do ciclo de vida do ML, dividindo-as em:

• Incertezas Globais: Afetam o sistema como um todo (ex: incerteza do mundo, viés de representação nos dados, incerteza de medição, incerteza do modelo).
• Incertezas Locais: Afetam indivíduos ou subgrupos específicos (ex: incerteza de previsão, incerteza de feedback).
  O foco do trabalho recai sobre a interação entre Incerteza de Modelo, Incerteza de Previsão e Incerteza de Feedback em ambientes sequenciais.

B. Formalização do Problema
Utilizando lógica contrafactual e técnicas de Contextual Bandits (uma forma simplificada de RL), os autores formalizam a utilidade esperada de uma política ($\pi$). Eles definem que a utilidade real deve considerar tanto os resultados observados (fatos) quanto os não observados (contrafactuais):
$$u = d(y_1 g - (1-y_1)l) + (1-d)((1-y_1)g - y_1 l)$$
Onde $d$ é a decisão, $y_1$ é o resultado potencial de pagamento, $g$ é o ganho e $l$ é a perda. O termo $(1-d)$ representa o custo de oportunidade de não conceder o empréstimo a quem o pagaria.

C. Abordagens de Mitigação (Algoritmos)
Para testar a mitigação, os autores simulam um cenário de aprovação de empréstimos com dados sintéticos contendo viés histórico e de medição. Eles comparam cinco estratégias:

1. Exploração Ingênua (Naïve): Seleciona aleatoriamente uma fração $\delta$ de candidatos na "região de incerteza" para exploração, independentemente da incerteza do modelo.
2. Exploração Ponderada (Weighted): Amostra estratificada baseada na probabilidade de pagamento estimada.
3. Exploração Consciente da Incerteza (Uncertainty-aware): Restringe a exploração apenas a candidatos cujos intervalos de confiança das previsões se sobrepõem ao limiar de decisão. Isso trata a incerteza de previsão explicitamente.
4. Maximização de Utilidade Contrafactual: Treina um modelo de regressão logística end-to-end maximizando uma função de objetivo diferenciável que inclui tanto os ganhos observados quanto os ganhos contrafactuais esperados (o que teria acontecido se a decisão fosse diferente).
5. Linha de Base (Naïve): Sem exploração, apenas decisões determinísticas baseadas no modelo atual.

3. Contribuições Principais

1. Taxonomia Unificada: Oferece um vocabulário compartilhado para identificar onde e como a incerteza entra em pipelines de decisão sequencial, facilitando auditorias e governança.
2. Formalização de "Justiça sob Incerteza": Conceptualiza como a incerteza epistêmica e de feedback desiguais podem compor disparidades sob rótulos seletivos, demonstrando que a incerteza não é apenas ruído, mas um motor estrutural de injustiça.
3. Solução Prática sem Restrições Explícitas de Justiça: Demonstra que, ao incorporar a incerteza (especificamente através da maximização de utilidade contrafactual e exploração consciente da incerteza), é possível melhorar as métricas de justiça para grupos desfavorecidos sem impor restrições explícitas de justiça (como paridade demográfica) e sem sacrificar a utilidade total (lucro) do tomador de decisão.

4. Resultados Experimentais

Os experimentos foram realizados em dados sintéticos simulando diferentes magnitudes de viés histórico e de medição ao longo de 10 trimestres (Q1-Q10).

• Desempenho vs. Justiça: O método de Maximização de Utilidade Contrafactual superou consistentemente os outros métodos. Ele conseguiu mitigar significativamente o viés (reduzindo diferenças nas taxas de seleção, falsos positivos e falsos negativos entre grupos) mantendo o lucro acumulado (utilidade) estável ou até superior em cenários com viés.
• Impacto da Exploração: Métodos que ignoravam a incerteza (como a exploração ingênua) falharam em corrigir disparidades estruturais. A abordagem "consciente da incerteza" mostrou que explorar ativamente a região onde o modelo é inseguro (especialmente para grupos sub-representados) revela dados ocultos que corrigem o viés de feedback.
• Robustez: Mesmo sem restrições explícitas de justiça no treinamento, a consideração dos resultados não observados (contrafactuais) levou naturalmente a uma distribuição mais justa dos recursos, demonstrando que a justiça pode emergir da otimização correta da utilidade sob incerteza.

5. Significado e Implicações

• Governança e Regulamentação: O trabalho fornece ferramentas para auditores e reguladores diagnosticarem onde a incerteza desigual gera danos. Isso é crucial para o cumprimento de leis de não discriminação (como a Lei de Igualdade no Reino Unido ou leis de empréstimo justo nos EUA), onde a aleatoriedade do RL pode ser vista como discriminatória se não for justificada e gerenciada.
• Mudança de Paradigma: O artigo desafia a visão de que a incerteza é apenas um problema técnico de precisão. Ele posiciona a incerteza como uma questão de justiça social, especialmente quando a falta de dados é resultado de exclusão histórica.
• Aplicabilidade: A abordagem sugere que sistemas de decisão de alto risco (saúde, finanças, justiça) devem adotar mecanismos de exploração ativa e consciente da incerteza para evitar a perpetuação de ciclos de exclusão, oferecendo um caminho para sistemas de IA mais éticos e eficazes dinamicamente.

Em suma, o paper demonstra que considerar explicitamente a incerteza e os resultados contrafactuais é uma estratégia poderosa para alinhar objetivos institucionais (lucro/eficiência) com objetivos sociais (equidade), superando as limitações das abordagens estáticas de ML justo.