📊 statistics

A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning

Este artigo propõe um novo algoritmo de pré-processamento de dados utilizando mapeamento de distribuição quantílica para alcançar justiça contrafactual em aprendizado por reforço ao estimar estados e recompensas contrafactuais sem depender de suposições estritas de aditividade, ao mesmo tempo em que fornece limites teóricos sobre injustiça e subotimalidade e valida a abordagem por meio de experimentos numéricos e de saúde digital do mundo real.

Autores originais: Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Publicado 2026-08-11

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a tomar uma série de decisões, como um médico escolhendo tratamentos para um paciente ao longo de várias semanas ou um carro autônomo navegando em uma cidade movimentada. Esse campo é chamado de Aprendizado por Reforço (Reinforcement Learning - RL). Pense nisso como um videogame onde o robô aprende por tentativa e erro: ele realiza uma ação, vê o que acontece, recebe uma "pontuação" (recompensa) e tenta descobrir como obter a pontuação total mais alta ao longo do tempo. O objetivo geralmente é ajudar o maior número possível de pessoas.

No entanto, existe um problema complicado. Às vezes, o robô aprende a ser injusto. Ele pode começar a tratar as pessoas de forma diferente com base em coisas como raça, gênero ou histórico, não porque seja "mau", mas porque percebeu padrões nos dados que ligam esses traços a certos resultados. Isso é como um robô aprender que "pessoas do Grupo A costumam ficar doentes com menos frequência", decidindo então dar a elas menos consultas, ignorando acidentalmente o fato de que o Grupo A pode ter tido um melhor acesso a alimentos ou medicamentos no passado. Isso é chamado de injustiça.

Para corrigir isso, cientistas usam um conceito chamado Equidade Contrafactual (Counterfactual Fairness). Imagine que você pudesse apertar "desfazer" na vida de uma pessoa e perguntar: "Se essa pessoa tivesse nascido de uma raça ou gênero diferentes, mas tudo o mais em sua história de vida permanecesse exatamente o mesmo, o robô ainda tomaria a mesma decisão?" Se a resposta for "sim", o robbô está sendo contrafactualmente justo. Não se trata apenas de olhar para grupos de pessoas; trata-se de garantir que o robô trate cada indivíduo de forma justa, independentemente de seus traços sensíveis.

A Grande Ideia do Artigo: Um Mapa de Viagem no Tempo para Robôs

Este artigo introduz uma ferramenta inteligente chamada CFSMDM (Mapeamento de Distribuição Marginal Sequencial Contrafactualmente Justa). Pense nisso como um especial "tradutor de dados" ou um "mapo de viagem no tempo" que ajuda o robô a aprender a ser justo antes mesmo de começar a tomar decisões.

Os autores perceberam que os métodos anteriores para tornar os robôs justos eram um pouco rígidos demais. Eles assumiam que o mundo funciona de uma maneira simples e linear (como somar números). Mas a vida real é bagunçada e curva. Às vezes, o histórico de uma pessoa altera a forma como ela vivencia o mundo de maneiras complexas e não lineares. As ferramentas antigas quebrariam ou ficariam confusas nessas situações.

O que o CFSMDM faz:
Em vez de tentar adivinhar a matemática exata de como o mundo funciona, o CFSMDM usa uma técnica chamada Mapeamento de Distribuição de Quantis. Aqui está uma forma simples de visualizar isso:

Imagine que você tem um grande pote de bolinhas representando todos os resultados possíveis para um paciente. Algumas bolinhas são vermelhas (resultados ruins), algumas são azuis (resultados bons). O robô precisa saber qual bolinha um paciente específico receberá.

O Jeito Antigo: O robô tenta prever a cor média da bolinha.
O Jeito CFSMDM: O robô observa onde a bolinha do paciente se situa no pote. Ela está nos 10% superiores? Nos 50% inferiores? Isso é o "quantil".
O Passo Mágico: O algoritmo pergunta: "Se este paciente tivesse um histórico diferente (por exemplo, um gênero diferente), mas mantivesse exatamente a mesma história de vida, onde sua bolinha se situaria nesse novo pote?"
A Tradução: Ele então encontra a bolinha no "novo pote" que ocupa exatamente o mesmo lugar (o mesmo quantil) que a bolinha original.

Ao fazer isso passo a passo para cada semana da jornada do paciente, o CFSMDM cria uma nova versão "justa" dos dados de treinamento. Ele remove a influência injusta dos traços sensíveis enquanto mantém o restante da história intacta. O robô então aprende sua política (suas regras de decisão) usando esses dados traduzidos e justos.

O que eles descobriram:
Os autores testaram essa ideia de duas maneiras principais:

Simulações: Eles criaram um mundo fictício controlado por computador onde sabiam exatamente como a injustiça funcionava. Eles testaram o CFSMDM contra outros métodos. Os resultados mostraram que o CFSMDM era muito melhor em manter o robô justo, especialmente quando o mundo era bagunçado e não linear (onde os métodos antigos e rígidos falhavam). Ele conseguiu manter a "pontuação de injustiça" muito baixa enquanto ainda tomava boas decisões.
Dados do Mundo Real: Eles aplicaram seu método a um conjunto de dados reais de um estudo chamado PowerED, que envolvia ajudar pacientes a gerenciar o uso de medicação para dor opioide ao longo de 12 semanas. Eles observaram traços sensíveis como raça, gênero e escolaridade.
- O Resultado: Quando usaram o CFSMDM, as decisões do robô tornaram-se muito mais justas em quase todos esses grupos. Por exemplo, ele reduziu a injustiça relacionada à "escolaridade" e "etnia" de forma mais eficaz do que outros métodos.
- O Trade-off (Compensação): Houve um custo minúsculo. A "pontuação" geral do robô (o quão bem ele ajudou os pacientes em geral) foi ligeiramente inferior à de quando ele ignorava a justiça completamente. Isso é esperado: tornar um sistema justo muitas vezes exige abrir mão de um pouco de eficiência bruta para garantir que todos tenham uma chance justa.

O que eles argumentam contra:
O artigo argumenta explicitamente contra a ideia de que você pode simplesmente "somar" os efeitos dos traços de histórico para corrigir a injustiça (a suposição de "ruído aditivo" usada por métodos anteriores). Eles mostraram, através de matemática e simulações, que o mundo real é frequentemente mais complexo do que uma simples adição, e que métodos que assumem que é algo simples falharão em detectar toda a injustiça.

O quão seguros eles estão?
Os autores estão muito confiantes em sua prova matemática de que seu método funciona sob certas condições razoáveis. Eles provaram que o "gap de injustiça" e a "perda de desempenho" são limitados, o que significa que não podem ficar infinitamente ruins. Em suas simulações e testes do mundo real, o método desempenhou consistentemente bem, mostrando que, à medida que forneciam mais dados ao robô, a injustiça diminuía. No entanto, eles observam que, no estudo do mundo real, a melhoria não foi perfeita para todos os grupos (por exemplo, o "sexo" mostrou um pouco de injustiça remanescente), provavelmente porque os dados reais eram pequenos e a matemática é difícil de se obter exatamente igual todas as vezes.

Em resumo, este artigo oferece uma nova forma robusta e flexível de ensinar robôs a tomar decisões justas em cenários complexos do mundo real, garantindo que o "mapa de viagem no tempo" que eles usam para aprender não deixe ninguém para trás.

Resumo Técnico: Uma Abordagem de Mapeamento de Distribuição para Aprendizado por Reforço Contrafactualmente Justo

Definição do Problema

O Aprendizado por Reforço (RL) é cada vez mais utilizado para a tomada de decisões sequenciais em domínios de alto risco, como a saúde. No entanto, agentes de RL padrão podem inadvertidamente aprender políticas que desfavorecem sistematicamente subpopulações específicas definidas por atributos sensíveis (ex.: raça, gênero). Essa injustiça frequentemente surge não porque o atributo sensível é usado explicitamente como uma característica, mas porque as variáveis de estado e recompensa codificam informações implícitas correlacionadas a esses atributos.

Os critérios de justiça existentes, como a paridade demográfica, operam ao nível de grupo e baseiam-se em associações estatísticas em vez de mecanismos causais. A Justiça Contrafactual (CF), introduzida por Kusner et al. [19] e estendida para RL por Wang et al. [31], oferece um framework mais rigoroso. A CF exige que a distribuição de decisão de um indivíduo permaneça inalterada se seu atributo sensível fosse hipoteticamente trocado por um valor diferente, mantendo todas as variáveis exógenas históricas constantes.

Embora Wang et al. [31] tenham proposto um algoritmo de pré-processamento de dados para impor a CF em RL offline, seu método depende de uma estrita suposição de ruído aditivo (ou seja, o estado e a recompensa são funções lineares do atributo sensível mais um ruído independente). Esta suposição é frequentemente restritiva em cenários do mundo real onde a relação entre variáveis é não linear ou não aditiva.

Metodologia: Mapeamento de Distribuição Marginal Sequencial Contrafactualmente Justo (CFSMDM)

Este artigo propõe o CFSMDM, um novo algoritmo de pré-processamento de dados que permite o aprendizado de políticas contrafactualmente justas sem exigir a suposição de ruído aditivo. O método opera em duas etapas:

1. Fundamentação Teórica

A abordagem baseia-se em Modelos Causais Estruturais (SCMs) e no conceito de contrafactuais. Os autores introduzem a Suposição 1 (monotonicidade estrita do estado na variável de ruído) e a Suposição 2 (monotonicidade estrita da recompensa na variável de ruído). Estas suposições são estritamente mais fracas do que a suposição de ruído aditivo usada no trabalho anterior [31].

Sob estas suposições, os autores provam (Teoremas 1 e 2) que o nível de quantil de um estado observado (ou recompensa) em relação à sua distribuição condicional permanece invariante entre diferentes valores do atributo sensível, desde que as variáveis exógenas históricas sejam mantidas constantes. Isso permite a recuperação de estados e recompensas contrafactuais via correspondência de quantis (quantile matching).

2. O Algoritmo

O CFSMDM segue um procedimento de duas etapas:

Pré-processamento de Dados (SMDM):
- O algoritmo estima funções de quantis condicionais para estados e recompensas dados o atributo sensível e o contexto histórico.
- Para cada trajetória observada, ele calcula o nível de quantil ( $\tau$ ) do estado/recompensa observado sob o atributo sensível real.
- Em seguida, mapeia este nível de quantil para as distribuições condicionais sob valores de atributos sensíveis contrafactuais para estimar os estados e recompensas contrafactuais.
- Estas estimativas são agregadas para construir estados aumentados ( $\tilde{S}_t$ ) e recompensas aumentadas ( $\tilde{R}_t$ ), que são invariantes ao atributo sensível observado.
Aprendizado de Política:
- Algoritmos padrão de RL offline (ex.: Iteração Q Ajustada ou Fitted Q Iteration) são aplicados ao conjunto de dados pré-processado contendo os estados e recompensas aumentados.
- Como os dados aumentados não contêm informações sobre o atributo sensível (exceto erros residuais de estimativa), a política resultante é teoricamente contrafactualmente justa.

Principais Contribuições

Algoritmo Generalizado: O artigo introduz o CFSMDM, que estende o escopo do RL contrafactualmente justo para uma classe estritamente maior de Processos de Decisão de Markov Contextuais (CMDPs) ao relaxar a suposição de ruído aditivo para uma suposição de monotonicidade estrita.
Garantias Teóricas: Os autores derivam limites tanto para o gap de subotimalidade (a diferença entre a política aprendida e a política ótima) quanto para o nível de injustiça contrafactual. Estes limites demonstram que a injustiça e a subotimalidade são controladas pelos erros de estimativa das funções de quantis condicionais e pelo número de etapas de Iteração Q Ajustada (FQI).
Validação Empírica: O método é avaliado através de experimentos numéricos em dados sintéticos com ruído não aditivo e aplicado a um conjunto de dados do estudo PowerED (uma intervenção para reduzir o uso indevido de opioides).

Resultados

Experimentos Numéricos

Simulações foram conduzidas em CMDPs com ruído não aditivo, comparando o CFSMDM com várias linhas de base (baselines):

Full: Usa atributos sensíveis (injusto).
Unaware: Exclui atributos sensíveis (frequentemente insuficiente para justiça).
Random: Linha de base para justiça (perfeitamente justo, mas com baixa utilidade).
FLAP_M, ECOCF_M: Adaptações de métodos de justiça de estágio único.
CFSDP: O método estado da arte anterior [31] que requer ruído aditivo.

Descobertas:

Justiça (Fairness): O CFSMDM alcançou métricas de injustiça contrafactual significativamente menores do que os métodos "Full", "Unaware", "FLAP_M" e "ECOCF_M". Desempenhou-se de forma comparável ou superior ao CFSDP, particularmente em configurações de ruído não aditivo, onde o desempenho do CFSDP degradou devido a violações de suposições.
Utilidade: Como esperado, a imposição de justiça resultou em um trade-off; o CFSMDM obteve valores de política menores do que os métodos "Full" e "Unaware". No entanto, manteve uma utilidade competitiva em comparação com outros métodos justos.
Robustez: O CFSMDM permaneceu robusto conforme o impacto do atributo sensível no ambiente aumentava.

Aplicação no Mundo Real (Estudo PowerED)

O algoritmo foi aplicado a um conjunto de dados de 207 pacientes em um estudo de intervenção de opioides de 12 semanas.

Métricas: O CFSMDM alcançou a melhor justiça contrafactual na maioria dos atributos sensíveis (Escolaridade, Etnia, Idade) em comparação com as linhas de base.
Nuance: Para o atributo "Sexo", o CFSMDM foi ligeiramente menos justo que o CFSDP e o "Unaware". Os autores atribuem isso ao fato de que excluir o atributo sensível da tomada de decisão já removeu a maior parte da injustiça neste caso específico, o que significa que os erros de estimativa de amostra finita introduzidos pelo CFSMDM superaram ligeiramente os ganhos marginais de justiça.

Significância e Alegações

O artigo alega que o CFSMDM fornece uma ferramenta mais geral e robusta para garantir a justiça contrafactual em RL em comparação com métodos existentes como o CFSDP. Ao basear-se em correspondência de quantis em vez de ruído aditivo, ele aborda uma classe mais ampla de ambientes do mundo real onde as relações causais são complexas e não lineares.

Os autores enfatizam que, embora seu método introduza um trade-off entre justiça e utilidade, ele oferece uma maneira fundamentada de mitigar a discriminação sistemática na tomada de decisão sequencial. Eles reconhecem que o desempenho do CFSMDM depende da precisão da estimativa do quantil condicional; se os modelos de quantis forem mal especificados, as garantias de justiça podem ser comprometidas. O trabalho posiciona-se como um passo em direção ao implantação de agentes de RL em domínios sensíveis onde a justiça causal é um pré-requisito para o uso ético.