Resumen Técnico: Un enfoque de mapeo de distribución para el aprendizaje por refuerzo contrafactualmente justo

Planteamiento del problema

El aprendizaje por refuerzo (RL) se utiliza cada vez más en la toma de decisiones secuenciales en dominios de alto riesgo, como la atención médica. Sin embargo, los agentes de RL estándar pueden aprender inadvertidamente políticas que desfavorecen sistemáticamente a subpoblaciones específicas definidas por atributos sensibles (por ejemplo, raza, género). Esta injusticia surge a menudo no porque se utilice explícitamente el atributo sensible como característica, sino porque las variables de estado y recompensa codifican información implícita correlacionada con estos atributos.

Los criterios de justicia existentes, como la paridad demográfica, operan a nivel de grupo y dependen de asociaciones estadísticas en lugar de mecanismos causales. La Justicia Contrafactual (CF), introducida por Kusner et al. [19] y extendida al RL por Wang et al. [31], ofrece un marco más riguroso. La CF requiere que la distribución de decisión de un individuo permanezca inalterada si su atributo sensible fuera hipotéticamente cambiado a un valor diferente, manteniendo constantes todas las variables exógenas históricas.

Si bien Wang et al. [31] propusieron un algoritmo de preprocesamiento de datos para imponer la CF en el RL offline, su método depende de un estricto supuesto de ruido aditivo (es decir, que el estado y la recompensa son funciones lineales del atributo sensible más un ruido independiente). Este supuesto suele ser restrictivo en escenarios del mundo real donde la relación entre las variables es no lineal o no aditiva.

Metodología: Mapeo de Distribución Marginal Secuencial Contrafactualmente Justo (CFSMDM)

Este artículo propone CFSMDM, un nuevo algoritmo de preprocesamiento de datos que permite el aprendizaje de políticas contrafactualmente justas sin requerir el supuesto de ruido aditivo. El método opera en dos etapas:

1. Fundamento Teórico

El enfoque se basa en Modelos Causales Estructurales (SCM) y el concepto de contrafactuales. Los autores introducen el Supuesto 1 (monotonicidad estricta del estado respecto a la variable de ruido) y el Supunto 2 (monotonicidad estricta de la recompensa respecto a la variable de ruido). Estos supuestos son estrictamente más débiles que el supuesto de ruido aditivo utilizado en trabajos previos [31].

Bajo estos supuestos, los autores demuestran (Teoremas 1 y 2) que el nivel de cuantil de un estado observado (o recompensa) con respecto a su distribución condicional permanece invariable a través de diferentes valores del atributo sensible, siempre que se mantengan constantes las variables exógenas históricas. Esto permite la recuperación de estados y recompensas contrafactuales mediante el ajuste de cuantiles.

2. El Algoritmo

CFSMDM sigue un procedimiento de dos etapas:

1. Preprocesamiento de Datos (SMDM):
   • El algoritmo estima las funciones de cuantiles condicionales para los estados y las recompensas dados el atributo sensible y el contexto histórico.
   • Para cada trayectoria observada, calcula el nivel de cuantile ($\tau$) del estado/recompensa observado bajo el atributo sensible real.
   • Luego, mapea este nivel de cuantile a las distribuciones condicionales bajo valores de atributo sensible contrafactuales para estimar los estados y recompensas contrafactuales.
   • Estas estimaciones se agregan para construir estados aumentados ($\tilde{S}_t$) y recompensas aumentadas ($\tilde{R}_t$), que son invariantes al atributo sensible observado.
2. Aprendizaje de la Política:
   • Se aplican algoritmos estándar de RL offline (por ejemplo, Iteración Q Ajustada o FQI) al conjunto de datos preprocesado que contiene los estados y recompensas aumentados.
   • Dado que los datos aumentados no contienen información sobre el atributo sensible (excepto por errores de estimación residuales), la política resultante es teóricamente contrafactualmente justa.

Contribuciones Clave

1. Algoritmo Generalizado: El artículo introduce CFSMDM, que extiende el alcance del aprendizaje por refuerzo contrafactualmente justo a una clase estrictamente mayor de Procesos de Decisión de Markov Contextuales (CMDP) al relajar el supuesto de ruido aditivo hacia un supuesto de monotonicidad estricta.
2. Garantías Teóricas: Los autores derivan límites tanto para la brecha de suboptimidad (la diferencia entre la política aprendida y la política óptima) como para el nivel de injusticia contrafactual. Estos límites demuestran que la injusticia y la suboptimidad están controladas por los errores de estimación de las funciones de cuantiles condicionales y el número de pasos de la Iteración Q Ajustada (FQI).
3. Validación Empírica: El método se evalúa mediante experimentos numéricos con datos sintéticos con ruido no aditivo y aplicado a un conjunto de datos del estudio PowerED (una intervención para reducir el uso indebido de opioides).

Resultados

Experimentos Numéricos

Se realizaron simulaciones en CMDPs con ruido no aditivo, comparando CFSMDM contra varias líneas de base:

• Full (Completo): Utiliza atributos sensibles (injusto).
• Unaware (Ignorante): Excluye atributos sensibles (a menudo insuficiente para la justicia).
• Random (Aleatorio): Línea de base para la justicia (perfectamente justo pero con baja utilidad).
• FLAP_M, ECOCF_M: Adaptaciones de métodos de justicia de una sola etapa.
• CFSDP: El método de vanguardia previo [31] que requiere ruido aditivo.

Hallazgos:

• Justicia: CFSMDM logró métricas de injusticia contrafactual significativamente más bajas que "Full", "Unaware", "FLAP_M" y "ECOCF_M". Se desempeñó de manera comparable o mejor que CFSDP, particularmente en entornos de ruido no aditivo donde el rendimiento de CFSDP se degradó debido a la violación de sus supuestos.
• Utilidad: Como era de esperar, la imposición de la justicia resultó en un compromiso (trade-off); CFSMDM logró valores de política menores que los métodos "Full" y "Unaware". Sin embargo, mantuvo una utilidad competitiva en comparación con otros métodos justos.
• Robustez: CFSMDM se mantuvo robusto a medida que aumentaba la fuerza del impacto del atributo sensible en el entorno.

Aplicación en el Mundo Real (Estudio PowerED)

El algoritmo se aplicó a un conjunto de datos de 207 pacientes en un estudio de intervención de opioides de 12 semanas.

• Métricas: CFSMDM logró la mejor justicia contrafactual en la mayoría de los atributos sensibles (Educación, Etnia, Edad) en comparación con las líneas de base.
• Matiz: Para el atributo "Sexo", CFSMDM fue ligeramente menos justo que CFSDP y "Unaware". Los autores atribuyen esto al hecho de que excluir el atributo sensible de la toma de decisiones ya eliminaba la mayor parte de la injusticia en este caso específico, lo que significa que los errores de estimación de muestra finita introducidos por CFSMDM pesaron ligeramente más que las ganancias marginales de justicia.

Significado y Reivindicaciones

El artículo afirma que CFSMDM proporciona una herramienta más general y robusta para asegurar la justicia contrafactual en RL en comparación con métodos existentes como CFSDP. Al depender del ajuste de cuantiles en lugar del ruido aditivo, aborda una clase más amplia de entornos del mundo real donde las relaciones causales son complejas y no lineales.

Los autores enfatizan que, si bien su método introduce un compromiso entre justicia y utilidad, ofrece una forma fundamentada de mitigar la discriminación sistemática en la toma de decisiones secuenciales. Reconocen que el rendimiento de CFSMDM depende de la precisión de la estimación del cuantil condicional; si los modelos de cuantiles están mal especificados, las garantías de justicia pueden verse comprometidas. Este trabajo se posiciona como un paso hacia el despliegue de agentes de RL en dominios sensibles donde la justicia causal es un requisito previo para un despliegue ético.