Sintesi Tecnica: Un approccio di mappatura della distribuzione per l'apprendimento per rinforzo controfattualmente equo

Definizione del Probleamento

L'apprendimento per rinforzo (RL) viene utilizzato sempre più spesso per il processo decisionale sequenziale in domini ad alto rischio come l'assistenza sanitaria. Tuttavia, gli agenti RL standard possono involontariamente apprendere politiche che svantaggiano sistematicamente specifiche sottopopolazioni definite da attributi sensibili (ad esempio, razza, genere). Questa iniquità spesso sorge non perché l'attributo sensibile sia utilizzato esplicitamente come caratteristica, ma perché le variabili di stato e di ricompensa codificano informazioni implicite correlate a tali attributi.

I criteri di equità esistenti, come la parità demografica, operano a livello di gruppo e si basano su associazioni statistiche piuttosto che su meccanismi causali. L'Equità Controfattuale (CF), introdotta da Kusner et al. [19] ed estesa all'RL da Wang et al. [31], offre un framework più rigoroso. La CF richiede che la distribuzione decisionale di un individuo rimanga invariata se il suo attributo sensibile fosse ipoteticamente cambiato in un valore diverso, mantenendo costanti tutte le variabili esogene storiche.

Sebbene Wang et al. [31] abbiano proposto un algoritmo di pre-elaborazione dei dati per imporre la CF nell'RL offline, il loro metodo si basa su un rigoroso assunto di rumore additivo (ovvero, lo stato e la ricompensa sono funzioni lineari dell'attributo sensibile più un rumore indipendente). Questo assunto è spesso restrittivo in scenari reali in cui la relazione tra le variabili è non lineare o non additiva.

Metodologia: Mappatura della Distribuzione Marginale Sequenziale Controfattualmente Equa (CFSMDM)

Questo articolo propone CFSMDM, un nuovo algoritmo di pre-elaborazione dei dati che consente l'apprendimento di una politica controfattualmente equa senza richiedere l'assunto del rumore additivo. Il metodo opera in due fasi:

1. Fondamento Teorico

L'approccio si basa sui Modelli Causali Strutturali (SCM) e sul concetto di controfatti. Gli autori introducono l'Assunto 1 (monotonicità stretta dello stato rispetto alla variabile di rumore) e l'Assunto 2 (monotonicità stretta della ricompensa rispetto alla variabile di rumore). Questi assunti sono strettamente più deboli dell'assunto del rumore additivo utilizzato nel lavoro precedente [31].

Sotto questi assunti, gli autori dimostrano (Teoremi 1 e 2) che il livello quantile di uno stato osservato (o di una ricompensa) rispetto alla sua distribuzione condizionale rimane invariato tra diversi valori dell'attributo sensibile, a condizione che le variabili esogene storiche siano mantenute costanti. Ciò consente il recupero di stati e ricompense controfattuali tramite il matching dei quantili.

2. L'Algoritmo

CFSMDM segue una procedura in due fasi:

1. Pre-elaborazione dei Dati (SMDM):
   • L'algoritmo stima le funzioni quantili condizionali per gli stati e le ricompense dati l'attributo sensibile e il contesto storico.
   • Per ogni traiettoria osservata, calcola il livello quantile ($\tau$) dello stato/ricompensa osservato sotto l'attuale attributo sensibile.
   • Successivamente, mappa questo livello quantile sulle distribuzioni condizionali sotto valori di attributo sensibile controfattuali per stimare gli stati e le ricompense controfattuali.
   • Queste stime vengono aggregate per costruire stati aumentati ($\tilde{S}_t$) e ricompense aumentate ($\tilde{R}_t$), che sono invarianti rispetto all'attributo sensibile osservato.
2. Apprendimento della Politica:
   • Algoritmi standard di RL offline (ad esempio, Fitted Q Iteration) vengono applicati al dataset pre-elaborato contenente gli stati e le ricompense aumentati.
   • Poiché i dati aumentati non contengono informazioni sull'attributo sensibile (eccetto errori di stima residui), la politica risultante è teoricamente controfattualmente equa.

Contributi Chiave

1. Algoritmo Generalizzato: L'articolo introduce CFSMDM, che estende l'ambito dell'RL controfattualmente equo a una classe strettamente più ampia di processi decisionali di Markov contestuali (CMDP) rilassando l'assunto del rumore additivo all'assunto della monotonicità stretta.
2. Garanzie Teoriche: Gli autori derivano i limiti sia per il gap di subottimalità (la differenza tra la politica appresa e la politica ottimale) sia per il livello di iniquità controfattuale. Questi limiti dimostrano che l'iniquità e la subottimalità sono controllate dagli errori di stima delle funzioni quantili condizionali e dal numero di passi di Fitted Q Iteration (FQI).
3. Validazione Empirica: Il metodo è valutato attraverso esperimenti numerici su dati sintetici con rumore non additivo e applicato a un dataset del mondo reale proveniente dallo studio PowerED (un intervento per ridurre l'uso improprio di oppioidi).

Risultati

Esperimenti Numerici

Sono state condotte simulazioni su CMDP con rumore non additivo, confrontando CFSMDM con diverse baseline:

• Full: Utilizza gli attributi sensibili (iniquo).
• Unaware: Esclude gli attributi sensibili (spesso insufficiente per l'equità).
• Random: Baseline per l'equità (perfettamente equa ma con bassa utilità).
• FLAP_M, ECOCF_M: Adattamenti di metodi di equità a stadio singolo.
• CFSDP: Il precedente stato dell'arte che richiede il rumore additivo [31].

Risultati:

• Equità: CFSMDM ha raggiunto metriche di iniquità controfattuale significativamente inferiori rispetto a "Full", "Unaware", "FLAP_M" ed "ECOCF_M". Ha performato comparabilmente o meglio di CFSDP, in particolare nei setting con rumore non additivo dove le prestazioni di CFSDP degradavano a causa della violazione degli assunti.
• Utilità: Come previsto, l'imposizione dell'equità ha comportato un compromesso, con CFSMDM che ottiene valori di policy inferiori rispetto ai metodi "Full" e "Unaware". Tuttavia, mantiene un'utilità competitiva rispetto ad altri metodi equi.
• Robustezza: CFSMDM è rimasto robusto all'aumentare della forza dell'impatto dell'attributo sensibile sull'ambiente.

Applicazione al Mondo Reale (Studio PowerED)

L'algoritmo è stato applicato a un dataset di 207 pazienti in uno studio di intervento sugli oppioidi della durata di 12 settimane.

• Metriche: CFSMDM ha ottenuto la migliore equità controfattuale nella maggior parte degli attributi sensibili (Istruzione, Etnia, Età) rispetto alle baseline.
• Sfumature: Per l'attributo "Sesso", CFSMDM è stato leggermente meno equo di CFSDP e "Unaware". Gli autori attribuiscono ciò al fatto che l'esclusione dell'attributo sensibile dal processo decisionale ha già rimosso la maggior parte dell'iniquità in questo caso specifico, il che significa che gli errori di stima a campione finito introdotti da CFSMDM hanno leggermente superato i guadagni marginali di equità.

Significato e Rivendicazioni

L'articolo sostiene che CFSMDM fornisca uno strumento più generale e robusto per garantire l'equità controfattuale nell'RL rispetto ai metodi esistenti come CFSDP. Basandosi sul matching dei quantili piuttosto che sul rumore additivo, affronta una classe più ampia di ambienti reali in cui le relazioni causali sono complesse e non lineari.

Gli autori sottolineano che, sebbene il loro metodo introduca un compromesso tra equità e utilità, offre un modo fondato per mitigare la discriminazione sistematica nel processo decisionale sequenziale. Riconoscono che le prestazioni di CFSMDM dipendono dall'accuratezza della stima del quantile condizionale; se i modelli dei quantili sono errati, le garanzie di equità potrebbero essere compromesse. Il lavoro si posiziona come un passo verso l'implementazione di agenti RL in domini sensibili dove l'equità causale è un prerequisito per l'impiego etico.