📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

Questo articolo introduce LURE, il primo metodo per l'apprendimento per rinforzo offline con azioni nascoste, che sfrutta le variabili dello stato successivo come proxy per consentire una stima del valore della politica multiplamente robusta e statisticamente valida in processi decisionali di Markov a orizzonte infinito.

Autori originali: Zeyu Bian, Ying Zhou, Yifan Cui

Pubblicato 2026-07-29

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zeyu Bian, Ying Zhou, Yifan Cui

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come giocare a un gioco complesso, come navigare in una città o gestire la salute di un paziente. Non fai eseguire al robot il gioco in tempo reale; invece, gli fornisci un enorme registro di tentativi passati fatti da un giocatore umano. Questo è il mondo dell'Apprendimento per Rinforzo (Reinforcement Learning - RL), un ramo dell'intelligenza artificiale in cui i computer imparano attraverso tentativi ed errori per prendere le migliori decisioni possibili nel tempo. L'obiettivo è solitamente capire: "Se seguissimo un determinato insieme di regole (una policy) in futuro, quanto andremmo bene, basandoci su questo vecchio registro?"

Tuttavia, c'è un problema. Nel mondo reale, i registri sono raramente perfetti. A volte, la persona che ha scritto le note ha commesso un errore, o il sistema che ha registrato i dati era difettoso. Nel linguaggio di questo articolo, l'"azione" che l'umano ha effettivamente compiuto (come somministrare un farmaco specifico) potrebbe essere nascosta, e tutto ciò che vediamo è una "proxy" o una stima rumorosa di ciò che è accaduto (come una nota medica che dice "farmaco somministrato" quando in realtà non è stato fatto, o viceversa). Se provi a insegnare al tuo robot usando un registro pieno di questi errori, imparerà lezioni sbagliate, portando a decisioni errate in seguito. Questo articolo affronta il complicato problema di come apprendere efficacemente quando la parte più importante della storia — la vera azione — è mancante o mascherata.

Il mistero dell'azione mancante

Nell'articolo intitolato "Learning from the Unseen" (Imparare dall'invisibile), gli autori, Zeyu Bian, Ying Zhou e Yifan Cui, affrontano un caso da detective in cui l'indizio principale è mancante. Immagina di essere un detective che cerca di risolvere un crimine guardando un video di sorveglianza. Ma ecco il colpo di scena: il video mostra l'ombra del sospetto, non il sospetto stesso. Puoi vedere l'ombra muoversi, ma non sai esattamente cosa stessero facendo le mani del sospetto. Nel mondo della scienza dei dati, questo viene chiamato avere "azioni nascoste".

Di solito, quando gli scienziati cercano di valutare una strategia utilizzando dati passati (un processo chiamato Valutazione Off-Policy), assumono che il registro sia perfetto. Assumono che se il registro dice "L'Azione A è stata intrapresa", allora l'Azione A è stata sicuramente intrapresa. Ma negli scenari disordinati del mondo reale — come le cartelle cliniche dove un medico potrebbe annotare un trattamento ore dopo, o un sistema che accidentalmente sbaglia l'etichetta di una pressione di un tasto — questa assunzione è una trappola. Se ignori gli errori, la tua valutazione della strategia sarà influenzata, come giudicare le capacità culinarie di uno chef basandosi su un menù che elenca gli ingredienti sbagliati.

La magia del passo successivo

La grande intuizione degli autori è realizzare che, anche se non puoi vedere direttamente l' "azione", spesso puoi vederne l'ombra nel momento successivo.

Pensa a questo: se un mago agita una bacchetta (l'azione nascosta), potresti non vedere chiaramente la bacchetta a causa di una macchia sulla telecamera. Ma puoi vedere il coniglio apparire nel cappello (lo stato successivo). Il coniglio non è apparso dal nulla; è apparso perché la bacchetta è stata agitata. Studiando la relazione tra lo "stato successivo" (il coniglio) e la "nota rumorosa" (il video macchiato), gli autori hanno capito come ricostruire matematicamente ciò che il mago ha effettivamente fatto.

Chiamano il loro nuovo metodo LURE (Learning from the Unseen: Robust Estimator). È come un detective super intelligente che non si limita a guardare la foto sfocata del sospetto, ma guarda anche le impronte lasciate e il rapporto meteorologico per dedurre esattamente cosa è successo.

Come funziona LURE: Il sistema di "doppio controllo" e il kit di attrezzi del detective

L'articolo introduce un modo ingegnoso per stimare il valore di una strategia senza farsi ingannare dagli errori. Utilizzano un concetto chiamato Robustezza Multipla.

Immagina di cercare di indovinare la temperatura esterna, ma il tuo termometro è rotto. Hai altri tre indizi: un cane bagnato, un albero che oscilla e una formazione nuvolosa.

Se il tuo termometro è rotto, puoi comunque indovinare correttamente se il tuo indizio del "cane bagnato" è accurato.
Se il cane è asciutto ma l'albero oscilla, puoi comunque indovinare correttamente.
Il sistema è "robusto" perché non ha bisogno che ogni indizio sia perfetto; ne ha solo bisogno che alcuna combinazione di essi sia corretta.

LURE funziona allo stesso modo. Costruisce un modello matematico che controlla diverse parti dei dati. Anche se il modello per l' "azione rumorosa" è leggermente errato, o il modello per lo "stato successivo" è leggermente impreciso, lo stimatore può comunque trovare il vero valore della strategia, purché almeno una delle altre parti sia corretta. Questo rende la risposta finale molto più affidabile rispetto ai metodi precedenti, che crollerebbero se anche solo una parte dei dati fosse disordinata.

Ma c'è una complessità nascosta nel modo in cui LURE risolve questo enigma. Poiché le azioni vere non vengono mai viste, il computer deve indovinare le probabilità di ciò che è realmente accaduto. Per farlo, gli autori hanno sviluppato un particolare algoritmo iterativo (basato su un metodo chiamato Expectation-Maximization, o EM). Pensa a questo come a un detective che continua a perfezionare la sua teoria:

L'ipotesi (E-step): Il computer parte con un'ipotesi su quali fossero le azioni nascoste.
L'aggiornamento (M-step): Usando quell'ipotesi, aggiorna i suoi modelli su come le azioni portano ai premi e agli stati successivi.
Il perfezionamento: Utilizza poi questi modelli aggiornati per fare un'ipotesi migliore sulle azioni nascoste, e ripete il ciclo finché la storia non ha perfettamente senso.

Tutt'altroché, c'è un ultimo colpo di scena. Poiché il computer sta tirando a indovinare, potrebbe accidentalmente scambiare le etichette. Potrebbe decidere che l' "Azione 0" è in realtà il "Farmaco" e l' "Azione 1" è "Nessun Farmaco", quando in realtà è l'esatto opposto. La matematica funziona in entrambi i modi, ma il significato è invertito. Per risolvere questo, gli autori includono un passaggio cruciale di allineamento delle etichette. Prima di dare la risposta finale, il sistema controlla quale "ipotesi" ha più senso con i dati rumorosi (ad esempio, quale azione nascosta è più probabile che risulti nella nota "Farmaco"). Successivamente, inverte le etichette se necessario per garantire che il rapporto finale corrisponda alla realtà.

Testare la teoria

Gli autori non si sono limitati a scrivere una teoria; l'hanno messa alla prova in tre modi diversi:

Simulazioni semplici: Hanno creato un piccolo mondo immaginario (un "Tabular MDP") con solo tre stati e due azioni. Hanno intenzionalmente sballato i dati etichettando erroneamente le azioni dal 5% al 30% delle volte. Mentre altri metodi si sono confusi fornendo risposte errate, LURE è rimasto in target, indovinando correttamente il valore della strategia.
Simulazioni complesse: Si sono spostati in un mondo continuo più complesso (come un robot che si muove in uno spazio fluido) e hanno trovato lo stesso risultato: LURE ha gestito gli errori con grazia, mentre gli altri sono falliti.
Dati del mondo reale: Hanno testato LURE su un enorme database di reali cartelle cliniche di pazienti provenienti da un ospedale (MIMIC-III), concentrandosi specificamente su come trattare la sepsi (una reazione potenzialmente letale all'infezione). In questo scenario reale, hanno confrontato LURE con i metodi standard. I risultati sono stati sorprendenti: i metodi standard suggerivano che un trattamento fosse migliore di un altro, ma LURE, tenendo conto degli errori nascosti nelle cartelle cliniche, suggeriva una classificazione diversa e più affidabile. Infatti, gli intervalli di confidenza (l'intervallo di risposte probabili) dei metodi standard si sovrapponevano così tanto da non riuscire a distinguere la differenza, mentre LURE forniva una risposta chiara e distinta.

La conclusione

L'articolo conclude che ignorare le azioni nascoste è una scommessa pericolosa. Usando lo "stato successivo" come un indizio naturale per scoprire la verità, e costruendo un sistema che è robusto agli errori in diverse parti del modello, possiamo finalmente valutare le strategie con precisione anche quando i nostri dati sono imperfetti.

Questa non è solo una vittoria teorica; è uno strumento pratico per il futuro. Che si tratti di decidere i trattamenti medici, gestire i semafori o addestrare agenti IA, LURE offre un modo per imparare dal passato senza essere tratti in inganno dal rumore. Gli autori dimostrano che con il giusto lavoro investigativo matematico, possiamo vedere l'invisibile e prendere decisioni migliori per il domani.

Sintesi Tecnica: Imparare dall'Invisibile: Reinforcement Learning Offline con Azioni Nascoste

1. Formulazione del Problema

Gli algoritmi standard di Reinforcement Learning (RL) offline e di Off-Policy Evaluation (OPE) tipicamente assumono che le azioni registrate nel dataset siano osservate senza errori. Tuttavia, in molte applicazioni del mondo reale — in particolare nell'ambito sanitario utilizzando le Cartelle Cliniche Elettroniche (EHR) — le vere azioni ( $A_t$ ) sono non osservate (latenti). Invece, sono disponibili solo proxy rumorosi o surrogati ( $\tilde{A}_t$ ) a causa di errori di annotazione, ritardi nella documentazione, sistemi di gestione imperfetti o l'uso di dati semplificati per la preservazione della privacy.

Il documento affronta il problema di valutare una policy target $\pi$ in un processo decisionale di Markov (MDP) a orizzonte infinito scontato, dove lo spazio delle azioni è parzialmente o totalmente latente. L'obiettivo è stimare il valore della policy $V(\pi)$ utilizzando dati storici generati da una policy di comportamento $b$ , dove i dati osservati consistono in traiettorie $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ piuttosto che $\{(S_t, A_t, R_t, S_{t+1})\}$ . Sostituire ingenuamente il surrogato osservato $\tilde{A}_t$ per la vera azione $A_t$ nei metodi OPE esistenti porta a stime distorte perché la funzione Q e i rapporti di densità sono definiti rispetto alla vera azione latente.

2. Metodologia

2.1 Strategia di Identificazione

Gli autori stabiliscono che il valore della policy $V(\pi)$ è identificabile dalla distribuzione dei dati osservati sotto specifiche assunzioni. L'intuizione centrale è sfruttare lo stato successivo ( $S'$ ) come un naturale proxy per l'azione non osservata. Poiché le dinamiche di transizione dipendono dalla vera azione, $S'$ contiene informazioni sull'azione nascosta che possono essere sfruttate per l'identificazione.

L'identificazione si basa su quattro assunzioni chiave (Assunzione 3.1):

Copertura (Coverage): Il supporto della policy target è contenuto nel supporto della policy di comportamento.
Rilevanza (Relevance): La ricompensa $R$ , il surrogato $\tilde{A}$ e lo stato successivo $S'$ non sono condizionalmente indipendenti dalla vera azione $A dato lo stato $S$ .
Indipendenza Condizionale: Dato la vera azione $A$ e lo stato $S$ , il surrogato $\tilde{A}$ , la ricompensa $R$ e lo stato successivo $S'$ sono mutuamente indipendenti.
Qualità del Surrogato: Il surrogato fornisce più informazioni di un tentativo casuale (ad esempio, per azioni binarie, la probabilità di osservare $\tilde{A}=0$ è inferiore quando $A=1$ rispetto a quando $A=0$ ).

Sotto queste condizioni, gli autori dimostrano (Teorema 1) che $V(\pi)$ è unicamente identificato.

2.1 L'Estimatore LURE

Per stimare il valore, il documento propone LURE (Learning from the Unseen: Robust Estimator). L'estimatore è costruito sulla base di una funzione di influenza sui dati osservati derivata dalla funzione di influenza efficiente dei dati completi.

La funzione di influenza $\phi_\pi(O)$ è definita come:
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
dove:

$\omega(S, a)$ è il rapporto di densità marginale tra le policy target e di comportamento.
$\theta_R(S, a)$ è la funzione di ricompensa.
$M V^\pi(S, a)$ è il valore futuro atteso.
$g_a$ e $g'_a$ sono funzioni costruttive che agiscono come stimatori "ponte" per sostituire la funzione indicatrice $\mathbb{I}(A=a)$ utilizzando il surrogato osservato $\tilde{A}$ e il proxy dello stato successivo $S'$ . Nello specifico, sono rapporti che coinvolgono le aspettative condizionali di $\tilde{A}$ e $S'$ dati $S$ e $A$ .

2.3 Procedura di Stima (Algoritmo EM)

Poiché la vera azione $A$ è latente, non può essere applicata direttamente la normale apprendimento supervisionato per stimare le funzioni di disturbo ( $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ). Gli autori propongono un nuovo algoritmo iterativo di tipo Expectation-Maximization (EM) (Algoritmo 2):

Inizializzazione: Inizializzare la probabilità a posteriori $\eta(O; a) = P(A=a | O)$ .
M-Step (Apprendimento Supervisionato Pesato): Trattare la posterior $\eta$ come pesi noti. Aggiornare le funzioni di disturbo (policy di comportamento, modello di misurazione, modelli di ricompensa/transizione e rapporto di densità) utilizzando la regressione pesata o l'ottimizzazione minimax pesata (per il rapporto di densità $\omega$ ).
E-Step (Aggiornamento della Posterior): Aggiornare la probabilità a posteriori $\eta(O; a)$ utilizzando la regola di Bayes e le stime aggiornate delle funzioni di disturbo.
Iterazione: Ripetere fino alla convergenza.

Inoltre, il documento affronta l'allineamento delle etichette (label alignment), poiché l'algoritmo EM può scambiare arbitrariamente le etichette delle classi latenti (ad esempio, mappare il vero $A=0$ alla componente 1). Una fase di allineamento delle etichette viene eseguita post-stima basata sulla probabilità condizionale del surrogato per garantire una interpretazione coerente.

2.4 Cross-Fitting

Per mitigare il bias di overfitting e controllare i residui del processo empirico, gli autori impiegano una procedura di $K$ -fold cross-fitting. Le funzioni di disturbo vengono stimate sui fold di addestramento e valutate sui fold tenuti in riserva (held-out).

3. Contributi Teorici Chiave

Robustezza Multipla: L'estimatore LURE è multiplamente robusto. Come mostrato nel Corollario 1, l'estimatore rimane consistente ( $\hat{V}(\pi) - V(\pi) = o_p(1)$ ) se almeno una di diverse combinazioni specifiche di componenti di disturbo è correttamente specificata. Ad esempio, la consistenza è mantenuta se la funzione ponte della ricompensa $\theta_R$ è consistente insieme a uno tra la regressione dell'azione latente $\theta_{\tilde{A}}$ o la regressione dello stato successivo $\theta_{S'}$ , a condizione che l'errore del valore di continuazione sia trascurabile.
Normalità Asintotica: Sotto condizioni di regolarità e tassi di convergenza degli stimatori di disturbo (richiedendo specificamente che il prodotto degli errori decada più velocemente di $n^{-1/2}$ ), l'estimatore è asintoticamente normale (Teorema 4). Ciò consente la costruzione di intervalli di confidenza di tipo Wald validi.
Limiti di Errore: Il documento fornisce limiti di errore per campioni finiti (Teorema 3) che decompongono l'errore di stima in una media della funzione di influenza, un residuo di selezione dell'etichetta e un secondo residuo che coinvolge i prodotti degli errori di stima delle funzioni di disturbo.

4. Risultati Sperimentali

Gli autori valutano LURE attraverso simulazioni e un'applicazione nel mondo reale:

MDP Tabulari e Generali: In ambienti sintetici con vari livelli di tasso di misclassificazione ( $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ), i metodi OPE standard (SIS, FQE, LSTD, MIS, DRL) che ignorano la struttura latente mostrano un bias significativo che peggiora con l'aumentare della misclassificazione. LURE rimane centrato attorno al vero valore della policy.
OpenAI Gym (CartPole): In un ambiente a stato continuo, LURE supera i baseline, mantenendo tassi di copertura accurati per gli intervalli di confidenza (vicini al livello nominale del 95%), mentre i baseline mostrano bias sostanziali o coperture instabili.
Analisi della Sepsi su MIMIC-III: Il metodo viene applicato a un dataset sulla gestione della sepsi. Lo studio valuta tre policy: "Sempre IV", "Nessuna IV" e una regola "personalizzata sul SOFA".
- LURE stima che la policy "Sempre IV" abbia il punteggio SOFA atteso più basso (62.10), suggerendo che sia la policy ottimale.
- L'intervallo di confidenza al 95% per "Sempre IV" [60.16, 64.04] non si sovrappone agli intervalli delle altre policy.
- Al contrario, lo stimatore DRL standard produce intervalli di confidenza sovrapposti per tutte le policy, fallendo nel distinguerle. Ciò evidenzia come ignorare le azioni nascoste possa portare a conclusioni empiriche fuorvianti in contesti clinici.

5. Significato e Rivendicazioni

Il documento sostiene di essere il primo lavoro che studia il reinforcement learning offline nel contesto delle azioni nascoste. La sua importanza risiede in:

Affrontare una Lacuna Critica: Fornisce un framework principato per l'OPE quando i dati sulle azioni sono rumorosi o latenti, un problema comune negli studi basati su EHR che i metodi RL standard non possono gestire in modo affidabile.
Rigore Teorico: Stabilisce le condizioni di identificazione e deriva una funzione di influenza che tiene conto della natura sequenziale del RL, distinguendosi dai framework di trattamento nascosto statico.
Utilità Pratica: Dimostrando la robustezza multipla e la normalità asintotica, LURE consente l'inferenza statistica valida (intervalli di confidenza e test di ipotesi) in contesti in cui i metodi precedenti produrrebbero stime puntuali distorte.
Impatto nel Mondo Reale: L'applicazione al database MIMIC-III illustra come tenere conto delle azioni nascoste possa cambiare fondamentalmente il ranking delle policy e le raccomandazioni cliniche, suggerendo che le valutazioni standard del RL in ambito sanitario potrebbero essere inaffidabili senza tali correzioni.

Gli autori mantengono un tono modesto, notando che, sebbene il framework sia generalizzabile a azioni categoriche, il presente lavoro si concentra su azioni binarie per chiarezza, e che il metodo si basa sull'assunzione specifica che lo stato successivo funga da valido proxy per l'azione nascosta.