Riepilogo Tecnico: Valutazione del Rapporto di Occupazione Fitted senza Completezza di Bellman

Definizione del Problema

La valutazione di una politica offline (OPE) mira a stimare le prestazioni di una politica target $\pi$ utilizzando dati raccolti da una politica di comportamento. Una sfida centrale è correggere lo spostamento distributivo tra la distribuzione dei dati offline $\nu$ e la misura di occupazione degli stati-azioni scontata della politica target $d_{\pi,\gamma}$.

I metodi esistenti si dividono tipicamente in due categorie:

1. Metodi basati sul valore (es. Fitted Q-Evaluation, FQE): stimano la funzione valore attraverso la regressione iterativa di target di Bellman su una classe di funzioni. Tuttavia, le garanzie teoriche per FQE richiedono generalmente la completezza di Bellman (l'immagine di Bellman di qualsiasi funzione nella classe deve risiedere all'interno della classe stessa) o la stabilità dell'operatore di Bellman proiettato. Senza di esse, la composizione dell'operatore di Bellman e della proiezione (sotto la distribuzione offline) può non essere contrattiva, portando all'instabilità.
2. Metodi basati sul rapporto (es. Primal-Dual, Minimax): stimano il rapporto di occupazione $\omega_{\pi,\gamma} = d d_{\pi,\gamma} / d\nu$ imponendo momenti di equilibrio su una classe di critici. Questi approcci richiedono tipicamente la realizzabilità duale o la completezza di Bellman avversa (la classe del critico deve essere sufficientemente ricca da rilevare i residui generati dalla classe del rapporto), spostando l'onere dell'approssimazione su una coppia accoppiata di classi.

Il presente lavoro affronta il vuoto in cui non vige né la completezza della funzione valore né la completezza duale, ma il rapporto di occupazione target stesso è ben approssimabile da una classe di ipotesi.

Metodologia: Fitted Occupancy-Ratio Evaluation (FORE)

Gli autori propongono la Fitted Occupancy-Ratio Evaluation (FORE), un metodo di punto fisso "fitted" che stima il rapporto di occupazione scontato attraverso una ricorsione di Bellman avversa.

Meccanismo Centrale

1. Identificazione di Bellman Avversa: Il rapporto di occupazione scontato soddisfa l'equazione a punto fisso $\omega_{\pi,\gamma} = B^\pi_\gamma \omega_{\pi,\gamma}$, dove $B^\pi_\gamma$ è l'operatore di Bellman avverso. A differenza degli operatori di Bellman standard, $B^\pi_\gamma$ agisce sulle densità.
2. Iterazione Proiettata KL: Invece di risolvere un problema di punto di sella minimax, FORE itera la mappa di Bellman avversa. Ad ogni step $k$, data una stima $\omega^{(k)}$, il metodo calcola la successiva stima $\omega^{(k+1)}$ proiettando l'immagine esatta di Bellman $B^\pi_\gamma \omega^{(k)}$ su una classe di ipotesi $\mathcal{W}$ (di log-rapporti normalizzati) utilizzando la divergenza di Kullback–Leibler (KL):
   $$\omega^{(k+1)} = \Pi^{\text{KL}}_{\mathcal{W}} (B^\pi_\gamma \omega^{(k)})$$
3. Obiettivo a Livello Singolo: Fondamentalmente, la proiezione KL dell'immagine di Bellman avversa può essere calcolata tramite un obiettivo di rapporto di densità a livello singolo (Lemma 3.2). Ciò evita la necessità di una classe di critici separata. L'obiettivo coinvolge:
   • Il momento dello stato iniziale $E_{d_0}[h(X)]$.
   • Il momento della transizione a un passo $E_\nu[\omega(X)h(X^+)]$.
   • Un termine di normalizzazione della partizione logaritmica.
     Questo permette l'implementazione tramite apprendimenti supervisionati standard (es. alberi potenziati dal gradiente, reti neurali).

Fondamento Teorico

La stabilità di FORE si basa sulla geometria della divergenza KL:

• Contrazione KL: L'operatore di Bellman avverso non proiettato è una contrazione nella divergenza relativa (KL) con fattore $\gamma$ (Lemma 3.1).
• Proiezione Compatibile: Poiché la proiezione viene eseguita nella stessa geometria KL, l'operatore proiettato eredita questa proprietà di contrazione.
• Condizione di Approssimazione: Il requisito centrale è semplicemente la realizzabilità (o approssimazione) del rapporto di occupazione scontato target da parte della classe di ipotesi. Il metodo non richiede che la classe sia chiusa sotto l'operatore di Bellman avverso (ovvero, non è necessaria la completezza di Bellman avversa).

Gestione della Copertura Limitata

Quando la politica target visita coppie stato-azione non supportate dai dati offline (violando la continuità assoluta), il rapporto completo non è identificabile. Gli autori introducono la Coverage-Stopped FORE:

• Essa mira al rapporto di occupazione scontato accumulato prima della prima coppia stato-azione non coperta.
• Utilizza un classificatore di copertura appreso per identificare e scartare la componente singolare dell'aggiornamento di Bellman.
• Utilizza il clipping per regolarizzare la stima nelle regioni debolmente coperte.
• La stima del valore risultante funge da limite inferiore conservativo sul vero valore della politica target per ricompense non negative.

Contributi Chiave

1. Formulazione Algoritmica: Caratterizzazione del rapporto di occupazione scontato come l'unico punto fisso di una ricorsione di Bellman avversa e introduzione di FORE, che stima questo tramite ripetuti obiettivi di rapporto di densità KL a livello singolo.
2. Teoria della Popolazione: Sviluppo di una teoria dell'approssimazione basata direttamente sulla realizzabilità del rapporto di occupazione. L'operatore di Bellman avversa proiettato KL converge verso il rapporto vero in divergenza relativa, fino a un errore di approssimazione determinato dalla classe del log-rapporto, senza richiedere la completezza di Bellman avversa.
3. Garanzie a Campione Finito: Dimostrazione di limiti di regret a campione finito per la ricorsione fitted empirica. L'errore KL generalizzato si decompone in un termine di inizializzazione che decade geometricamente, un termine di approssimazione KL della popolazione e un termine statistico governato dalla complessità di Rademacher locale della classe di log-rapporto e delle classi di moltiplicatori indotte.
4. Applicazioni alla Valutazione della Politica:
   • Ripesatura della Ricompensa: Stima diretta del valore utilizzando il rapporto stimato.
   • Stima Doubly Robust: Un limite di errore in forma prodotto che combina il rapporto stimato con una funzione Q stimata.
   • FORE-Weighted FQE: Utilizzo del rapporto stimato come peso di proiezione in FQE per stabilizzare la ricorsione di Bellman senza assunzioni di completezza di Bellman sulla classe del valore.
5. Estensione Coverage-Stopped: Un'estensione per scenari a copertura limitata che fornisce limiti inferiori conservativi e diagnostica la copertura effettiva.

Risultati

Risultati Teorici

• Convergenza: Sotto la condizione di realizzabilità del rapporto di occupazione, la ricorsione della popolazione converge geometricamente nella divergenza KL.
• Limiti di Errore: Il limite di errore a campione finito scala con l'errore di approssimazione della classe del rapporto e la complessità statistica (raggio critico) della classe di ipotesi. Notevolmente, il termine di errore di approssimazione scala come $\sqrt{\epsilon_{KL}/(1-\gamma)}$, che è più favorevole rispetto alla scala $(1-\gamma)^{-1}$ spesso osservata nei limiti della funzione valore sotto completezza di Bellman approssimata.
• Stabilità: Il metodo stabilizza FQE quando utilizzato come meccanismo di pesatura, anche se la classe della funzione valore non è completa di Bellman.

Esperimenti Numerici

Il lavoro valida la teoria attraverso tre esperimenti:

1. Baird-style Finite MRP: Dimostra che una FQE lineare può essere instabile (espressiva) sotto la distribuzione dei dati offline, mentre FORE rimane stabile e converge al rapporto vero. FORE-reweighted FQE stabilizza ulteriormente la stima del valore.
2. Valutazione di Politica Gaussiana-Lineare: In un contesto continuo in cui la classe del valore non è completa di Bellman, la FQE lineare fallisce (moltiplicatore > 1). FORE converge rapidamente (moltiplicatore $\approx 0.086$), e FORE-reweighted FQE ripristina la contrazione. FORE ottiene un errore del rapporto di densità inferiore e un RMSE del valore competitivo rispetto ai metodi minimax (MWL, DualDICE).
3. Coverage-Stopped FORE: In presenza di copertura insufficiente dei dati, la FORE standard e il clipping post-hoc falliscono nel mirare alla corretta misura di sub-probabilità. La Coverage-stopped FORE recupera con successo il rapporto di occupazione della copertura interrotta e fornisce limiti inferiori accurati sul valore, superando i baseline sia in errore di rapporto che di valore.

Significato e Rivendicazioni

Il lavoro sostiene di aver identificato la realizzabilità del rapporto di occupazione scontato come una condizione sufficiente per la valutazione di una politica offline, eliminando la necessità di:

• Completezza di Bellman di una classe di valori.
• Completezza di Bellman avversa di una classe di rapporti.
• Completezza duale di una classe di critici.

La significatività risiede nello spostamento dell'onere dell'approssimazione dalle complesse condizioni di chiusura (che sono spesso restrittive e difficili da verificare) alla rappresentabilità diretta dello spostamento distributivo. Sfruttando la geometria KL, FORE ottiene garanzie di stabilità e convergenza che sono strutturalmente distinte e spesso più deboli delle assunzioni richieste per FQE o i metodi minimax. Gli autori posizionano questo metodo come un'alternativa fondamentale agli approcci basati sul valore e ai metodi basati sul rapporto minimax, particolarmente in contesti in cui il rapporto di occupazione è ben approssimato ma le classi della funzione valore o del critico mancano delle necessarie proprietà di completezza.

Il documento rimane modesto riguardo ai limiti: il recupero del rapporto completo richiede comunque la copertura (continuità assoluta), e in contesti ad alta dimensionalità o quasi deterministici, stimare il rapporto può essere difficile quanto stimare la funzione valore stessa. L'estensione coverage-stopped affronta questo punto cambiando l'estimando in un limite inferiore conservativo invece di estrapolare in regioni non supportate.