Sintesi Tecnica: Actor-Critic Kernel con Guida SHAP per il Reinforcement Learning Spiegabile

1. Definizione del Problema

I metodi Actor-Critic (AC) sono fondamentali per il Reinforcement Learning (RL), ma soffrono di una limitata interpretabilità. Le architetture AC standard trattano le caratteristiche dello stato in modo egualitario, fallendo nel rivelare gli impatti eterogenei delle singole dimensioni dello stato sulla ricompensa. Sebbene esistano metodi di XRL (Explainable RL) esistenti, essi sono prevalentemente post-hoc (analizzano una politica addestrata senza alterare l'addestramento) o intrinseci ma a grana grossa (ad esempio, alberi di decisione o politiche simboliche). Fondamentalmente, pochi metodi forniscono attribuzioni a livello di dimensione che possano essere integrate direttamente nel ciclo di apprendimento per guidare gli aggiornamenti della politica.

Inoltre, l'integrazione di meccanismi di attribuzione negli AC presenta due sfide fondamentali:

1. Affidabilità dell'Attribuzione: Utilizzare le attribuzioni per modificare la forma funzionale del Critic può violare l'approssimazione di funzioni compatibili e interrompere le proprietà di contrazione dell'operatore di Bellman, specialmente quando il dizionario del kernel sottostante evolve.
2. Stabilità dell'Ottimizzazione: Gli stati dell'RL sono spesso perturbati da rumore, dinamiche stocastiche e shift distribuzionali. I metodi sensibili all'attribuzione sono vulnerabili a correlazioni spurie a meno che non siano accuratamente regolarizzati, poiché l'instabilità nei valori di attribuzione può amplificare gli errori di approssimazione e portare a dinamiche di apprendimento fragili.

La domanda centrale di ricerca è come progettare un algoritmo AC efficiente e dimostrabile, capace di calcolare le attribuzioni di stato online pur mantenendo la stabilità sotto perturbazioni di stato.

2. Metodologia: RSA2C

Gli autori propongono RSA2C (RKHS-SHAP-based Advanced Actor-Critic), un algoritmo AC a due scale temporali guidato dalle attribuzioni. RSA2C integra le attribuzioni di stato direttamente nel processo di apprendimento tramite un kernel a valori di operatore pesato con la distanza di Mahalanobis.

2.1. Architettura

RSA2C è composto da tre componenti istanziate in Spazi di Hilbert Riproducenti (RKHS), controllate da dizionari sparsi mantenuti tramite il metodo dell'Approximate Linear Dependence (ALD):

• Advanced Actor: Istanziato in un RKHS a valori vettoriali utilizzando un Kernel a Valori di Operatore (OVK). Il kernel è un kernel Gaussiano pesato con la distanza di Mahalanobis, $K(s, s_j) = \kappa_\phi(s, s_j)\Sigma_K$, dove la matrice di peso $W = \text{diag}(\tilde{\phi})$ è regolata dinamicamente in base alle attribuzioni delle caratteristiche di stato ($\phi_i$). Ciò consente alla politica di ripesare adattivamente le dimensioni dello stato in base alla loro importanza.
• Value Critic: Risiede in un RKHS scalare con il proprio dizionario. Stima la funzione di valore $V(s)$ utilizzando l'apprendimento Temporal Difference (TD). Fondamentalmente, il Value Critic non viene ripesato dai punteggi SHAP per evitare dipendenze circolari e garantire una baseline stabile per il calcolo dell'attribuzione.
• Advantage Critic: Risiede in un RKHS scalare che condivide il dizionario dell'Actor. Utilizza "caratteristiche compatibili" (allineate con $\nabla \log \pi$) per stimare la funzione di vantaggio $A(s, a)$, garantendo gradienti di politica a bassa varianza.

2.2. Integrazione RKHS-SHAP

Inve instead di utilizzare il campionamento Monte Carlo (che è computazionalmente costoso), RSA2C calcola i valori SHAP analiticamente utilizzando gli Embedding di Media Kernel (KME) e gli Embedding di Media Condizionale (CME) all'interno del framework RKHS:

• On-manifold (Osservazionale): Utilizza KME per mediare sulla distribuzione empirica dello stato, garantendo che le attribuzioni riflettano configurazioni coerenti con l'ambiente.
• Off-manifold (Interventivo): Utilizza CME per condizionarsi su sottoinsiemi di dimensioni rispettando la geometria dei dati, sondando le coalizioni di caratteristiche senza generare stati non validi.

Queste attribuzioni SHAP calcolate vengono convertite in pesi modulati da Mahalanobis. Questi pesi modulano gli aggiornamenti del gradiente dell'Actor e i target dell'Advantage Critic, iniettando efficacemente segnali di importanza a livello di dimensione direttamente nelle dinamiche di ottimizzazione.

2.3. Meccanismo a Due Scale Temporali

RSA2C opera su due scale temporali:

• Scala temporale rapida: Il Value Critic si aggiorna rapidamente per fornire stime di valore stabili e attribuzioni SHAP.
• Scala temporale lenta: L'Actor e l'Advantage Critic si aggiornano più lentamente, utilizzando le attribuzioni stabili del Critic per guidare il miglioramento della politica.

3. Contributi Chiave

1. Actor-Critic Kernelizzato a Due Scale Temporali: L'introduzione di RSA2C, che incorpora un Actor e due Critic in RKHS. Esso inietta in modo unico l'importanza adattiva delle caratteristiche di stato tramite RKHS-SHAP in un OVK pesato con Mahalanobis, modellando politiche a valori vettoriali e codificando le correlazioni tra le dimensioni dello stato. L'uso di dizionari sparsi garantisce una complessità computazionale lineare rispetto alla dimensione del dizionario, rendendolo adatto al RL online.
2. Dall'Attribuzione di Stato al Segnale di Apprendimento: Il metodo calcola lo SHAP dal Value Critic tramite due percorsi (KME per le aspettative on-manifold e CME per quelle off-manifold). Questi segnali vengono modulati e iniettati nell'Actor e nell'Advantage Critic, ottenendo sia efficienza che interpretabilità intrinseca senza fare affidamento esclusivamente su spiegazioni post-hoc.
3. Convergenza Globale Non Asintotica: Gli autori derivano un limite di convergenza globale per RSA2C sotto perturbazioni di stato. Il gap di apprendimento è scomposto in un errore di perturbazione (che quantifica la stabilità contro il rumore) e un errore di convergenza (che quantifica l'efficienza). L'errore di perturbazione è ulteriormente suddiviso in termini di attribuzione indotta e di apprendimento della politica, dimostrando la robustezza dell'algoritmo.
4. Validazione Empirica: Simulazioni estese su tre ambienti di controllo continuo (Pendulum-v1, BipedalWalker-v3, Ant-v5) dimostrano che RSA2C raggiunge rendimenti competitivi con un overhead computazionale significativamente inferiore (FLOPs) rispetto ai baselines di deep RL (SAC, PPO), mantenendo al contempo una stabilità superiore sotto perturbazioni di stato.

4. Risultati

• Efficienza: Nei compiti di controllo continuo, le varianti di RSA2C (KME e CME) convergono a rendimenti più elevati rispetto alle ablazioni (Advanced AC senza SHAP, Uniform SHAP) e ai tradizionali RKHS-AC. Sebbene i metodi di deep RL come SAC possano raggiungere rendimenti asintotici più elevati in compiti ad alta dimensionalità (es. Ant-v5), RSA2C raggiunge rendimenti comparabili o migliori in compiti a bassa dimensionalità con significativamente meno FLoli e tempo di esecuzione, specialmente su CPU.
• Stabilità: Sotto perturbazioni di stato (rumore a media nulla con varianza crescente), le varianti di RSA2C mostrano le prestazioni più stabili tra i metodi basati su RKHS. I loro rendimenti medi degradano solo lievemente all'aumentare del rumore, mentre i metodi senza attribuzioni apprese (Advanced AC, RKHS-AC) subiscono cali significativi di performance. RSA2C supera anche i baselines di deep RL in termini di stabilità; ad esempio, le prestazioni di PPO degradano severamente sotto alto rumore, mentre RSA2C rimane robusto.
• Interpretabilità: La visualizzazione tramite grafici beeswarm e heatmap conferma che RSA2C cattura contributi di caratteristiche significativi allineati con la dinamica fisica (ad esempio, distinguendo tra angolo, velocità angolare e coppia nel compito Pendulum). RSA2C-CME, che modella le dipendenze condizionali, produce attribuzioni più bilanciate e temporalmente adattive rispetto a RSA2C-KME.

5. Significato e Affermazioni

Il paper afferma che RSA2C fornisce un meccanismo rigoroso per trasformare l'importanza delle caratteristiche di stato in una distanza di Mahalanobis su un OVK-based policy, migliorando così l'apprendimento efficiente in termini di campioni con interpretabilità intrinseca.

• Garanzia Teorica: Il lavoro stabilisce una garanzia di convergenza globale non asintotica sotto perturbazioni di stato, un contributo significativo poiché le garanzie non asintotiche per l'AC potenziato da RKHS a due scale temporali rappresentavano precedentemente un vuoto aperto.
• Robustezza: Il metodo dimosta che le attribuzioni di caratteristiche apprese sono critiche per stabilizzare gli aggiornamenti della rete contro disturbi stocastici, superando i baselines a pesi fissi o non basati su attribuzioni.
• Limitazioni: Gli autori riconoscono con modestia che la scalabilità delle rappresentazioni basate su RKHS è limitata nei compiti di controllo continuo ad alta dimensionalità (es. Ant-v5 con stati a 105D), dove la capacità rappresentativa di RKHS lineari con kernel RBF può diventare un collo di bottiglia rispetto alle reti neurali profonde. Inoltre, l'impronta di memoria cresce con la complessità del compito e gli orizzonti di addestramento.

In sintesi, RSA2C colma il divario tra l'elevata prestazione del RL e la spiegabilità integrando le attribuzioni SHAP a livello di dimensione direttamente nel ciclo di apprendimento kernelizzato, offrendo un approccio stabile, efficiente e teoricamente fondato per il controllo continuo.