Sintesi Tecnica: Formulazione dell'Apprendimento per Rinforzo per la Collaborazione Uomo-Robot attraverso la Valutazione Off-Policy

1. Definizione del Problema

L'Apprendimento per Rinforzo (Reinforcement Learning, RL) possiede un potenziale significativo per l'ottimizzazione del processo decisionale sequenziale in ambienti dinamici, in particolare nell'interazione uomo-robot (HRI). Tuttavia, l'implementazione del RL in contesti reali e critici per la sicurezza (ad es. sanità, aerospazio, guida autonoma) affronta barriere sostanziali. Gli approcci tradizionali di RL si affidano pesantemente a estese interazioni online, tentativi ed errori e all'esperienza del dominio per definire rappresentazioni efficaci dello stato e funzioni di ricompensa. Questo processo è spesso costoso, dispendioso in termini di tempo e insicuro.

Sebbene l'Offline Reinforcement Learning (ORL) mitighi la necessità di interazione in tempo reale addestrando su dati pre-raccolti, rimane una sfida critica: selezionare spazi di stato ottimali e funzioni di ricompensa senza sperimentazione online. Inoltre, garantire che le policy addestrate offline siano sicure ed efficaci in scenari dinamici di team uomo-robot richiede metodi di valutazione robusti che non necessitino di ulteriore implementazione nel mondo reale.

2. Metodologia

Gli autori propongono un framework innovativo che sfrutta la Valutazione Off-Policy (Off-Policy Evaluation, OPE) per selezionare sistematicamente rappresentazioni ottimali dello spazio di stato e funzioni di ricompensa utilizzando esclusivamente dati di interazione registrati. Questo approccio elimina la necessità di accesso all'ambiente in tempo reale o di feedback umano nel ciclo (human-in-the-loop) durante la fase di progettazione.

2.1 Selezione dello Spazio di Stato tramite OPE

Il framework valuta molteplici candidati di rappresentazione dello spazio di stato ($S_1, S_2, ..., S_K$) derivati dalla conoscenza del dominio o dalla selezione delle caratteristiche.

1. Addestramento Offline: Un agente di RL offline (specificamente Constrained Q-Learning, CQL) viene addestrato per ogni candidato spazio di stato utilizzando il dataset registrato.
2. Stima OPE: Uno stimatore OPE (utilizzando metodi come l'Importance Sampling, il Direct Method o il Fitted Q-Evaluation) stima il rendimento atteso di ciascuna policy addestrata senza interazione online.
3. Selezione: Lo spazio di stato ottimale ($S^*$) viene selezionato in base al rendimento stimato più elevato tramite OPE, classificando efficacemente le rappresentazioni in base alla loro capacità di indurre policy ad alte prestazioni.

2.2 Selezione della Funzione di Ricompensa tramite OPE

Il framework valuta similmente candidati di funzioni di ricompensa ($r_1, r_2, ..., r_M$) valutando la loro capacità di distinguere tra policy ad alte prestazioni e a basse prestazioni.

1. Valutazione della Policy: Policy predefinite ad alte prestazioni ($\pi^+$) e a basse prestazioni ($\pi^-$) vengono valutate sotto ogni funzione di ricompensa candidata utilizzando l'OPE.
2. Metriche di Separazione: L'efficacia di una funzione di ricompensa è quantificata dalla divergenza tra i rendimenti stimati di $\pi^+$ e $\pi^-$. Gli autori utilizzano:
   • Differenza media di rendimento ($\Delta V$).
   • Divergenza di Kullback-Leibler (KL).
   • Divergenza di Jensen-Shannon (JS).
3. Selezione: La funzione di ricompensa ottimale ($r^*$) è quella che massimizza la separazione tra buone e cattive policy, garantendo un segnale di apprendimento forte.

3. Validazione Sperimentale

La metodologia proposta è stata validata in due ambienti distinti:

3.1 Ambiente Controllato: OpenAI Gym Lunar Lander

• Obiettivo: Valutare la capacità del framework di selezionare spazi di stato e funzioni di ricompensa in un ambiente controllato.
• Risultati dello Spazio di Stato: Sono stati testati tre candidati: originale ($S_{orig}$), espanso con rumore ($S_{more}$) e ridotto ($S_{less}$). L'OPE ha identificato correttamente $S_{orig}$ come la rappresentazione ottimale, dimostrando che l'espansione non necessaria delle caratteristiche degrada le prestazioni, mentre una compressione eccessiva omette informazioni critiche.
• Risultati della Funzione di Ricompensa: Il framework ha identificato con successo una funzione di ricompensa di base che incorpora ricompense basate sullo stato, sull'azione e sul termine come superiore alle alternative (ad es. solo sul termine o solo sull'azione). La funzione selezionata ha esibito la più alta divergenza JS, confermando la sua capacità di fornire segnali di apprendimento efficaci.

3.2 Ambiente Reale: Studio su Soggetti Umani NASA-MATB-II

• Obiettivo: Valutare l'applicabilità all'HRI utilizzando dati da una simulazione Multi-Attribute Task Battery-II (MATB-II) coinvolgendo nove partecipanti sotto diverse condizioni di carico di lavoro.
• Selezione dello Spazio di Stato: I candidati includevano combinazioni di dati relativi al compito, dati fisiologici (frequenza cardiaca, respirazione) e carico di lavoro stimato.
  • Risultato: Lo spazio di stato multimodale ($S_{task+physio+wl}$) ha prodotto il rendimento OPE più elevato. Tuttavia, un'analisi ulteriore ha indicato che i dati sul carico di lavoro fornivano un beneficio marginale in presenza di dati sul compito e fisiologici. Di conseguenza, $S_{task+physio}$ è stato selezionato come la rappresentazione preferita, bilanciando prestazioni ed efficienza computazionale.
• Selezione della Funzione di Ricompensa: Sono state testate tre funzioni di ricompensa: penalizzare il comportamento errato ($r_1$), premiare il comportamento corretto ($r_2$) e una somma ponderata ($r_3$).
  • Risultato: La somma ponderata ($r_3$) è stata selezionata come ottimale, mostrando le più alte divergenze KL e JS, indicando la migliore separazione tra le prestazioni delle policy.

3.3 Validazione Online su Soggetti Umani

Uno studio successivo, approvato dall'IRB, ha confrontato tre agenti:

1. Basato su Regole (RB): Regole predefinite che attivano l'automazione durante il sovraccarico.
2. Agente RL: Addestrato offline utilizzando lo spazio di stato e la funzione di ricompensa selezionati tramite OPE.
3. Fine-Tuning RL (RLFT): L'agente RL che subisce un ulteriore affinamento tramite interazione in tempo reale.

Risultati Chiave:

• Prestazioni del Compito: L'agente RL ha dimostrato le prestazioni più costanti nei compiti di tracciamento e monitoraggio del sistema, superando significativamente RB e RLFT in termini di tempi di risposta e tassi di fallimento sotto carichi variabili. L'agente RLFT eccelleva nel compito di comunicazione ma mostrava instabilità nella gestione delle risorse e tassi di fallimento più elevati sotto sovraccarico.
• Fiducia e Carico di Lavoro: L'agente RL ha ricevuto i punteggi di fiducia più elevati e ha prodotto il carico di lavoro percepito più basso e la maggiore fluidità. Al contrario, l'RLFT, nonostante avesse ricevuto alti punteggi di fiducia post-trial riguardo l'affidabilità, ha indotto il carico di lavoro soggettivo e la frustrazione più elevati, suggerendo che il fine-tuning in tempo reale può introdurre imprevedibilità e stress cognitivo.
• Frequenza di Automazione: L'agente RL ha utilizzato un'automazione selettiva e ben temporizzata, mentre l'RLFT spesso sovra-automatizzava o sotto-automatizzava a seconda del compito, portando a prestazioni inconsistenti.

4. Contributi Chiave

1. Framework di Progettazione Guidato da OPE: L'introduzione di un framework che utilizza la Valutazione Off-Policy per selezionare spazi di stato e funzioni di ricompensa ottimali dai dati registrati, evitando la necessità di costose interazioni in tempo reale.
2. Ottimizzazione Basata sui Dati: Un metodo per ottimizzare le formulazioni di RL sia per ambienti controllati (Lunar Lander) che per scenari complessi di interazione uomo-robot (NASA-MATB-II) valutando sistematicamente le configurazioni candidate.
3. Validazione Empirica: Dimostrazione che la selezione basata su OPE porta ad agenti RL che superano i baselines basati su regole e le varianti a fine-tuning in termini di adattabilità, affidabilità e fiducia dell'utente in ambienti multi-task critici per la sicurezza.

5. Significato e Rivendicazioni

Il documento afferma che questo lavoro migliora la fattibilità e la scalabilità dell'RL offline per ambienti reali automatizzando le decisioni critiche di progettazione. Riducendo la dipendenza da tentativi ed errori e dalle interazioni online, il framework offre un approccio più affidabile, efficace e sostenibile per formulare il RL in contesti complessi di HRI.

Gli autori sottolineano un trade-off critico osservato nei loro risultati: sebbene la personalizzazione attraverso il fine-tuning (RLFT) possa migliorare l'allineamento a compiti specifici, può compromettere la stabilità del sistema e aumentare il carico cognitivo. Pertanto, l'approccio offline basato su OPE proposto offre un'alternativa robusta che bilancia adattabilità e prevedibilità. Il lavoro suggerisce che, per domini critici per la sicurezza, garantire una robusta valutazione della policy prima del deployment tramite OPE è essenziale, e che integrare dati fisiologici nelle rappresentazioni dello stato può migliorare significativamente le prestazioni del team uomo-robot senza i rischi associati a estese sperimentazioni online.