Nested Training for Mutual Adaptation in Human-AI Teaming

Titolo

Addestramento Annidato per l'Adattamento Reciproco nel Teamwork Uomo-AI

1. Il Problema

La sfida centrale identificata dagli autori è la difficoltà di progettare agenti di Reinforcement Learning (RL) capaci di collaborare efficacemente con partner umani diversificati in scenari di teaming uomo-robot.

• Limiti degli approcci esistenti: Le metodologie attuali addestrano gli agenti contro popolazioni di strategie simulate statiche. Sebbene questo migliori la robustezza verso partner non visti, tratta i partner come entità fisse, ignorando la natura intrinsecamente interattiva della collaborazione umana.
• Il problema dell'adattamento unilaterale: I paradigmi standard considerano l'adattamento come un processo a senso unico (l'agente si adatta a un partner fisso), non considerando che gli esseri umani modificano le proprie strategie in risposta al comportamento dell'agente.
• Fallimento della generalizzazione: L'apprendimento multi-agente simultaneo spesso porta a convenzioni di coordinamento "fragili" o opache che non generalizzano bene quando il partner cambia o si adatta dinamicamente, portando a fallimenti nel compito.

2. Metodologia

Gli autori propongono un framework basato su un Processo Decisionale di Markov Parzialmente Osservabile Interattivo (I-POMDP) a livelli finiti, implementato attraverso un regime di addestramento annidato (nested training).

Modellazione I-POMDP

Il teaming uomo-robot è modellato come un I-POMDP a livelli finiti, dove lo stato include esplicitamente i modelli degli altri agenti.

• Livello 0: Politiche fisse (non adattive).
• Livello 1: L'agente umano (o un modello umano) mantiene credenze sulle politiche del robot (Livello 0) e si adatta di conseguenza.
• Livello 2: Il robot mantiene credenze sulle politiche adattive dell'umano (Livello 1), permettendo un ragionamento di secondo livello ("io penso che tu pensi che io...").

Regime di Addestramento Annidato

Per approssimare il ragionamento di Livello 2 in modo pratico, viene introdotto un processo di addestramento gerarchico:

1. Fase Livello 1: Vengono addestrate diverse politiche umane $\{ \pi^j_H \}$ contro un insieme fisso di politiche robotiche di Livello 0 $\{ \pi^k_R \}$. Il risultato è un set di politiche umane adattive che rispondono a diverse strategie base.
2. Fase Livello 2: La politica robotica finale $\pi_R$ viene addestrata contro l'insieme di politiche umane adattive (Livello 1) generate nella fase precedente.
3. Meccanismo Chiave: A differenza dell'apprendimento simultaneo (co-adaptation), questo approccio addestra l'agente di livello superiore contro politiche di livello inferiore fisse (ma adattive rispetto al loro livello). Questo previene il collasso verso una singola convenzione di coordinamento specifica per un partner, costringendo l'agente a generalizzare.

Approssimazione delle Credenze

Per gestire l'incertezza sulle tipologie di partner in modo computazionalmente trattabile, il metodo apprende un embedding latente $z_t = f_\theta(h_t)$ che riassume la storia delle interazioni. La politica è condizionata su questo embedding: $a_t \sim \pi_\theta(a | o_t, z_t)$. Questo permette di ammortizzare l'incertezza e ottimizzare l'intero sistema in modo end-to-end.

3. Contributi Chiave

1. Modellazione Formale: Trasformazione del problema di teaming uomo-AI in un I-POMDP a livelli finiti che esplicitamente rappresenta l'adattamento umano nello stato.
2. Regime di Addestramento Innovativo: Introduzione di un regime di addestramento annidato che simula il ragionamento di Livello 2 senza richiedere l'apprendimento simultaneo instabile, prevenendo la convergenza a convenzioni opache.
3. Generalizzazione Robusta: Dimostrazione che l'approccio permette agli agenti di ragionare sulle dinamiche di adattamento del partner, portando a una coordinazione stabile con partner adattivi mai visti prima.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti nel dominio Overcooked (una variante che richiede cooperazione obbligatoria), dove gli agenti devono preparare piatti collaborando.

• Confronto con Baseline: Il metodo proposto è stato confrontato con stati dell'arte come LIAM, LILI, PACE e una politica "Generalist".
• Performance Quantitative:
  • Valutazione Breve (5 episodi per round): Il metodo proposto ha raggiunto un tasso di successo medio del 0.90, superando nettamente la baseline migliore (Generalist, 0.575). LIAM ha fallito completamente (0.00).
  • Valutazione Estesa (25 episodi per round): Il metodo ha mantenuto alte prestazioni (0.935), mentre le baseline hanno mostrato miglioramenti marginali o instabilità.
• Stabilità e Variance: Mentre le baseline mostrano un'alta varianza di successo a seconda del partner specifico (indicando overfitting), il metodo proposto mantiene prestazioni elevate e costanti su tutti i 8 partner adattivi testati.
• Analisi Qualitativa:
  • Le baseline mostrano oscillazioni persistenti nella scelta delle ricette, fallendo nel stabilire una convenzione condivisa.
  • Il metodo proposto mostra inizialmente brevi oscillazioni, ma converge rapidamente su una singola strategia condivisa, dimostrando la capacità di anticipare le azioni del partner adattivo (comportamento di "aspettare" o "impegnarsi per primi" in modo strategico).

5. Significato e Conclusioni

Questo lavoro dimostra che modellare esplicitamente l'adattamento del partner è cruciale per la collaborazione uomo-AI robusta.

• Superamento della non-stazionarietà: Il metodo risolve il problema della non-stazionarietà indotta dall'adattamento reciproco, che spesso causa il fallimento degli approcci RL standard.
• Implicazioni Future: L'approccio apre la strada a sistemi AI che possono collaborare fluidamente con umani reali senza pre-coordinazione, adattandosi dinamicamente alle loro strategie. I lavori futuri prevedono la validazione con partecipanti umani reali e l'estensione a scenari con obiettivi misti (mixed-motive).

In sintesi, l'addestramento annidato basato su I-POMDP offre un framework teorico e pratico per creare agenti AI che non solo reagiscono agli umani, ma comprendono e anticipano il modo in cui gli umani reagiranno a loro, garantendo una cooperazione stabile ed efficiente.