Sintesi Tecnica: Stima delle Capacità del Partner per l'Adattamento Task-Agnostico nel Lavoro di Squadra Ad-Hoc

1. Formulazione del Problema

Il paper affronta un limite critico nella ricerca attuale sul Lavoro di Squadra Ad-Hoc (AHT): l'assunzione che gli agenti collaborino su un singolo compito fisso con capacità del partner note. In contesti realistici di mondo aperto, particolarmente quelli che coinvolgono collaboratori umani, i partner possiedono vincoli nascosti e invarianti rispetto al compito sulle loro abilità (capacità) e possono agire in modo sub-ottimale o con strategie diverse.

Gli autori formalizzano il problema come pianificazione congiunta con esecuzione decentralizzata sotto capacità nascoste del partner. La sfida principale è apprendere un modello riutilizzabile e task-agnostico delle capacità di un partner specifico partendo da traiettorie congiunte osservate. A differenza degli approcci precedenti che apprendono politiche robuste per un compito fisso o inferiscono le preferenze (ciò che un partner vuole fare), questo lavoro si concentra sull'inferenza delle capacità (ciò che un partner è fondamentalmente capace di fare). L'obiettivo è consentire a un agente autonomo ($Ag_1$) di stimare il vettore di capacità nascosto ($c$) di un partner incontrollabile ($Ag_2$) e utilizzare questa stima per pianificare futuri compiti congiunti senza pre-addestramento su una popolazione di partner.

2. Metodologia

2.1. Framework di Modellazione

Gli autori estendono il framework del Processo Decisionale di Markov Contestuale Multi-agente (CMMDP).

• Stato e Azione: Definiti su un insieme finito di stati congiunti ($S$) e azioni congiunte ($A$).
• Capacità ($C$): Modellate come vettori binari a $D$ dimensioni dove ogni bit rappresenta una specifica capacità (ad es., abilità di sollevare un oggetto pesante, abilità di usare uno strumento specifico).
• Funzione di Transizione ($T$): Le capacità modulano la funzione di transizione. Se una capacità richiesta per una transizione è assente ($c_i=0$), la transizione risulta in un auto-loop (lo stato non cambia), rendendo di fatto l'azione non fattibile in quel contesto.
• Obiettivo: L'agente cerca di trovare il vettore di capacità $c^*$ che minimizza la differenza tra la traiettoria congiunta pianificata sotto $c^*$ e la traiettoria osservata $\tau_{obs}$ attraverso molteplici compiti.

2.2. CE-CM: Stima delle Capacità tramite Modelli Contestuali

Il metodo primario, CE-CM, è un approccio di inferenza bayesiana approssimata che opera tramite un ciclo "simula-e-confronta":

1. Campionamento: L'agente campiona candidati vettori di capacità ($\hat{c}$) da una distribuzione a priori.
2. Simulazione: Per ogni candidato, l'agente utilizza un pianificatore congiunto per simulare la traiettoria ($\tau_{\hat{c}}$) che risulterebbe se il partner possedesse quelle capacità.
3. Confronto: La traiettoria simulata viene confrontata con la traiettoria osservata ($\tau_{obs}$) utilizzando una metrica di similarità (distanza di Jaccard per stati proposizionali, similarità del coseno per vettori a valori reali).
4. Aggiornamento della Credenza: I candidati che rientrano in una soglia di similarità $\epsilon$ vengono accettati. L'agente mantiene un insieme di campioni accettati per approssimare la distribuzione a posteriori.
5. Stima: Una stima puntuale $\hat{c}^*$ viene derivata (ad es., tramite stima Maximum A Posteriori) tramite l'applicazione di una soglia alla media empirica dei campioni accettati.
6. Pianificazione: Le capacità stimate inducono un'istanza specifica di CMMDP, che l'agente utilizza per calcolare un nuovo piano congiunto per il compito successivo.

2.3. CE-CM-Div: Gestire la Diversità Comportamentale

Gli autori identificano che il CE-CM standard è fragile quando i partner umani mostrano comportamenti diversi o sub-ottimali, poiché un singolo vettore di capacità può indurre molteplici traiettorie valide. Per affrontare questo, propongono CE-CM-Div:

• Invece di confrontare l'osservazione con una singola traiettoria ottimale, CE-CM-Div genera un insieme diversificato di traiettorie ($\Delta_{\hat{c}}$) per ogni ipotesi di capacità candidata utilizzando un pianificatore consapevole della diversità (basato su Monte Carlo Tree Search).
• Un'ipotesi è accettata se almeno una traiettoria nell'insieme diversificato è sufficientemente simile all'osservazione.
• Questo approccio evita il rifiuto di ipotesi di capacità valide dovute a variazioni comportamentali non modellate o sub-ottimalità.

3. Contributi Chiave

1. Formulazione Basata sulle Capacità: Una formalizzazione dell'AHT multi-task come pianificazione congiunta sotto vincoli di capacità nascosti e invarianti rispetto al compito, fornendo una rappresentazione del partner interpretabile e riutilizzabile.
2. Algoritmo CE-CM: Un metodo di adattamento online e task-agnostico che inferisce vettori di capacità discreti da poche interazioni senza richiedere pre-addestramento su una popolazione o dati di dimostrazione.
3. Estensione CE-CM-Div: Un meccanismo di robustezza che tiene conto della diversità comportamentale valutando le ipotesi contro insiemi di rollout del pianificatore diversificati piuttosto che contro singole traiettorie ottimali.
4. Validazione Empirica: Valutazione completa attraverso due domini (TidyUP e Overcooked) e uno studio con soggetti umani che dimostra l'efficacia e i limiti della modellazione basata sulle capacità.

4. Risultati Sperimentali

4.1. TidyUP (Dominio PDDL)

In un dominio domestico simbolico con ricompense completamente specificate e transizioni deterministiche:

• Inferenza: CE-CM ha recuperato rapidamente i vettori di capacità reali, riducendo la distanza di Hamming vicino allo zero entro cinque compiti.
• Coordinazione: Il metodo ha ridotto significativamente il rapporto di "azioni corrette" (conflitti tra i piani dell'agente e del partner) e ha aumentato la sovrapposizione dei piani (IoU) rispetto ai baseline ottimisti e pessimisti.
• Conclusione: In ambienti ben specificati dove la fattibilità determina strettamente il comportamento, l'inferenza delle capacità è altamente efficace.

4.2. Overcooked (Partner Simulati)

In un dominio di coordinazione dinamica con ricompense underspecificate (molteplici strategie valide):

• Inferenza: CE-CM ha recuperato con successo i vincoli di capacità, riducendo la proporzione di azioni non fattibili (improduttive) assegnate al partner.
• Limite di Coordinazione: Nonostante le stime accurate delle capacità, CE-CM non ha risolto completamente gli errori di coordinazione (la sovrapposizione dei piani rimaneva bassa). Ciò accade perché le capacità vincolano la fattibilità, ma non determinano quale strategia fattibile un partner scelga quando ne esistono molteple.
• Conclusione: Le capacità da sole sono insufficienti per predire il comportamento in domini con alta ambiguità strategica.

4.3. Overcooked (Soggetti Umani)

Uno studio con 15 partecipanti (225 traiettorie) ha rivelato una significativa variabilità comportamentale:

• Fallimento di CE-CM: Il CE-CM standard ha spesso fallito nell'aggiornare le credenze perché le traiettorie umane raramente corrispondevano alla singola traiettoria ottimale generata dal pianificatore, portando a pochissimi campioni accettati.
• Successo di CE-CM-Div: L'estensione consapevole della diversità ha migliorato sostanzialmente l'accuratezza dell'inferenza (minore distanza di Hamming) e la dimensione della distribuzione a posteriori, accettando ipotesi che corrispondevano a qualsiasi dei comportamenti plausibili e diversificati.
• Conclusione: Tenere conto della diversità comportamentale è essenziale per una robusta inferenza delle capacità nelle équipe uomo-IA realistiche.

5. Significato e Rivendicazioni

Il paper sostiene che la modellazione basata sulle capacità offre un approccio promettente, interpretabile e task-agnostico all'adattamento nel lavoro di squadra ad-hoc. Distinguendo tra ciò che un partner può fare (capacità) e ciò che sceglie di fare (preferenze/strategie), gli agenti possono accumulare conoscenza riutilizzabile su un individuo attraverso diversi compiti.

Tuttavia, gli autori sono modesti riguardo all'ambito di questa soluzione. Essi dichiarano esplicitamente che:

• Le capacità sono necessarie ma non sufficienti: In domini con molteplici strategie valide (come Overcooked), conoscere le capacità di un partner non predice univocamente il suo comportamento.
• La diversità è critica: L'adattamento robusto nei team uomo-IA richiede meccanismi (come CE-CM-Div) che tengano conto della variabilità comportamentale e della sub-ottimalità, piuttosto che assumere una pianificazione ottimale.
• Scalabilità: L'approccio attuale si basa sulla pianificazione congiunta, che scala esponenzialmente con il numero di agenti, limitando l'applicazione immediata a grandi team senza ulteriori approssimazioni.

Il lavoro posiziona la stima delle capacità come un passo fondamentale verso un lavoro di squadra uomo-IA generalizzabile, evidenziando al contempo la necessità di modellare congiuntamente capacità e preferenze per risolvere pienamente l'ambiguità comportamentale.