Sintesi Tecnica: Anticipazione Cortese in Ambienti Condivisi Persistenti

Definizione del Problema

Il documento affronta la sfida della pianificazione di compiti a lungo termine per più robot che operano in un ambiente condiviso e persistente. In questo contesto, ai robot vengono assegnati compiti sequenzialmente da una sequenza predefinita, in cui lo stato terminale di un compito diventa lo stato iniziale del successivo.

I pianificatori di compiti standard sono "miopi", concentrandosi esclusivamente sulla minimizzazione del costo immediato per completare l'attuale compito senza lungimiranza. Ciò porta a un comportamento "egoista" in cui un robot lascia l'ambiente in uno stato terminale che aumenta il costo di esecuzione per i compiti futuri assegnati a se stesso o ad altri robot. Gli autori identificano che in ambienti in cui i robot hanno capacità distinte (ad esempio, altezza, resistenza al calore, strumenti specializzati) e responsabilità distinte, questi effetti collaterali negativi si cumulano nel tempo. Un robot potrebbe posizionare un oggetto in una posizione inaccessibile per un collega o in uno stato che un collega non può risolvere, forzando interventi costosi (come azioni di "aiuto") o deviazioni più avanti nella sequenza.

I metodi di pianificazione anticipatoria esistenti [11]–[13] migliorano la pianificazione miope considerando i compiti futuri del proprio robot, ma rimangono "egoisti" nei contesti multi-robot, non tenendo conto di come le azioni attuali influenzino i vincoli e le capacità degli altri agenti.

Metodologia: Pianificazione Anticipatoria Cortese

Gli autori propongono la Pianificazione Anticipatoria Cortese, un approccio basato su modelli che seleziona i piani minimizzando congiuntamente il costo immediato del compito corrente e il costo futuro atteso aggregato per tutti i robot che condividono l'ambiente.

1. Funzione Obiettivo

A differenza della pianificazione anticipatoria standard per singolo robot che minimizza $V_{sg}(s_0) + \sum P(\tau')V_{\tau'}(s_g)$ (Eq. 2), l'obiettivo proposto (Eq. 3) aggrega i costi anticipatori di tutti i robot $R$:
$$s^*_g = \arg\min_{s'_g \in G_\tau} \left[ V^*_{s'_g}(s_0) + \sum_{r \in R} V^r_{A.P.}(s'_g) \right]$$
Qui, $V^r_{A.P.}(s'_g)$ rappresenta il costo atteso per il robot $r$ per completare un compito successivo tratto dalle sue specifiche responsabilità, partendo dallo stato terminale $s'_g$ del piano corrente.

2. Formulazione Fattorizzata e Stimatori

Il calcolo diretto del costo futuro atteso congiunto richiede l'enumerazione di tutte le possibili sequenze di compiti futuri tra tutti i robot, uno spazio combinatorio che è computazionalmente intrattabile. Per risolvere questo problema, gli autori decompongono il problema in stimatori indipendenti per ogni robot:

• Stima aumentata dall'apprendimento: Per ogni robot $r$, un GNN (Graph Neural Network) viene addestrato indipendentemente per stimare $V^r_{A.P.}(s'_g)$.
• Dati di addestramento: I GNN sono addestrati offline utilizzando dati generati risolvendo compiti dalla distribuzione delle responsabilità di un robot tramite un pianificatore standard (FastDownward con FF-A*). L'input è un grafo di scena sparso che rappresenta lo stato dell'ambiente.
• Modularità: Poiché gli stimatori sono addestrati indipendentemente sui vincoli strutturali e sulle responsabilità di un singolo robot, l'aggiunta di un nuovo robot al sistema richiede solo l'addestramento dello stimatore specifico per quel robot. Non è necessario il riaddestramento degli stimatori esistenti o di rollout congiunti.

3. Algoritmo di Pianificazione

Il pianificatore (Algoritmo 1) opera come segue:

1. Generazione dei Candidati: Utilizzando una procedura di "campionamento focalizzato", il pianificatore genera un insieme diversificato di piani candidati che soddisfano l'attuale compito. Ciò comporta l'aumento dei compiti con predicati di posizionamento per creare piani strutturalmente distinti (ad esempio, posizionare una ciotola sporca su un bancone rispetto a un lavandino).
2. Valutazione del Costo: Per ogni piano candidato, il pianificatore interroga tutti gli stimatori GNN per robot per ottenere i costi futuri attesi.
3. Selezione: Viene selezionato il piano con la somma minima tra costo immediato e costi futuri aggregati.

Contributi Chiave

1. Identificazione di un Ostacolo alla Pianificazione: Il documento evidenzia come l'assenza di "cortesia" nella pianificazione dei compiti standard crei effetti collaterali negativi che aumentano i costi cumulativi in ambienti condivisi persistenti, un problema esacerbato dall'eterogeneità delle capacità dei robot.
2. Framework di Anticipazione Cortese: L'introduzione di un obiettivo di pianificazione che minimizza il costo immediato più il costo futuro atteso aggregato per tutti gli agenti. Ciò è ottenuto tramite una formulazione fattorizzata utilizzando stimatori indipendenti per ogni robot, evitando rollout congiunti intrattabili.
3. Implementazione Modulare: L'approccio supporta l'implementazione modulare in cui l'aggiunta o la rimozione di robot richiede solo l'addestramento dello stimatore specifico per quel robot, senza dover riaddestrare l'intero sistema.
4. Valutazione in Domini Complessi: Gli autori valutano il metodo in due domini basati su PDDL:
   • Ambiente Domestico: Due robot con capacità simili ma responsabilità distinte.
   • Ambiente Ristorante: Tre robot con capacità fisiche distinte (ad esempio, un cuoco alto e resistente al calore, un cameriere e un addetto alle pulizie) e responsabilità distinte.

Risultati Sperimentali

Il metodo è stato valutato su lunghe sequenze di compiti (20 compiti nell'ambiente domestico; 10 compiti per robot nell'ambiente ristorante) rispetto a due baseline:

• Myopic (Miopo): Pianificazione classica (FastDownward) che minimizza solo il costo immediato.
• Selfish Anticipatory (Anticipatorio Egoista): Pianificazione che considera solo i compiti futuri del robot che sta agendo.

Miglioramenti Quantitativi:

• Ambiente Domestico (2 robot): La pianificazione cortese ha ridotto il costo totale del 10,43% rispetto al Myopic e del 4,03% rispetto al Selfish Anticipatory.
• Ambiente Ristorante (3 robot): La pianificazione cortese ha ridotto il costo totale del 17,41% rispetto al Myopic e del 13,24% rispetto al Selfish Anticipatory.
• Validazione della Modularità: Gli stimatori addestrati in contesti a 2 robot sono stati utilizzati con successo in contesti a 3 robot senza riaddestramento, confermando la natura "plug-and-play" dell'approccio.
• Proattività: In uno scenario in cui a un robot "Cleaner" (Addetto alle pulizie) è stato dato un budget temporale per agire durante i tempi morti (senza un compito esplicito), l'approccio cortese ha permesso al robot di pulire proattivamente i piatti, riducendo il costo totale del sistema del 31,4% rispetto a un baseline in cui il robot inattivo non intraprendeva alcuna azione.

Significato e Rivendicazioni

Il documento sostiene che l'anticipazione cortese è essenziale per una pianificazione efficace dei compiti sequenziali in ambienti condivisi. Gli autori argomentano che la pianificazione standard fallisce in questi contesti perché ignora i "vincoli fisici" e le "responsabilità" degli altri agenti.

La significanza del lavoro risiede nel dimostrare che:

1. L'Eterogeneità Amplifica il Valore: I benefici della pianificazione cortese sono significativamente amplificati quando i robot hanno capacità distinte (ad esempio, l'ambiente ristorante), poiché le azioni di un robot possono direttamente abilitare o bloccare la capacità di un altro di funzionare.
2. Scalabilità tramite Fattorizzazione: Fattorizzando la stima del costo congiunto in modelli indipendenti per ogni robot, l'approccio rimane computazionalmente trattabile e scalabile, evitando l'intrattabilità dell'apprendimento di policy congiunte o di rollout esaustivi.
3. Cambio di Comportamento: L'approccio induce comportamenti in cui i robot considerano attivamente l'impatto a valle delle loro azioni sui colleghi (ad esempio, posizionare una padella sporca su un carrello accessibile a un addetto alle pulizie invece che su un fornello inaccessibile a lui), riducendo la necessità di costosi interventi di "aiuto".

Gli autori riconoscono i limiti, notando che l'attuale framework assume l'arrivo sequenziale dei compiti e non gestisce ancora l'esecuzione concorrente o i cambiamenti ambientali in tempo reale causati da altri agenti. Il lavoro futuro è proposto per estendere questo approccio a contesti concorrenti.