COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints

Il paper presenta COHORT, un framework basato su ROS che utilizza un approccio ibrido di apprendimento per rinforzo (offline e online) per ottimizzare l'inferenza collaborativa di grandi reti neurali su sistemi multi-robot, riducendo il consumo energetico e migliorando l'utilizzo della GPU nel rispetto dei vincoli temporali reali.

L'essenziale

Ecco una spiegazione semplice e creativa del paper COHORT, pensata per chiunque, anche senza conoscenze tecniche di robotica o intelligenza artificiale.

🤖 Il Problema: La "Cena di Gruppo" che va a fuoco

Immagina di avere un gruppo di amici robot (un cane robotico, un veicolo su ruote, un altro veicolo più grande) che devono lavorare insieme in un posto pericoloso, come un edificio crollato dopo un terremoto. Il loro compito è guardare intorno, capire cosa vedono e rispondere a domande come: "Quante persone vedi?" o "Dov'è la via di fuga?".

Per fare questo, usano un "cervello" digitale molto potente (chiamato DNN o VLM, come CLIP o SAM). È un po' come se dovessero leggere un libro di 1000 pagine in un secondo.

Il problema è questo:

1. Batteria limitata: Ogni robot ha una batteria che dura poche ore. Se un robot prova a fare tutto il lavoro da solo, si scarica in fretta e il gruppo fallisce la missione.
2. Nessun Wi-Fi: Sono in un posto dove non c'è internet o server cloud. Non possono chiamare un "supercomputer" esterno per aiuto. Devono fare da soli.
3. Tempi stretti: Se un robot impiega troppo tempo a pensare, potrebbe perdere un sopravvissuto o non vedere un pericolo in tempo.

In passato, i robot decidevano chi faceva cosa usando regole rigide (come un'asta dove chi offre meno tempo vince) o algoritmi complessi che spesso sbagliavano quando le cose cambiavano all'ultimo minuto.

---

💡 La Soluzione: COHORT, il "Capo Squadra" Intelligente

Gli autori hanno creato COHORT, un sistema che insegna ai robot a collaborare come una vera squadra di basket, non come un gruppo di persone che si scontrano.

Ecco come funziona, passo dopo passo:

1. L'Allenamento "Sulla Carta" (Offline RL)

Prima di mandare i robot in missione, gli scienziati li hanno "allenati" in un simulatore.

• L'analogia: Immagina di far giocare ai robot un milione di partite di calcio virtuali contro se stessi. Inizialmente, giocano seguendo regole vecchie (come un'asta automatica).
• La magia: Usano una tecnica chiamata Regressione Ponderata con Vantaggio (AWR). È come se un allenatore guardasse le registrazioni di tutte quelle partite e dicesse: "Ehi, quando il robot A ha passato il pallone al robot B in quel momento, hanno segnato. Quando hanno provato a fare tutto da soli, hanno perso. Ricordate quella mossa!".
• Risultato: I robot imparano una strategia di base molto intelligente senza aver mai toccato un robot reale, risparmiando batterie e tempo.

2. L'Addestramento "Dal Vivo" (Online RL)

Una volta in missione reale, i robot non si limitano a seguire il manuale. Si adattano.

• L'analogia: È come un giocatore di calcio che, durante la partita, nota che l'avversario è stanco o che il campo è scivoloso. Il robot pensa: "Oggi la mia batteria è bassa e il robot vicino ha molta energia. Meglio passargli il compito di analizzare quell'immagine, così io risparmio energia".
• La tecnica: Usano un metodo chiamato MAPPO. È come se ogni robot avesse un piccolo "cervello" che si aggiorna in tempo reale. Se una decisione funziona bene (risparmia batteria e rispetta i tempi), il cervello dice: "Bravo, fallo di nuovo!". Se sbaglia, dice: "No, la prossima volta prova diversamente".

3. La Collaborazione Dinamica

Il sistema decide in tempo reale chi fa cosa:

• Robot potente (es. Husky): Fa i compiti pesanti perché ha una batteria grande e un processore veloce.
• Robot debole (es. Spot): Fa compiti leggeri o passa i compiti pesanti al compagno potente.
• Nessun centro di comando: Non c'è un "capo" umano che dà ordini. I robot si scambiano messaggi rapidi e decidono insieme chi fa quale parte del lavoro.

---

🏆 I Risultati: Perché è Geniale?

Gli scienziati hanno provato COHORT con robot veri (Husky, Jackal, Spot) in scenari reali. Ecco cosa è successo:

• Batteria che dura di più: I robot hanno consumato il 15% in meno di energia. È come se la loro batteria durasse un'ora e mezza in più nella stessa missione.
• Più veloci: Hanno lavorato meglio, usando i loro processori al 51% in più della loro capacità massima senza bloccarsi.
• Affidabilità: Hanno rispettato i tempi limite (deadline) 2,5 volte più spesso rispetto ai metodi vecchi.
• Resilienza: Se un robot si rompe o si scarica, gli altri si riorganizzano immediatamente senza che la missione fallisca. È come se, se un giocatore si infortuna, gli altri coprono il suo ruolo senza perdere il ritmo.

🚀 In Sintesi

COHORT è come dare ai robot un "senso di squadra" istintivo. Invece di essere macchine stupide che seguono un programma rigido, diventano agenti intelligenti che sanno:

1. Quando sono stanchi (batteria bassa).
2. Chi dei compagni è più forte in quel momento.
3. Come dividere il lavoro per finire la missione il prima possibile e con la massima energia residua.

È un passo enorme per far lavorare insieme i robot in situazioni di emergenza, dove ogni secondo e ogni joule di energia contano.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints, tradotto e adattato in italiano.

1. Il Problema

Le moderne operazioni di ricerca e soccorso (SAR) e le missioni critiche richiedono l'uso di agenti robotici autonomi in grado di interpretare scene complesse e rispondere a query in linguaggio naturale. Per farlo, è necessario utilizzare grandi Reti Neurali (DNN), in particolare modelli Vision-Language (VLM) come CLIP e SAM, che offrono eccellenti capacità di generalizzazione ma sono estremamente pesanti dal punto di vista computazionale.

Le sfide principali identificate sono:

• Vincoli di Risorse: I robot (es. UGV come Jackal, Husky, Spot) operano con risorse limitate (batteria, capacità di calcolo, memoria) e spesso senza accesso a infrastrutture di ricarica o server cloud.
• Ambienti Disconnessi: In scenari di disastro, la connettività di rete verso il cloud è spesso assente o inaffidabile, rendendo impraticabile l'offloading classico verso il cloud.
• Eterogeneità e Volatilità: I sistemi multi-robot sono intrinsecamente eterogenei (diversi processori, GPU, batterie) e le risorse disponibili fluttuano dinamicamente a causa di mobilità, temperatura e carico di lavoro.
• Vincoli Real-Time: Le missioni richiedono il rispetto di scadenze rigide (latenza) e tassi di fotogrammi (FPS) minimi per la percezione in tempo reale.
• Inefficienza delle Soluzioni Esistenti: Gli approcci basati su aste (auction-based) o algoritmi genetici spesso richiedono scambi di informazioni frequenti (scarsa efficienza in banda limitata) o non si adattano bene a dinamiche non stazionarie e all'eterogeneità dei dispositivi.

2. Metodologia: Il Framework COHORT

COHORT è un framework distribuito per l'inferenza collaborativa di DNN su sistemi multi-robot, basato su ROS 2 e su una strategia di Reinforcement Learning (RL) Ibrido (Offline-Online).

Architettura del Sistema

• Pipeline di Percezione: I modelli VLM (CLIP e SAM) sono suddivisi in moduli modulari (es. encoder, decoder, detector).
• Decisione Distribuita: Ogni robot monitora le proprie risorse (CPU, GPU, batteria, coda) e decide autonomamente se eseguire un modulo localmente, offloadarlo a un peer (altro robot) o accettarlo.
• Comunicazione: Utilizza un protocollo peer-to-peer basato su ROS 2/DDS per la scoperta dinamica e la comunicazione a bassa latenza.

Strategia di Apprendimento Ibrido (Tre Fasi)

Per superare le difficoltà dell'apprendimento diretto su hardware reale (rischio di esaurimento batteria, inefficienza del campionamento), COHORT utilizza un curriculum di tre fasi:

1. Fase A: Inizializzazione tramite Behavior Cloning (BC):

   • Vengono raccolti dati offline da un sistema reale utilizzando una politica euristica basata su aste cooperative.
   • Una rete "Actor" condivisa imita le decisioni dell'euristica (chi vince l'asta per eseguire un task) per garantire una sicurezza iniziale e evitare esplorazioni casuali pericolose.
   • Utilizza un approccio CTDE (Centralized Training, Decentralized Execution): l'addestramento vede lo stato globale, l'esecuzione è locale.

2. Fase B: Miglioramento Offline con Advantage-Weighted Regression (AWR):

   • Senza interagire con il mondo reale, la politica viene raffinata utilizzando i dati raccolti nella Fase A.
   • Viene addestrato un Critic centralizzato per stimare il valore delle azioni.
   • Si applica l'AWR per dare più peso alle azioni che hanno generato ritorni superiori (es. minor latenza, migliore uso della batteria), filtrando le decisioni subottimali dell'euristica originale.

3. Fase C: Fine-tuning Online con MAPPO (Multi-Agent PPO):

   • I robot addestrati vengono dispiegati in un ambiente reale.
   • Viene utilizzato MAPPO (Multi-Agent Proximal Policy Optimization) per adattare la politica in tempo reale alle condizioni dinamiche (carichi variabili, nuovi robot, guasti).
   • Vincoli di Lagrange: Per garantire il rispetto dei vincoli reali (batteria, FPS, deadline), l'obiettivo di reward include termini di penalità gestiti tramite moltiplicatori di Lagrange aggiornati online. Questo assicura che la politica massimizzi il throughput rispettando i limiti fisici.

3. Contributi Chiave

1. Framework Distribuito Consapevole delle Risorse: COHORT bilancia dinamicamente i carichi di lavoro su agenti eterogenei senza dipendere da server centralizzati, minimizzando la comunicazione inter-agente.
2. Strategia di Riassegnazione Tollerante ai Guasti: Il sistema ridistribuisce automaticamente i task in caso di guasti, sovraccarichi o esaurimento energetico, mantenendo la stabilità della percezione.
3. Validazione nel Mondo Reale: Il framework è stato testato su piattaforme robotiche reali (Husky, Jackal, Spot) con carichi di lavoro VLM reali (CLIP, SAM), dimostrando scalabilità e robustezza in scenari dinamici.
4. Approccio Ibrido Offline-Online: Combina l'efficienza dell'apprendimento offline (su dati storici) con l'adattabilità dell'apprendimento online, riducendo drasticamente il tempo di convergenza rispetto all'RL puro online.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un testbed eterogeneo per 70 minuti, confrontando COHORT (RL) con Baseline (esecuzione locale), Aste (Auction) e Algoritmi Genetici (GA).

• Performance di Successo: COHORT soddisfa contemporaneamente i vincoli di FPS e latenza nel 2.55 volte più spesso rispetto alla baseline.
  • Su Husky: 54.0% di successo (vs 21.2% della baseline).
  • Su Jackal: 41.5% (vs 11.6%).
  • Su Spot: 33.2% (vs 10.3%).
• Efficienza Energetica:
  • Riduzione del consumo di batteria (SoC drop) del 15.4% rispetto alle migliori baseline.
  • Migliore utilizzo della GPU: aumento del 51.67% nell'utilizzo delle risorse di calcolo, indicando un'allocazione più intelligente dei task.
• Adattabilità e Scalabilità:
  • Il sistema scala efficacemente aggiungendo nuovi dispositivi (es. un laptop Linux) senza riaddestramento da zero, inizializzando le nuove policy da robot con profili simili.
  • Dimostra resilienza in scenari di guasto (rimozione di un robot): le performance degradano in modo graduale e il sistema mantiene tassi di successo competitivi senza riaddestramento.
• Gestione del Carico: Rispetto alle aste statiche, la politica RL apprende quando è vantaggioso offloadare (es. su robot con risorse limitate come Spot) e quando è meglio eseguire localmente (es. su robot potenti come Husky), riducendo l'overhead di comunicazione.

5. Significato e Impatto

Il lavoro di COHORT rappresenta un passo avanti significativo verso l'autonomia robotica in ambienti ostili e privi di infrastruttura.

• Superamento dei Limiti Cloud-Edge: Dimostra che è possibile eseguire modelli VLM complessi su flotte di robot collaborativi senza bisogno di connettività cloud, un requisito fondamentale per le operazioni di soccorso in disastri.
• Ottimizzazione Olistica: Non si limita a ottimizzare la latenza, ma bilancia simultaneamente throughput, consumo energetico e affidabilità, trattando l'energia come un vincolo di primo livello.
• Robustezza Operativa: L'approccio ibrido e la tolleranza ai guasti rendono il sistema adatto a missioni di lunga durata in condizioni non stazionarie, dove i robot possono entrare ed uscire dal sistema dinamicamente.

In sintesi, COHORT fornisce una soluzione pratica e scalabile per l'inferenza collaborativa di grandi modelli AI su robot, trasformando vincoli di risorse limitate in un sistema di calcolo distribuito resiliente ed efficiente.