Joint UAV Flight and Opportunistic Routing under Reinforcement Learning for Delay-Tolerant Networks

Immaginate un mondo in cui Internet non esiste, o almeno non il tipo che tiene il vostro telefono connesso a un server ogni secondo. In luoghi come zone colpite da disastri, foreste remote o persino città affollate con segnali congestionati, i messaggi non possono semplicemente "volare" istantaneamente dal mittente al destinatario. Invece, devono giocare a una partita di "hot potato" (patata bollente). Questo è il mondo delle Reti Tolleranti ai Ritardi (DTN). Pensatelo come a un gioco di tag dove i giocatori sono auto e droni in movimento. Un messaggio è il "tag" che lo rende "it". Se catturate il tag, lo tenete finché non incrociate qualcun altro che possa trasportarlo più lontano. Lo memorizzate, lo trasportate e lo inoltrate solo quando vi avvicinate abbastanza a un'altra persona. Questo è chiamato "store-carry-forward" (memorizza-trasporta-inoltra).

La parte complicata è che queste reti sono spesso scarse e caotiche. I "giocatori" (auto e persone) si muovono su strade fisse, e il "tag" (il messaggio) ha un limite di tempo prima di scadere. Se i giocatori non si incontrano abbastanza spesso, o se diventano troppo affollati e rimangono senza tasche per contenere i tag, il messaggio va perduto. Per risolvere il problema, gli scienziati hanno iniziato a usare i Veicoli Aerei Non Pilotati (UAV), o droni, per agire come messaggeri volanti. I droni possono volare sopra il traffico, raggiungere zone più lontane e scegliere esattamente dove andare. Ma ecco la grande domanda: come si dice ai droni dove volare e si dice contemporaneamente alle auto a terra quando passare un messaggio, tutto senza un capo centrale che dica a tutti cosa fare? Se i droni volano nella direzione sbagliata, le auto potrebbero non incontrarsi mai. Se le auto passano i messaggi alle persone sbagliate, i droni potrebbero volare verso posti vuoti.

Questo è esattamente l'enigma affrontato dai ricercatori Xiao Wang e Shun-Ren Yang nel loro articolo su JUROR (Joint UAV flight and Opportunistic Routing). Non hanno solo tirato a indovinare; hanno costruito un sistema intelligente usando un tipo di intelligenza artificiale chiamata Apprendimento per Rinforzo (Reinforcement Learning). Immaginate una squadra di droni e auto che giocano insieme a un videogioco. Non hanno una mappa del futuro, ma imparano provando le cose. Se trasmettono un messaggio con successo, ottengono un "punto". Se un messaggio scade o se un drone si schianta contro una folla di altri droni, perdono punti. L'articolo simula questo scenario migliaia di volte per insegnare ai droni e alle auto come cooperare.

Il risultato principale è che quando i droni e le auto imparano a lavorare insieme come un'unica squadra, invece di seguire semplicemente regole fisse, consegnano molti più messaggi. I ricercatori hanno scoperto che i droni devono essere "controllabili" — ovvero, il sistema decide dove volano in base a dove il traffico è congestionato. Hanno anche scoperto che, mentre i droni possono usare una "guida di riferimento" (informazioni globali) durante l'apprendimento nel simulatore, devono prendere le proprie decisioni usando solo ciò che possono vedere localmente quando sono effettivamente operativi nel mondo reale. Questo approccio, chiamato Addestramento Centralizzato ed Esecuzione Decentrata (CTDE), si è rivelato la formula segreta.

Nelle loro simulazioni, il sistema JUROR ha superato significativamente i metodi tradizionali precedenti. Ad esempio, in uno scenario di test in cui sono stati inviati 69 messaggi, i vecchi metodi sono riusciti a consegnarne circa la metà, mentre il sistema JUROR ne ha consegnati oltre 57 (circa l'83%). L'articolo suggerisce che aggiungere semplicemente dei droni non è sufficiente; i doni devono essere guidati attivamente per creare nuovi punti di incontro per i veicoli a terra, e i veicoli devono decidere quando passare i messaggi in base a ciò che i droni stanno facendo. È una danza delicata dove i volatori e i camminatori devono muoversi in sincronia per mantenere fluente il flusso di informazioni, anche quando la rete è interrotta o scarsa.

La storia dei messaggeri volanti

Quindi, come funziona davvero JUROR? Immaginate una strada cittadina trafficata. Avete un gruppo di auto (i nodi a terra) bloccate nel traffico e alcuni droni (gli UAV) che ronzano sopra di voi. Le auto hanno messaggi che devono raggiungere destinazioni specifiche, ma possono parlare con altre auto o droni solo se sono vicine. Se le auto sono bloccate in un ingorgo, non possono raggiungere nessun altro. Se i droni volano semplicemente in cerchi casuali, potrebbero mancare completamente l'ingorgo.

I ricercatori si sono resi conto che il problema è una situazione di tipo "gallina e uovo". Le auto hanno bisogno che i droni volino verso di loro per far uscire i messaggi, ma i droni devono sapere dove si trova l'affollamento di auto per sapere dove volare. Per risolvere questo, JUROR tratta l'intera rete come una squadra di compagni di squadra. Ogni auto e ogni drone è un "agente" con il proprio cervello.

Il processo di apprendimento: Tentativo ed Errore
Il sistema utilizza un metodo chiamato Ottimizzazione della Politica Prossimale (PPO). Immaginate di insegnare a un cucciolo di portare un oggetto. Non dite al cucciolo esattamente come correre; lanciate semplicemente la pallina e dite "Bravo cane!" quando la riporta. Con il tempo, il cucciolo impara quali movimenti portano al premio. JUROR fa la stessa cosa, ma con la matematica.

1. La Simulazione: I ricercatori hanno creato un mondo virtuale (un simulatore) con 70 nodi: 65 auto e 5 droni. Hanno impostato diversi scenari di traffico, come un improvviso aumento di messaggi o un flusso costante di traffico.
2. Il Premio di Squadra: Invece di premiare solo un singolo drone o un'auto, il sistema assegna un "punteggio di squadra". Se un messaggio viene consegnato, tutti ricevono un punto. Se un messaggio scade (finisce il tempo) o se un buffer (memoria) si riempie e perde un messaggio, tutti perdono punti. Questo costringe i droni e le auto a cooperare. Se un drone vola in un punto dove non ci sono auto, non aiuta il punteggio della squadra. Se un'auto trattiene un messaggio troppo a lungo, la squadra perde.
3. La "Guida di Riferimento" vs Vita Reale: Ecco la parte intelligente. Quando il sistema sta imparando (addestramento), l'"insegnante" (il critico) può vedere l'intero tabellone. Sa esattamente dove si trova ogni auto e ogni drone, quanta memoria hanno e dove sono gli ingorghi. Usa questa "visione globale" per dire agli agenti: "Ehi, hai fatto una buona mossa!" o "Quella è stata una cattiva mossa!". Ma quando il sistema viene distribuito (utilizzato nel mondo reale), i droni e le auto possono vedere solo ciò che hanno davanti a loro. Non possono vedere l'intera città. Sanno solo chi stanno toccando o con chi stanno parlando in quel momento. L'articolo mostra che anche con questa visione limitata, gli agenti possono comunque performare incredibilmente bene perché sono stati addestrati con l'aiuto della "guida di riferimento".

Il nuovo lavoro dei droni
Nei sistemi più vecchi, i droni potevano semplicemente seguire un modello prestabilito, come un tosaerba che va avanti e indietro. Ma JUROR insegna ai droni a essere intelligenti. Essi osservano i "campi di stress". Immaginate che la città abbia mappe di calore invisibili che mostrano dove si stanno accumulando i messaggi. Se un gruppo di auto è bloccato in un'area con molti messaggi, quell'area brilla di rosso. I droni imparano a volare verso le zone rosse per raccogliere i messaggi e portarli via.
L'articolo ha anche testato se i droni dovessero cercare di prevedere dove il traffico sarà in futuro (usando uno strumento chiamato LSTM, che è come una memoria a breve termine per i modelli). Hanno scoperto che, sebbene questo possa aiutare in alcune situazioni, non è sempre necessario. A volte, reagire semplicemente all'attuale ingorgo è sufficiente. Infatti, in alcuni scenari di traffico pesante, cercare di prevedere il futuro ha reso il sistema leggermente peggiore perché le previsioni erano rumorose e confondevano i droni.

Cosa hanno scoperto
I risultati sono stati chiari. Nelle simulazioni, JUROR è stato un punto di svolta.

• Senza Droni: Se avete solo auto e nessun drone controllabile, il sistema fatica. In uno scenario di test, solo circa 13 messaggi su 69 sono stati consegnati.
• Con i Droni (Apprendimento): L'aggiunta di un solo drone controllabile ha fatto una grande differenza, consegnando oltre 45 messaggi. Quando i droni e le auto hanno imparato a lavorare insieme come una vera squadra, il tasso di consegna è schizzato a oltre 57 messaggi.
• Confronto con i Metodi Vecchi: JUROR ha consegnato significativamente più messaggi rispetto ai vecchi metodi in quasi tutti gli scenari, specialmente quando il traffico era intenso. Tuttavia, l'articolo nota che in scenari con movimento regolare e prevedibile, alcuni metodi tradizionali come PRoPHET hanno comunque performato piuttosto bene, dimostrando che il vantaggio di JUROR è più pronunciato in ambienti complessi, congestionati o caotici.

L'articolo ha anche escluso alcune idee. Hanno scoperto che non si possono trattare i droni come un elemento separato dalle auto. Bisogna ottimizzarli insieme. Se si cerca di ottimizzare il percorso di volo del drone separatamente dal routing dei messaggi, il sistema non riesce a raggiungere il suo pieno potenziale. Hanno anche scoperto che, sebbene la previsione degli "hotspot" (indovinare dove sarà il traffico) sembri interessante, non è una soluzione magica. Dipende fortemente dal tipo di traffico. A volte aiuta, a volte danneggia. La configurazione più affidabile è stata quella in cui i droni e le auto reagivano semplicemente alla situazione attuale usando le loro osservazioni locali, addestrate con l'aiuto di un insegnante globale.

Perché è importante
Non si tratta solo di inviare email più velocemente. Si tratta di cosa succede quando Internet si interrompe. Pensate a un disastro naturale in cui le torri cellulari sono fuori uso. Avete bisogno di far arrivare un messaggio da un sopravvissuto a una squadra di soccorso. Il sopravvissuto potrebbe trovarsi in un'auto, e la squadra di soccorso potrebbe trovarsi in un drone. Se il drone non sa dove volare, o se l'auto non sa quando passare il messaggio, il messaggio va perso. JUROR dimostra un modo per rendere queste reti robuste. Dimostra che lasciando che le parti volanti e quelle a terra imparino a danzare insieme, possiamo mantenere aperte le linee di comunicazione anche quando il mondo sta cadendo a pezzi.

I ricercatori non si sono limitati a costruire una teoria; hanno analizzato i numeri. Hanno testato il sistema contro altri cinque metodi famosi (come PRoPHET e MaxProp) e JUROR ha generalmente vinto, specialmente quando il traffico diventava pesante. L'articolo conclude che questo approccio "congiunto" — dove il percorso di volo e il percorso del messaggio vengono decisi insieme — è la chiave per sbloccare il pieno potenziale delle reti tolleranti ai ritardi. È un promemoria del fatto che in un mondo caotico, il modo migliore per rimanere connessi è lavorare come una squadra, sia che siate a terra o in cielo.