DARA: Distributed Agent Reinforcement-based Adaptive routing in Flying Ad-hoc Network Environments

Sintesi Tecnica: DARA – Distributed Agent Reinforcement-based Adaptive Routing in Flying Ad-hoc Network Environments

Problematica
Le reti volanti ad hoc (FANET), composte da veicoli aerei non pilotati (UAV), affrontano sfide di routing uniche, distinte dalle tradizionali reti mobili ad hoc (MANET). Queste includono topologie tridimensionali altamente dinamiche, interruzioni rapide dei collegamenti dovute all'elevata mobilità, severi vincoli energetici e l'assenza di un'infrastruttura persistente. I protocolli MANET convenzionali (ad es. AODV, OLSR) degradano significativamente in questi ambienti a causa delle frequenti rotture dei percorsi e dell'elevato overhead. Allo stesso modo, le soluzioni esistenti specifiche per i FANET spesso si affidano a un clustering gerarchico o ad architetture di rete definite dal software (SDN) centralizzate. Il documento sostiene che gli approcci di clustering soffrono di elevati costi di ri-clustering e overhead di controllo durante i rapidi cambiamenti di topologia, mentre gli approcci SDN centralizzati introducono singoli punti di guasto (single points of failure) e latenza a causa della dipendenza dagli aggiornamenti dello stato globale. Inoltre, molti approcci di apprendimento per rinforzo (Reinforcement Learning - RL) esistenti per i FANET rimangono semi-centralizzati o integrati all'interno di framework di clustering, fallendo nel raggiungere una vera decentralizzazione.

Metodologia
Per affrontare tali limitazioni, gli autori propongono DARA (Distributed Agent Reinforcement-based Adaptive Routing), un framework di routing completamente decentralizzato. In DARA, ogni UAV opera come un agente di apprendimento indipendente e autonomo utilizzando il Q-learning. Il sistema non si affida a capogruppo (cluster heads) o a un controllore centrale.

• Modello di Rete: L'architettura consiste in UAV di tipo Low Altitude Platform (LAP) responsabili dell'acquisizione dei dati e UAV di tipo High Altitude Platform (HAP) che fungono da relay aerei verso una stazione di gestione dei disastri (DMS).
• Rappresentazione dello Stato: Ogni agente costruisce un vettore di stato locale che comprende l'energia residua, la qualità del collegamento (una combinazione ponderata di RSSI, rapporto di ricezione dei pacchetti e tempo di scadenza del collegamento), la distanza dal HAP più vicino, la velocità relativa dei vicini e l'occupazione del buffer dei vicini.
• Spazio delle Azioni: L'azione è la selezione di un vicino prossimo salto (next-hop) da un set di candidati filtrati per soglie di qualità del collegamento e progresso in avanti verso l'HAP.
• Funzione di Ricompensa: L'agente riceve una ricompensa scalare progettata per bilanciare quattro obiettivi: affidabilità della consegna dei pacchetti (PDR), qualità del collegamento, consumo energetico ed evitamento della congestione (occupazione del buffer). La funzione di ricompensa penalizza le trasmissioni energivore e l'inoltro verso nodi congestionati.
• Workflow Operativo: Il protocollo opera in tre fasi:
  1. Emissione di Beacon: Trasmissione periodica dello stato locale (posizione, energia, velocità) per mantenere le tabelle dei vicini.
  2. Epoca di Controllo: Un ciclo decisionale guidato dall'RL in cui l'agente seleziona un prossimo salto basandosi sulla propria Q-table (utilizzando una politica $\epsilon$-greedy), trasmette il pacchetto, osserva l'esito (ACK/timeout) e aggiorna il valore Q.
  3. Comportamento di Relay: I nodi riceventi controllano la presenza di duplicati, tentano la trasmissione diretta al HAP se entro portata, o inoltrano il pacchetto al prossimo salto selezionato dal proprio agente RL locale.

Contributi Chiave
Il documento delinea quattro contributi primari:

1. Framework Decentralizzato: L'introduzione di un framework di routing completamente distribuito in cui ogni UAV agisce come un agente RL indipendente, eliminando i colli di bottiglia associati alle strutture di clustering e ai coordinatori centralizzati.
2. Design della Ricompensa Multi-Obiettivo: Lo sviluppo di una rappresentazione dello stato compatta e di una funzione di ricompensa multi-obiettivo che ottimizza congiuntamente l'affidabilità del collegamento, la stabilità del routing, l'evitamento della congestione e l'uso dell'energia.
3. Algoritmi Leggeri: Il design di algoritmi pratici per lo scambio di beacon, la selezione del prossimo salto guidata dall'RL e il comportamento di relay, formando un workflow a tre fasi eseguibile efficientemente su UAV con risorse limitate.
4. Valutazione Esaustiva: Simulazioni estese utilizzando ns-3 accoppiato con ns3-gym per validare DARA rispetto ai baseline stabiliti (AODV, EMASS e ESOFCluster) attraverso vari modelli di mobilità e pattern di traffico.

Risultati
Simulazioni condotte su un'area di 2km $\times$ 2km con 30 a 50 LAP e velocità di mobilità variabili (10–25 m/s) dimostrano che DARA supera costantemente i protocolli di base:

• Packet Delivery Ratio (PDR): DARA ottiene un miglioramento del 10–25% rispetto ai baseline, con i guadagni più significativi osservati in scenari ad alta mobilità e alta densità dove i protocolli tradizionali soffrono di instabilità dei collegamenti.
• Ritardo End-to-End: DARA riduce il ritardo del 20–45% rispetto ad AODV e agli schemi basati su clustering, grazie all'evitamento del flooding per la scoperta dei percorsi e dell'overhead di manutenzione del cluster.
• Throughput: Il protocollo sostiene un throughput superiore del 18–40% utilizzando efficientemente i collegamenti stabili ed evitando hotspot di congestione.
• Overhead di Routing: DARA riduce l'overhead di controllo del 45–65% rispetto ai baseline, poiché elimina i flood di scoperta dei percorsi e i segnali di rielezione del cluster.
• Efficienza Energetica: Il consumo energetico relativo al routing è ridotto del 25–45%, principalmente grazie all'eliminazione degli eccessivi segnali di controllo e alla selezione di percorsi energeticamente efficienti.
• Stabilità del Collegamento: DARA mantiene tempi di mantenimento del collegamento significativamente più lunghi, indicando una superiore adattabilità alla mobilità 3D.

Significatività e Rivendicazioni
Il documento afferma che DARA valida il potenziale del routing decentralizzato guidato dall'apprendimento per rinforzo come soluzione scalabile e robusta per le reti di droni autonome di prossima generazione. Spingendo l'intelligenza verso il bordo della rete (edge) e facendo affidamento esclusivamente sulle interazioni locali, DARA affronta le criticità dei approcci centralizzati e gerarchici, specificamente i colli di bottiglia del piano di controllo e i singoli punti di guasto. Gli autori asseriscono che il design "free-clustering" è particolarmente vantaggioso in ambienti altamente dinamici dove minimizzare la complessità del controllo migliora direttamente l'efficienza della rete.

Il documento conclude con moderazione, riconoscendo limitazioni quali la scalabilità del Q-learning tabulare in spazi di stato estremamente grandi e l'attuale assunzione di comportamento completamente cooperativo. Il lavoro futuro proposto mira a integrare il deep reinforcement learning per una migliore generalizzazione e a incorporare meccanismi di sicurezza per ambienti avversari.