Joint UAV Flight and Opportunistic Routing under Reinforcement Learning for Delay-Tolerant Networks

Imaginez un monde où l'internet n'existe pas, ou du moins, pas le genre qui maintient votre téléphone connecté à un serveur chaque seconde. Dans des endroits comme les zones de catastrophe, les forêts reculées, ou même les villes denses avec des signaux saturés, les messages ne peuvent pas simplement « voler » instantanément de l'expéditeur au destinataire. Au lieu de cela, ils doivent jouer à un jeu de « patate chaude ». C'est le monde des réseaux tolérants aux délais (Delay-Tolerant Networks - DTN). Voyez cela comme une partie de chat que l'on joue avec des voitures et des drones en mouvement. Le message est l'étiquette « chat ». Si vous attrapez l'étiquette, vous la gardez jusqu'à ce que vous croisiez quelqu'un d'autre capable de la porter plus loin. Vous la stockez, vous la transportez et vous la transmettez uniquement lorsque vous êtes assez proche d'une autre personne. C'est ce qu'on appelle le « store-carry-forward » (stocker, transporter, transmettre).

La partie délicate est que ces réseaux sont souvent clairsemés et chaotiques. Les « joueurs » (voitures et personnes) se déplacent sur des routes fixes, et l'« étiquette » (le message) a une limite de temps avant d'expirer. Si les joueurs ne se rencontrent pas assez souvent, ou s'ils deviennent trop encombrés et manquent de poches pour tenir les étiquettes, le message est perdu. Pour corriger cela, des scientifiques ont commencé à utiliser des véhicules aériens non habités (Unmanned Aerial Vehicles - UAV), ou drones, pour agir comme des messagers volants. Les drones peuvent survoler le trafic, atteindre des zones plus lointaines et choisir exactement où aller. Mais voici la grande question : comment dire aux drones où voler et dire aux voitures au sol quand transmettre un message, tout cela en même temps, sans qu'un chef central ne dise à tout le monde quoi faire ? Si les drones volent dans la mauvaise direction, les voitures pourraient ne jamais se rencontrer. Si les voitures transmettent des messages aux mauvaises personnes, les drones pourraient voler vers des endroits vides.

C'est exactement le puzzle abordé par les chercheurs Xiao Wang et Shun-Ren Yang dans leur article sur JUROR (Joint UAV flight and Opportunistic Routing). Ils n'ont pas seulement deviné ; ils ont construit un système intelligent utilisant un type d'intelligence artificielle appelé Apprentissage par Renforcement (Reinforcement Learning). Imaginez une équipe de drones et de voitures jouant ensemble à un jeu vidéo. Ils n'ont pas de carte du futur, mais ils apprennent en essayant des choses. S'ils transmettent un message avec succès, ils gagnent un « point ». S'ils expirent ou si un drone entre en collision avec une foule d'autres drones, ils perdent des points. L'article simule ce scénario des milliers de fois pour apprendre aux drones et aux voitures comment coopérer.

La conclusion principale est que lorsque les drones et les voitures apprennent à travailler ensemble comme une seule équipe, plutôt que de simplement suivre des règles fixes, ils livrent beaucoup plus de messages. Les chercheurs ont découvert que les drones doivent être « contrôlables » — ce qui signifie que le système décide de l'endroit où ils volent en fonction de l'endroit où le trafic est congestionné. Ils ont également constaté que, bien que les drones puissent utiliser un « guide de référence » (information globale) pendant qu'ils apprennent dans le simulateur, ils doivent prendre leurs propres décisions en utilisant uniquement ce qu'ils peuvent voir localement lorsqu'ils sont réellement en action dans le monde réel. Cette approche, appelée Entraînement Centralisé et Exécution Décentralisée (CTDE), s'est avérée être la recette secrète.

Dans leurs simulations, le système JUROR a nettement surpassé les anciennes méthodes traditionnelles. Par exemple, dans un scénario de test où 69 messages ont été envoyés, les anciennes méthodes ont réussi à livrer environ la moitié d'entre eux, tandis que le système JUROR en a livré plus de 57 (environ 83 %). L'article suggère que le simple ajout de drones ne suffit pas ; les drones doivent être activement guidés pour créer de nouveaux points de rencontre pour les véhicules au sol, et les véhicules doivent décider quand transmettre des messages en fonction de ce que font les drones. C'est une danse délicate où les flyers et les marcheurs doivent bouger en synchronisation pour maintenir le flux d'informations, même lorsque le réseau est brisé ou clairsemé.

L'histoire des messagers volants

Alors, comment fonctionne réellement JUROR ? Imaginez une rue de ville très fréquentée. Vous avez un groupe de voitures (les nœuds au sol) coincées dans les embouteillages, et quelques drones (les UAV) qui bourdonnent au-dessus. Les voitures ont des messages qu'elles doivent envoyer à des destinations spécifiques, mais elles ne peuvent parler à d'autres voitures ou drones que si elles sont proches. Si les voitures sont bloquées dans un embouteillage, elles ne peuvent atteindre personne d'autre. Si les drones volent simplement en cercles aléatoires, ils pourraient rater complètement l'embouteillage.

Les chercheurs ont réalisé que le problème est une situation de type « l'œuf ou la poule ». Les voitures ont besoin que les drones volent vers elles pour transmettre les messages, mais les drones ont besoin de savoir où les voitures sont encombrées pour savoir où voler. Pour résoudre cela, JUROR traite l'ensemble du réseau comme une équipe de coéquipiers. Chaque voiture et chaque drone est un « agent » doté de son propre cerveau.

Le processus d'apprentissage : Essai et Erreur
Le système utilise une méthode appelée Optimisation de la Politique Proximale (PPO). Imaginez que vous enseigniez à un chiot à rapporter une balle. Vous ne lui dites pas exactement comment courir ; vous lancez juste la balle et dites « Bon chien ! » quand il la rapporte. Avec le temps, le chiot apprend quels mouvements mènent à la friandise. JUROR fait la même chose, mais avec des mathématiques.

1. La Simulation : Les chercheurs ont créé un monde virtuel (un simulateur) avec 70 nœuds : 65 voitures et 5 drones. Ils ont mis en place différents scénarios de trafic, comme une explosion soudaine de messages ou un flux constant de trafic.
2. La Récompense d'Équipe : Au lieu de récompenser un seul drone ou une seule voiture, le système donne un « score d'équipe ». Si un message est livré, tout le monde gagne un point. Si un message expire (manque de temps) ou si un tampon (mémoire) se remplit et abandonne un message, tout le monde perd des points. Cela force les drones et les voitures à coopérer. Si un drone vole vers un endroit où il n'y a pas de voitures, cela n'aide pas le score de l'équipe. Si une voiture garde un message trop longtemps, l'équipe perd.
3. Le « Guide de Référence » vs La Vie Réelle : Voici la partie ingénieuse. Lorsque le système est en phase d'entraînement (apprentissage), le « professeur » (le critique) peut voir tout le plateau. Il sait exactement où se trouvent chaque voiture et chaque drone, quelle est leur mémoire disponible et où se trouvent les embouteillages. Il utilise cette « vue globale » pour dire aux agents : « Hé, tu as fait un bon mouvement ! » ou « C'était un mauvais mouvement ! ». Mais quand le système est déployé (utilisé dans le monde réel), les drones et les voitures ne peuvent voir que ce qui se trouve juste devant eux. Ils ne peuvent pas voir toute la ville. Ils savent seulement qui ils touchent ou avec qui ils communiquent actuellement. L'article montre que même avec cette vue limitée, les agents peuvent être incroyablement performants parce qu'ils ont été entraînés avec l'aide du « guide de référence ».

Le nouveau travail des drones
Dans les anciens systèmes, les drones pouvaient simplement voler selon un motif préétabli, comme une tondeuse faisant des allers-retours. Mais JUROR apprend aux drones à être intelligents. Ils observent des « champs de stress ». Imaginez que la ville possède des cartes thermiques invisibles montrant où les messages s'accumulent. Si un groupe de voitures est coincé dans une zone avec beaucoup de messages, cette zone devient rouge. Les drones apprennent à voler vers les zones rouges pour ramasser les messages et les transporter ailleurs.

L'article a également testé si les drones devaient essayer de prédire où le trafic sera dans le futur (en utilisant un outil appelé LSTM, qui est comme une mémoire à court terme pour les modèles). Ils ont découvert que, bien que cela puisse aider dans certaines situations, ce n'est pas toujours nécessaire. Parfois, il suffit de réagir au bouchon de trafic actuel. En fait, dans certains scénarios de trafic intense, essayer de prédire le futur rendait le système légèrement moins performant car les prédictions étaient bruyantes et confondaient les drones.

Ce qu'ils ont trouvé
Les résultats étaient clairs. Dans les simulations, JUROR a changé la donne.

• Sans Drones : Si vous avez seulement des voitures et aucun drone contrôlable, le système peine. Dans un test, seulement environ 13 des 69 messages ont été livrés.
• Avec des Drones (Apprentissage) : Ajouter un seul drone contrôlable a fait une énorme différence, livrant plus de 45 messages. Lorsque les drones et les voitures ont appris à travailler ensemble comme une équipe complète, le taux de livraison a grimpé en flèche pour dépasser les 57 messages.
• Comparaison avec les anciennes méthodes : JUROR a livré nettement plus de messages que les anciennes méthodes dans la plupart des scénarios, surtout quand le trafic était dense. Cependant, l'article note que dans des scénarios de mouvement régulier et prévisible, certaines méthodes traditionnelles comme PRoPHET ont également bien fonctionné, montant que l'avantage de JUROR est plus marqué dans les environnements complexes, encombrés ou chaotiques.

L'article a également écarté quelques idées. Ils ont découvert qu'on ne peut pas simplement traiter les drones comme une entité séparée des voitures. Il faut les optimiser ensemble. Si vous essayez d'optimiser la trajectoire de vol du drone séparément du routage des messages, le système ne parvient pas à atteindre son plein potentiel. Ils ont aussi trouvé que si la prédiction de « hotspot » (deviner où sera le trafic) semble intéressante, elle n'est pas une solution miracle. Cela dépend fortement du type de trafic. Parfois cela aide, parfois cela nuit. La configuration la plus fiable était celle où les drones et les voitures réagissaient simplement à la situation actuelle en utilisant leurs observations locales, formés avec l'aide d'un enseignant global.

Pourquoi c'est important
Il ne s'agit pas seulement d'envoyer des e-mails plus rapidement. Il s'agit de ce qui se passe quand l'internet se brise. Pensez à une catastrophe naturelle où les tours de téléphonie mobile sont tombées. Vous devez transmettre un message d'un survivant à une équipe de secours. Le survivant peut être dans une voiture, et l'équipe de secours peut être dans un drone. Si le drone ne sait pas où voler, ou si la voiture ne sait pas quand transmettre le message, le message est perdu. JUROR montre un moyen de rendre ces réseaux robustes. Il prouve qu'en laissant les parties volantes et terrestiles du réseau apprendre à danser ensemble, nous pouvons maintenir les lignes de communication ouvertes même quand le monde s'effondre.

Les chercheurs n'ont pas seulement construit une théorie ; ils ont fait les calculs. Ils ont testé le système contre cinq autres méthodes célèbres (comme PRoPHET et MaxProp) et JUROR a généralement gagné, surtout lorsque le trafic devenait lourd. L'article conclut que cette approche « conjointe » — où le chemin de vol et le chemin du message sont décidés ensemble — est la clé pour débloquer tout le potentiel des réseaux tolérants aux délais. C'est un rappel que dans un monde chaotique, la meilleure façon de rester connecté est de travailler en équipe, que l'on soit au sol ou dans le ciel.