COHORT: Hybrid RL for Collaborative Large DNN Inference on Multi-Robot Systems Under Real-Time Constraints

Le papier présente COHORT, un cadre d'inférence collaborative de réseaux de neurones profonds pour systèmes multi-robots qui utilise une stratégie d'apprentissage par renforcement hybride (offline AWR et online MAPPO) pour optimiser la répartition des tâches, réduisant ainsi la consommation d'énergie et augmentant l'utilisation du GPU tout en respectant les contraintes temps réel.

L'essentiel

🤖 COHORT : Le Chef d'Orchestre pour une Armée de Robots

Imaginez une équipe de robots de sauvetage (comme des chiens robotisés, des véhicules tout-terrain ou des drones) envoyés dans une zone de catastrophe, comme un tremblement de terre. Leur mission est vitale : repérer des survivants, analyser des décombres et répondre à des questions en temps réel.

Le problème ? Ces robots sont intelligents, mais ils ont des cerveaux limités (batteries faibles, processeurs modestes) et ils sont souvent déconnectés d'Internet (pas de cloud, pas de serveurs). Si l'un d'eux essaie de faire tout le travail seul, il va épuiser sa batterie en une heure ou devenir trop lent pour être utile.

COHORT est la solution proposée par les chercheurs. C'est un système qui permet à ces robots de s'entraider intelligemment pour partager le travail, comme une équipe de pompiers qui se répartit les tâches sans avoir besoin d'un chef central qui crie des ordres.

🧠 L'Analogie du "Restaurant de Quartier"

Pour comprendre comment COHORT fonctionne, imaginez un quartier avec plusieurs petits restaurants (les robots) qui doivent préparer des plats complexes (les analyses d'images par intelligence artificielle).

1. Le Problème : Chaque restaurant a une cuisine différente.

   • Le Restaurant A (Husky) a un grand four et un chef rapide.
   • Le Restaurant B (Jackal) a un petit four et un chef moyen.
   • Le Restaurant C (Spot) a une cuisine très petite et un chef fatigué.
   • S'ils cuisinent tous seuls, le Restaurant C va brûler ses ingrédients (batterie) et mettre 10 minutes à servir un plat.

2. La Solution COHORT (Le Système de Commande) :
   Au lieu que chaque restaurant décide seul, ils utilisent un système intelligent basé sur deux étapes :

   • Étape 1 : L'Entraînement sur le Papier (Apprentissage Hors Ligne)
     Avant de sortir sur le terrain, les chercheurs simulent des milliers de situations. Ils utilisent une méthode appelée "enchères" : chaque robot dit "Je peux faire ce plat pour X euros (coût en énergie)". Ils enregistrent qui a gagné et comment ça s'est passé. C'est comme si les chefs s'entraînaient dans une cuisine virtuelle pour apprendre qui est le meilleur pour quel type de plat.

   • Étape 2 : L'Adaptation en Direct (Apprentissage en Ligne)
     Une fois sur le terrain, la situation change (il fait chaud, un robot est blessé, la batterie faiblit). Le système COHORT utilise une technique appelée Apprentissage par Renforcement Hybride.

     • C'est comme un chef qui a lu le livre de cuisine (l'entraînement hors ligne) mais qui ajuste ses décisions en temps réel en fonction de la foule et de l'état de ses fourneaux.
     • Si le Restaurant C reçoit une commande trop lourde, il ne panique pas. Il lance un signal : "J'ai besoin d'aide !".
     • Le Restaurant A, qui a de la batterie et un bon four, dit : "Je prends ça !" et exécute la tâche.

🚀 Comment ça marche concrètement ?

Le système COHORT utilise une intelligence artificielle spéciale (appelée RL Hybride) qui combine deux forces :

1. La sagesse de l'expérience passée (ce qu'ils ont appris en simulation).
2. L'adaptation immédiate (ce qu'ils voient en ce moment même).

Concrètement, quand un robot doit analyser une image (par exemple, "Combien de personnes vois-tu ?"), il ne le fait pas tout seul. Il demande à ses camarades :

• "Qui est le plus libre ?"
• "Qui a le plus de batterie ?"
• "Qui est le plus proche ?"

Le robot qui gagne l'« enchère » (celui qui peut le faire le mieux et le plus vite) exécute la tâche. Le résultat est renvoyé au robot demandeur.

🏆 Les Résultats Magiques

Les chercheurs ont testé ce système avec de vrais robots (des chiens robotisés Boston Dynamics Spot, des véhicules Jackal et Husky) et des modèles d'intelligence artificielle très lourds (comme CLIP et SAM).

Les résultats sont impressionnants :

• Moins de fatigue : Les robots ont économisé 15 % de batterie. C'est comme si un coureur de marathon trouvait un moyen de courir plus vite en dépensant moins d'énergie.
• Plus de rapidité : Ils sont parvenus à traiter les images 2,5 fois plus souvent dans les délais requis.
• Meilleure utilisation : Les "cerveaux" des robots (les cartes graphiques) sont utilisés beaucoup plus efficacement (jusqu'à 50 % de mieux).

💡 En Résumé

COHORT, c'est comme donner à une équipe de robots un sixième sens collaboratif. Au lieu de travailler isolément et de s'épuiser, ils agissent comme une seule entité intelligente qui répartit le travail là où il est le plus facile à faire.

C'est une avancée majeure pour les missions de sauvetage, car cela permet aux robots de rester en vie plus longtemps, de voir plus loin et de prendre de meilleures décisions, même quand ils sont loin de toute aide humaine.

Résumé technique

Voici un résumé technique détaillé de l'article scientifique concernant le framework COHORT, présenté en français.

Titre du Projet

COHORT : Inférence Collaborative de grands DNN par Apprentissage par Renforcement Hybride sur des Systèmes Multi-Robotes sous Contraintes Temps Réel

---

1. Problématique

L'article aborde le défi de déployer de grands réseaux de neurones profonds (DNN), en particulier les modèles multimodaux et basés sur des transformateurs (comme les modèles Vision-Language ou VLM tels que CLIP et SAM), sur des plateformes robotiques autonomes en bordure de réseau (edge).

Les principaux obstacles identifiés sont :

• Contraintes de ressources : Les robots de terrain (ex: véhicules terrestres non téléguidés - UGV) ont des capacités de calcul, de mémoire et d'énergie limitées.
• Environnements hostiles : Dans des scénarios critiques comme la recherche et le sauvetage (SAR), l'accès au cloud ou à une infrastructure serveur est souvent impossible en raison de l'absence de connectivité réseau fiable.
• Hétérogénéité et Volatilité : Les systèmes multi-robots sont composés d'agents aux capacités variées (CPU/GPU différents, batteries différentes) et dont les ressources fluctuent dynamiquement (mobilité, température, charge de travail).
• Échec des approches existantes : Les méthodes de partitionnement statique ou les algorithmes d'enchères classiques (auction-based) ne parviennent pas à s'adapter efficacement aux changements dynamiques, entraînant une consommation excessive d'énergie, des violations de délais (latence) et une baisse du débit (FPS).

2. Méthodologie : Le Framework COHORT

COHORT est un framework d'exécution de tâches distribué et conscient des ressources, construit sur ROS (Robot Operating System). Il repose sur une stratégie d'Apprentissage par Renforcement Hybride (Hybrid RL) combinant l'apprentissage hors ligne (offline) et en ligne (online) pour orchestrer l'exécution collaborative de modules DNN.

Architecture du Système

• Agents : Un essaim hétérogène de robots (ex: Husky, Jackal, Spot) fonctionnant en pair-à-pair (peer-to-peer) sans contrôle centralisé.
• Workload : Des pipelines de perception complexes (CLIP et SAM) divisés en modules exécutables (encodeurs, décodeurs, détecteurs, etc.).
• Décision : Chaque robot observe son état local (batterie, CPU/GPU, mémoire, file d'attente) et décide s'il doit exécuter une tâche localement, la transférer à un pair (offloading), ou accepter une tâche d'un autre.

Stratégie d'Apprentissage Hybride (3 Phases)

Pour éviter les risques de sécurité et l'inefficacité d'échantillonnage du RL pur sur du matériel réel, COHORT utilise un curriculum en trois phases :

1. Phase A : Initialisation par Clonage de Comportement (Behavior Cloning - BC)

   • Utilisation de données historiques collectées via un mécanisme d'enchères heuristique.
   • Un acteur partagé (partagé entre tous les robots) apprend à imiter les décisions de l'enchère pour garantir une base de fonctionnement sûre et stable dès le déploiement.
   • Formulation CTDE (Centralized Training, Decentralized Execution).

2. Phase B : Amélioration Hors Ligne (Offline Policy Improvement)

   • Utilisation de l'Advantage-Weighted Regression (AWR) sur les données collectées.
   • Le système apprend à biaiser la politique vers les actions ayant généré de meilleurs retours (moins de latence, meilleure gestion de l'énergie) par rapport à l'heuristique initiale, sans interaction supplémentaire avec le monde réel.
   • Un critique centralisé est entraîné pour évaluer la qualité des actions.

3. Phase C : Affinage en Ligne (Online MAPPO)

   • Déploiement de la politique pré-entraînée sur les robots réels.
   • Utilisation de Multi-Agent PPO (MAPPO) pour affiner la politique en temps réel en fonction des conditions dynamiques (nouvelles charges de travail, défaillances, changements de topologie).
   • Contraintes Lagrangiennes : Des multiplicateurs de Lagrange sont utilisés pour pénaliser strictement les violations de contraintes (dépassement de batterie, non-respect des délais/FPS), assurant que l'optimisation respecte les limites physiques du système.

3. Contributions Clés

1. Framework d'exécution distribué conscient des ressources : Une pipeline RL à deux étapes permettant l'exécution de grands DNN sur des agents hétérogènes avec une communication minimale entre pairs.
2. Stratégie de réallocation de tâches tolérante aux pannes : Un mécanisme capable de rééquilibrer dynamiquement les charges en cas de défaillance d'un robot, de surcharge de calcul ou de depletion énergétique, tout en maintenant la précision de la perception.
3. Déploiement et évaluation réels : Validation sur trois plateformes robotiques réelles (Husky, Jackal, Spot) avec des workloads VLM réels (CLIP, SAM), démontrant la scalabilité et la robustesse du système.

4. Résultats Expérimentaux

Les expériences ont été menées sur un testbed hétérogène avec des workloads CLIP et Grounded-SAM. COHORT a été comparé à une exécution locale (Baseline), à des enchères distribuées, et à un algorithme génétique (GA).

Performances principales :

• Réduction de la consommation d'énergie : COHORT réduit la consommation de batterie de 15,4 % par rapport aux méthodes de base.
• Utilisation des ressources : Augmentation de l'utilisation du GPU de 51,67 %, indiquant une meilleure exploitation des capacités de calcul disponibles.
• Respect des contraintes temps réel : Le système satisfait les contraintes de débit (FPS) et de délais (deadlines) 2,55 fois plus souvent que les méthodes de référence (enchères ou algorithmes génétiques).
• Comparaison avec les baselines :
  • Sur le robot Husky, le taux de réussite (respect simultané du FPS et de la latence) passe de 21,21 % (Baseline) à 54,0 % (COHORT).
  • Sur le robot Spot (plus contraint), le taux passe de 10,3 % à 33,2 %.
• Scalabilité et Résilience :
  • Le système s'adapte à l'ajout de nouveaux robots sans réentraînement complet (initialisation par masquage de la politique).
  • Il maintient des performances stables même en cas de défaillance d'un robot (dégradation gracieuse).

5. Signification et Impact

Ce travail est significatif car il déplace le paradigme de l'inférence collaborative des robots de la simulation vers des déploiements réels en conditions réelles.

• Autonomie accrue : En optimisant l'énergie et en respectant les délais sans infrastructure cloud, COHORT permet aux robots de fonctionner plus longtemps et plus efficacement dans des missions critiques (catastrophes, zones sinistrées).
• Efficacité de l'apprentissage : La combinaison de l'apprentissage hors ligne (AWR) et en ligne (MAPPO) résout le problème de la sécurité et de l'efficacité des échantillons, rendant le RL applicable sur du matériel physique fragile.
• Gestion de l'hétérogénéité : Le framework prouve qu'il est possible de coordonner des robots aux capacités très différentes pour exécuter des modèles d'IA complexes de manière collaborative et robuste.

En conclusion, COHORT offre une solution pratique et robuste pour l'exécution de modèles d'IA de pointe sur des essaims de robots autonomes dans des environnements contraints et dynamiques.