Evaluating Robustness and Adaptability in Learning-Based Mission Planning for Active Debris Removal

Cet article évalue trois approches de planification de mission pour l'élimination active des débris, démontrant que si l'apprentissage par renforcement avec randomisation de domaine offre un équilibre robuste entre vitesse et adaptabilité, la recherche arborescente Monte Carlo offre une gestion des contraintes supérieure au prix d'un temps de calcul nettement plus élevé, soulignant un compromis critique entre l'efficacité de la politique apprise et la flexibilité basée sur la recherche.

L'essentiel

Imaginez que vous êtes le capitaine d'un vaisseau spatial chargé de nettoyer une pièce encombrée de débris (débris spatiaux). Vous disposez d'une quantité limitée de carburant (comme un réservoir d'essence) et d'une échéance stricte (comme un couvre-feu). Votre tâche est de visiter autant de morceaux de détritus que possible, de vous arrêter à une station-service si nécessaire pour faire le plein, et de revenir à temps.

Ce document est une course entre trois différents « cerveaux » essayant de trouver le meilleur itinéraire pour nettoyer la pièce. Les chercheurs ont testé l'efficacité de chaque cerveau lorsque les règles du jeu restent les mêmes, et comment ils gèrent les situations où les règles changent soudainement (comme manquer de carburant plus vite que prévu ou avoir moins de temps).

Voici comment les trois concurrents se classent, en utilisant des analogies simples :

Les trois concurrents

1. Le « Spécialiste » (PPO Nominal)

• Ce que c'est : C'est un robot entraîné spécifiquement pour un scénario parfait. C'est comme un étudiant qui a mémorisé les réponses d'un examen blanc spécifique.
• Comment il fonctionne : Il apprend par essais et erreurs jusqu'à ce qu'il connaisse exactement les meilleurs mouvements pour une mission standard (7 jours, plein de carburant).
• Le piège : Il est incroyablement rapide. Il prend des décisions en un clin d'œil. Cependant, si vous changez les questions de l'examen (par exemple, « Maintenant, tu n'as que la moitié du carburant »), il panique. Il essaie d'utiliser les mêmes mouvements mémorisés, tombe en panne d'essence et échoue lamentablement. Il est excellent quand tout se passe exactement comme prévu, mais fragile quand les choses tournent mal.

2. Le « Généraliste » (PPO avec Randomisation de Domaine)

• Ce que c'est : C'est un robot entraîné sur de nombreux scénarios différents. C'est comme un étudiant qui ne s'est pas contenté de mémoriser un seul examen, mais qui s'est entraîné avec des niveaux de carburant et des limites de temps aléatoires chaque jour.
• Comment il fonctionne : Il a appris à être flexible. Il sait être agressif lorsqu'il a beaucoup de carburant et savoir être conservateur lorsqu'il manque d'essence.
• Le piège : Il est toujours très rapide (tout comme le Spécialiste). Lorsque les règles changent, il s'adapte beaucoup mieux que le Spécialiste. Il n'est pas aussi performant que le Spécialiste dans le scénario parfait, mais il ne s'écrase pas quand le scénario devient difficile. C'est un bon compromis.

3. Le « Calculateur » (MCTS)

• Ce que c'est : Ce n'est pas un robot pré-entraîné ; c'est un super-ordinateur qui réfléchit à chaque futur possible avant de faire un seul mouvement. C'est comme un grand maître d'échecs qui simule 200 parties différentes dans sa tête avant de bouger une pièce.
• Comment il fonctionne : À chaque étape, il demande : « Si je vais ici, que se passe-t-il ensuite ? Si je vais là, que se passe-t-il après ? » Il replanifie constamment en fonction de la situation actuelle.
• Le piège : Il est le plus intelligent pour gérer les surprises. Si vous coupez le carburant de moitié, il recalcule instantanément le meilleur chemin et réussit quand même sa mission. Cependant, il est lent. Alors que les deux autres prennent des décisions en moins d'une seconde, celui-ci prend plus de quatre minutes pour réfléchir à un seul mouvement. Dans une véritable urgence sur un vaisseau spatial, attendre quatre minutes pour décider où tourner pourrait être trop long.

Les résultats de la course

Les chercheurs ont mené 300 tests pour voir qui gagnait sous différentes conditions :

• Le test de la « Journée Parfaite » (Carburant et Temps Normaux) :
  Le Spécialiste a gagné par une infime marge. Il connaissait l'itinéraire parfaitement. Le Généraliste était presque aussi bon, et le Calculateur était légèrement derrière mais faisait un excellent travail.

• Le test du « Manque de Temps » (3 jours au lieu de 7) :
  Tout le monde a eu des difficultés car l'horloge tournait plus vite. Le Généraliste s'est le mieux adapté et a nettoyé le plus de détritus. Le Spécialiste s'est confondu et a nettoyé moins de débris. Le Calculateur s'en est bien sorti mais a été légèrement plus lent à réagir que le Généraliste.

• Le test du « Manque de Carburant » (1/3 du carburant) :
  Ce fut le grand choc. Le Spécialiste s'est effondré ; il a essayé de suivre son itinéraire habituel, est tombé en panne immédiatement et a à peine nettoyé quoi que ce soit. Le Généraliste s'en est beaucoup mieux sorti, nettoyant plus du double de ce que le Spécialiste a fait, mais il n'a toujours pas pu battre le Calculateur. Le Calculateur était le grand vainqueur ici car il a pu voir instantanément qu'il devait être très prudent avec son carburant et a changé son plan à la volée.

La grande leçon

L'article conclut qu'il existe un compromis entre la vitesse et la flexibilité :

• Si vous savez que les règles ne changeront pas, utilisez le Spécialiste. Il est rapide et efficace.
• Si vous pensez que les règles pourraient légèrement changer, utilisez le Généraliste. C'est un compromis intelligent qui est rapide mais peut gérer certaines surprises.
• Si les règles sont chaotiques et que vous avez besoin du meilleur plan possible, peu importe le prix, utilisez le Calculateur. Mais attention : cela prend du temps pour réfléchir.

Les auteurs suggèrent que l'avenir du nettoyage spatial pourrait consister à mélanger ces approches : entraîner des robots pour qu'ils soient des « Généralistes » (comme le deuxième robot) afin qu'ils soient intelligents et rapides, mais peut-être en leur donnant un peu de la capacité du « Calculateur » pour revérifier leurs plans quand les choses deviennent vraiment folles.

Résumé technique

Résumé technique : Évaluation de la robustesse et de l'adaptabilité de la planification de mission basée sur l'apprentissage pour l'élimination active des débris

Énoncé du problème
L'élimination active des débris (ADR - Active Debris Removal) en orbite terrestre basse (LEO) nécessite que des engins spatiaux autonomes effectuent des rendez-vous séquentiels avec plusieurs objets de débris sous des contraintes opérationnelles strictes. Le défi central est un problème de prise de décision séquentielle contraint où l'engin spatial doit maximiser le nombre de débris éliminés tout en respectant des limites strictes sur la durée totale de la mission et le $\Delta v$ cumulé (budget de carburant). L'engin spatial opère dans une bande d'altitude de 700 à 800 km, utilisant des transferts de Hohmann co-elliptiques et des manœuvres d'ellipse de sécurité terminale. Une complication critique est le potentiel de « décalage de distribution » (distributional shift), où les conditions de déploiement (par exemple, un carburant réduit ou un temps de mission raccourci) diffèrent des paramètres supposés lors de l'entraînement des politiques apprises. Le problème est complexifié par la nécessité d'un ravitaillement en cours de mission, qui réinitialise le budget de $\Delta v$ mais consomme du temps de mission.

Méthodologie
Les auteurs évaluent et comparent trois stratégies de planification distinctes au sein d'un environnement de simulation orbitale haute fidélité (SpaceDeclsStressTestEnv) impliquant 50 cibles de débris générées aléatoirement par épisode. Toutes les méthodes utilisent un masquage d'action pour imposer les contraintes de faisabilité ( $\Delta v$ restant, temps, et statut de visite).

1. PPO Masqué Nominal : Un agent d'optimisation de politique proximale (PPO) entraîné sur des paramètres de mission fixes et nominaux (durée de 7 jours, 3 km/s de $\Delta v$). Il utilise un perceptron multicouche (MLP) avec deux couches cachées (256 unités) et est entraîné pendant 1 million de pas de temps (timesteps).
2. PPO Masqué avec Randomisation de Domaine : Une architecture PPO identique entraînée pendant 5,5 millions de pas de temps, mais avec des paramètres de mission (durée et budget de $\Delta v$) randomisés au début de chaque épisode. Cette approche vise à améliorer la robustesse face aux décalages de distribution.
3. MCTS Classique (Monte Carlo Tree Search) : Une ligne de base de recherche en ligne utilisant l'algorithme UCT (Upper Confidence bounds applied to Trees). Elle effectue 200 simulations par étape de décision avec une politique de déploiement aléatoire uniforme pour les déroulements (rollouts). Elle replanifie dynamiquement à chaque étape sans entraînement préalable.

Résultats Clés
Les méthodes ont été testées sur 300 cas (100 par scénario) couvrant des conditions nominales, un carburant réduit (1 km/s) et un temps de mission réduit (3 jours).

• Performance Nominale : Sous des conditions correspondant à l'entraînement, le PPO Nominal a obtenu le plus haut taux moyen d'élimination de débris (29,1 objets), surpassant légèrement le PPO avec Randomisation de Domaine (28,2) et le MCTS (27,1). Les deux variantes de PPO ont démontré des temps d'inférence inférieurs à la seconde.
• Temps de Mission Réduit : Lorsque la durée a été ramenée à 3 jours, le PPO avec Randomisation de Domaine a montré la meilleure adaptabilité (14,1 objets), surpassant à la fois le PPO Nominal (12,6) et le MCTS (11,9).
• Carburant ($\Delta v$) Réduit : Sous de sévères contraintes de carburant (1 km/s), le PPO Nominal s'est fortement dégradé, n'éliminant que 3,2 objets en moyenne en raison d'une épuisement précoce du carburant. Le PPO avec Randomisation de Domaine s'est nettement amélioré (8,1 objets) mais reste en retrait par rapport au MCTS (15,0 objets).
• Coût Computationnel : Le MCTS a subi une pénalité de calcul massive, avec une moyenne de plus de 4 minutes par cas de test en raison des clonages d'environnement et des déroulements répétés. En revanche, les deux variantes de PPO ont nécessité moins d'une seconde par épisode.

Signification et Revendications
L'article avance qu'il existe un compromis fondamental entre la vitesse des politiques apprises et l'adaptabilité des méthodes de recherche pour la planification de mission ADR.

• Politiques Apprises : Offrent une inférence rapide adaptée à l'exécution embarquée en temps réel, mais sont fragiles lorsque les conditions de déploiement s'écartent des distributions d'entraînement.
• Méthodes de Recherche (MCTS) : Offrent une adaptabilité supérieure aux changements de contraintes grâce à la replanification en ligne, mais sont trop coûteuses en calcul pour une exécution en temps réel sur du matériel aux ressources limitées.
• Randomisation de Domaine : L'étude démontre que l'entraînement avec des paramètres de mission diversifiés comble partiellement cet écart. Bien qu'elle entraîne une perte modérée de performance nominale et nécessite beaucoup plus d'étapes d'entraînement (5,5M contre 1M), elle produit une politique dotée d'une robustesse nettement améliorée face aux changements de contraintes par rapport à une politique nominale.

Les auteurs concluent que, bien qu'aucune méthode ne propose actuellement à la fois une vitesse et une adaptabilité optimales, combiner la diversité lors de l'entraînement (randomisation de domaine) avec des stratégies de planification en ligne représente une voie prometteuse pour de futurs systèmes ADR résilients. Ils suggèrent que des cadres hybrides, tels que ceux mélangeant des prédictions de politiques neuronales avec une recherche arborescente (par exemple, AlphaZero ou MuZero), pourraient constituer une direction viable pour l'avenir afin d'atteindre à la fois efficacité et adaptabilité.