GUIDE: Guided Updates for In-context Decision Evolution in LLM-Driven Spacecraft Operations

1. Problématique et Contexte

Les opérations spatiales actuelles sont coûteuses, à haut risque et lentes à itérer. Contrairement aux déploiements terrestres, les missions spatiales ne permettent pas facilement de collecter de grandes quantités de nouvelles données, de réinitialiser l'environnement ou de réentraîner des politiques après le déploiement.

Cependant, de nombreux scénarios opérationnels (exploration, contrôle de guidage, navigation et contrôle autonome - GNC, services en orbite, interactions non coopératives) nécessitent un raisonnement supervisé dans l'incertitude, dépassant le simple contrôle de bas niveau. Les modèles de langage (LLM) sont des candidats prometteurs pour cette couche de supervision grâce à leurs capacités de raisonnement et d'apprentissage en contexte (In-Context Learning - ICL).

Les défis majeurs identifiés sont :

• Contraintes de latence : Les actions de contrôle doivent être générées dans des délais stricts, tandis que le raisonnement complexe sur des retours différés ou des interactions adverses est trop lent pour une intégration directe dans la boucle de contrôle.
• Adaptation : Les interactions avec des agents réactifs ou inconnus nécessitent une adaptation entre les épisodes, ce qui ne peut pas se faire en temps réel pendant l'exécution.
• Limitation des approches actuelles : Les méthodes existantes reposent sur des prompts statiques et ne s'améliorent pas au fil des exécutions répétées.

2. Méthodologie : Le Framework GUIDE

Les auteurs proposent GUIDE (Guided Updates for In-context Decision Evolution), un cadre d'amélioration de politique non paramétrique. L'objectif est d'adapter le comportement d'un agent LLM à travers des épisodes sans mettre à jour les poids du modèle (pas de rétropropagation ou de fine-tuning).

Architecture Principale

Le système sépare l'exécution en temps réel de l'apprentissage (réflexion) :

1. Modèle Acteur (Lightweight) : Un modèle de langage léger exécute le contrôle en temps réel. Il reste fixe tout au long du processus.
2. Modèle Réfléchissant (Frontier) : Un modèle plus puissant (hors ligne) analyse les trajectoires passées pour mettre à jour la stratégie.

Représentation de la Politique : Le "Playbook"

Au lieu d'optimiser des paramètres $\theta$, GUIDE optimise un Playbook ($P$), qui est une collection structurée de règles en langage naturel conditionnées par l'état.

• Le Playbook est une liste de "balles" (bullets) : $b_i = (\text{texte}_i, \text{condition}_i(s))$.
• Une règle devient active lorsque sa condition (ex: seuil de distance, état d'approche) est vraie.
• Ces règles actives sont injectées dynamiquement dans le contexte du modèle acteur, modifiant sa distribution de décision $\pi(a | s, P)$.

Boucle d'Amélioration (Offline Reflection)

Après des batches d'épisodes, le processus suivant est déclenché :

1. Échantillonnage biaisé ($\epsilon$) : Le système sélectionne des trajectoires pour réflexion. Avec une probabilité $1-\epsilon$, il choisit des échecs ; avec une probabilité $\epsilon$, il choisit des succès (pour éviter de sur-optimiser uniquement sur les erreurs).
2. Réflexion et Curaturation : Un modèle "Réfléchissant" analyse la trajectoire et propose des corrections. Un "Curateur" convertit ces propositions en opérations structurées sur le Playbook : AJOUTER, Mettre à JOUR ou SUPPRIMER des règles.
3. Sélection de Version (UCB) : Plusieurs versions du Playbook sont maintenues. Une règle Upper Confidence Bound (UCB1) sélectionne la meilleure version pour les prochains épisodes, équilibrant l'exploitation des versions performantes et l'exploration des nouvelles règles.

3. Expérimentation et Résultats

Environnement

L'évaluation a été réalisée dans l'environnement Kerbal Space Program Differential Games (KSPDG), simulant des rencontres orbitales adverses.

• Scénario : "Lady-Bandit-Guard" (LBG). L'agent contrôle le "Bandit" ($B$) qui doit minimiser la distance avec la "Lady" ($L$) tout en évitant d'être capturé par le "Garde" ($G$).
• Conditions : Quatre régimes de comportement du Garde (LG4 à LG7) : poursuite agressive, défensive, ou stochastique.

Métriques

Le score composite d'interception ($S$) pénalise la distance minimale entre le Bandit et la Lady, et récompense la distance avec le Garde (plus la distance au Garde est grande, mieux c'est). Un score plus bas est meilleur.

Résultats Clés (Tableau 1)

GUIDE a été comparé à une base LLM statique, un contrôleur LQR (Linear Quadratic Regulator) et une stratégie d'alignement prograde simple.

• Performance Globale : GUIDE surpasse systématiquement la base LLM statique et les contrôleurs classiques dans tous les scénarios.
• Améliorations Statistiques :
  • LG4 (Poursuite agressive) : Amélioration significative (p-value 0.043).
  • LG6 & LG7 (Stratégie défensive) : Améliorations massives et hautement significatives (p-value < 0.001). Le score moyen passe de l'ordre de $10^7$ (LLM statique) à $10^4$ (GUIDE).
  • LG5 (Stochastique) : Tendance à l'amélioration, bien que non significative statistiquement en raison de la variance élevée de la base.
• Analyse des Métriques (Tableau 2) :
  • Dans le scénario LG7, la distance Lady-Bandit a chuté de 258m à 52m (meilleure interception).
  • La distance Garde-Bandit a augmenté de 8m à 29m (meilleure évasion).
  • L'amélioration globale du score est de 82% à 99% après quelques évolutions.

Mécanisme d'Évolution

L'analyse montre que la première mise à jour du Playbook identifie systématiquement le même échec : le Bandit poursuit la Lady sans se soucier du Garde qui se rapproche. GUIDE apprend à ajouter des règles de type "évitement du garde" (suspension de la poursuite, poussée latérale) qui s'activent dynamiquement lorsque le Garde est trop proche, permettant une réengagement ultérieur.

4. Contributions et Signification

Contributions Principales :

1. Politique Non-Paramétrique : Démonstration qu'un LLM peut apprendre et s'adapter dans un système de contrôle dynamique en boucle fermée sans modifier ses poids, en optimisant uniquement le contexte (le Playbook).
2. Séparation Rôle/Exécution : Une architecture robuste séparant un modèle acteur rapide (temps réel) d'un modèle de réflexion lent (hors ligne), résolvant le dilemme latence/raisonnement.
3. Apprentissage par Contexte Structuré : Le Playbook agit comme un objet d'apprentissage persistant, servant de représentation de politique évolutive entre les épisodes.

Signification pour les Opérations Spatiales :

• Adaptabilité sans Réentraînement : GUIDE permet aux systèmes spatiaux de s'adapter à des agents adverses imprévisibles ou à des environnements changeants sans nécessiter de nouvelles données d'entraînement massives ou de mises à jour logicielles complexes en vol.
• Robustesse : La capacité à évoluer des règles conditionnelles permet de gérer des scénarios complexes (comme l'évitement de collision tout en poursuivant un objectif) que les politiques statiques ou les contrôleurs linéaires classiques ne peuvent pas résoudre efficacement.
• Vers une Autonomie Supérieure : Ce travail comble le fossé entre les algorithmes de contrôle de bas niveau et la prise de décision de niveau opérateur, ouvrant la voie à des agents spatiaux autonomes capables de raisonnement stratégique et d'adaptation continue.

En conclusion, GUIDE prouve que l'évolution du contexte dans les agents LLM fonctionne comme une recherche de politique efficace sur des règles de décision structurées, offrant une voie prometteuse pour l'autonomie spatiale dans des environnements dynamiques et hostiles.