GUIDE: Guided Updates for In-context Decision Evolution in LLM-Driven Spacecraft Operations

Titel: GUIDE: Geleide Updates voor In-context Beslissingsevolutie in LLM-gestuurde Ruimtevaartoperaties

Conferentie: CVPR 2026 AI4Space Workshop
Auteurs: Alejandro Carrasco, Mariko Storey-Matsutani, Victor Rodriguez-Fernandez, Richard Linares (MIT & Universidad Politecnica de Madrid)

1. Het Probleem

Ruimtevaartoperaties zijn kostbaar, riskant en vereisen snelle iteratie, maar missen vaak de mogelijkheid om grote hoeveelheden nieuwe data te verzamelen of beleidsmodellen na deploy te hertrainen. Bestaande benaderingen voor supervisie door Large Language Models (LLM's) in ruimtevaartopdrachten hebben twee fundamentele beperkingen:

1. Statische Prompting: Bestaande methoden gebruiken statische prompts die niet verbeteren naarmate de agent meer ervaring opdoet. Ze kunnen niet adaptief zijn op basis van eerdere mislukkingen of successen.
2. Dualiteit van Constraints: Er is een conflict tussen de noodzaak van snelle, real-time controle (lage latentie) en de behoefte aan diepgaand redeneren voor adaptatie. Zware redeneringsmodellen zijn te traag voor de controlelus, terwijl snelle modellen geen complexe aanpassingen kunnen maken tijdens de uitvoering.

Het doel is een systeem te creëren dat onder onzekerheid kan redeneren en zich kan aanpassen aan dynamische, mogelijk vijandige omgevingen zonder de modelgewichten (parameters) te hoeven updaten, wat in de praktijk vaak onmogelijk is.

2. Methodologie: Het GUIDE Framework

GUIDE (Guided Updates for In-context Decision Evolution) is een niet-parametrisch framework voor beleidsverbetering. In plaats van de gewichten van het LLM te optimaliseren, evolueert het systeem een gestructureerde "playbook" (een verzameling natuurlijke taalregels) die als context fungeert.

Het framework bestaat uit de volgende kerncomponenten:

• Scheiding van Taken (Teacher-Student):

  • Acting Model (Student): Een lichtgewicht taalmodel dat in real-time controleacties uitvoert. Dit model blijft statisch en verandert niet. Het ontvangt een basis-prompt en de huidige versie van de playbook.
  • Reflector (Teacher): Een geavanceerd, "frontier" taalmodel dat offline werkt. Het analyseert trajecten van eerdere missies en genereert verbeteringen voor de playbook.

• Playbook Representatie:

  • De playbook ($P$) is een verzameling van "bullets" (regels) in natuurlijke taal.
  • Elke regel heeft een tekst en een toestandspredicaat (bijv. "als de afstand tot de bewaker < X is").
  • Actieve regels worden dynamisch aan de prompt van het Acting Model toegevoegd, waardoor het beslissingsgedrag verandert zonder dat het model zelf wordt getraind.

• Online Beslissingscyclus:

  1. Het Acting Model observeert de toestand (positie, snelheid, massa van eigen en andere schepen).
  2. Het activeert relevante regels uit de playbook.
  3. Het voert een korte redenering uit (binnen een vast token-budget) om intentie te bepalen.
  4. Een "actor-agent" vertaalt dit naar een gestructureerde thrust-vector (controleactie).

• Offline Reflectie en Evolutie:

  • Na een reeks episodes worden trajecten geëvalueerd op prestatie en constraint-schendingen.
  • $\epsilon$-biased Sampling: Het systeem reflecteert niet alleen op mislukkingen, maar met een kans $\epsilon$ ook op successen om goede strategieën te versterken.
  • De Reflector stelt correcties voor, die door een "Curator" worden omgezet in gestructureerde bewerkingen: ADD (toevoegen), UPDATE (aanpassen) of REMOVE (verwijderen) regels.
  • Selectie: Meerdere playbook-versies worden parallel getest. De beste versie wordt geselecteerd via een Upper Confidence Bound (UCB1) algoritme, wat een balans biedt tussen het uitproberen van nieuwe versies en het benutten van bewezen goede versies.

3. Experimentele Setting

De methode werd getest in de Kerbal Space Program Differential Games (KSPDG) omgeving, specifiek in een Lady-Bandit-Guard (LBG) scenario:

• Bandit (Agent): Moet de "Lady" benaderen.
• Guard (Adversariaal): Probeert de Bandit te onderscheppen.
• Scenario's: Verschillende strategieën voor de Guard (agressief, defensief, stochastisch wisselend).
• Meting: Een samengestelde score gebaseerd op de minimale afstand tot de Lady en de minimale afstand tot de Guard (lagere score = beter).

4. Resultaten

De resultaten tonen aan dat GUIDE significant beter presteert dan statische baselines en traditionele controlemethodes:

• Prestatieverbetering: GUIDE (de geëvolueerde versie) behaalde in alle scenario's (LG4-LG7) een lagere (betere) score dan de statische LLM-baseline. De verbetering was statistisch significant in de scenario's met defensieve Guards (LG6, LG7), waar adaptief gedrag cruciaal is.
• Vergelijking met Traditionele Methoden: GUIDE presteerde aanzienlijk beter dan een Lineaire Kwantitatieve Regelaar (LQR) en een simpele "Prograde Alignment" strategie, vooral in complexe, niet-lineaire situaties.
• Mechanisme van Verbetering: De evolutie identificeerde snel een veelvoorkomende fout: de agent bleef de Lady achtervolgen terwijl de Guard te dichtbij kwam. De playbook evolueerde regels die de achtervolging tijdelijk opschortten en laterale vluchtbewegingen afdwongen wanneer de Guard een bedreiging vormde.
  • Dit resulteerde in een 82% - 99% reductie in de samengestelde score binnen enkele evoluties.
  • De afstand tot de Guard nam toe (veiligheid), terwijl de afstand tot de Lady daalde (succes).

5. Belangrijkste Bijdragen

1. Niet-parametrische Beleidsverbetering: Bewijs dat LLM-agenten kunnen leren en zich kunnen aanpassen door de context (playbook) te evolueren, zonder de onderliggende modelgewichten te wijzigen. Dit is ideaal voor omgevingen waar hertraining onmogelijk is.
2. Teacher-Student Architectuur voor Ruimtevaart: Een praktische oplossing voor het latency-probleem, waarbij zware redenering offline gebeurt en lichte uitvoering online.
3. Gestructureerde Context als Leerbare Object: Het introduceren van een playbook met toestandspredicaten als een "leerbaar beleidsobject" dat door episodes heen kan worden geoptimaliseerd.
4. Validatie in Adversariale Dynamische Systemen: Eerste toepassing van in-context leermechanismen in een gesloten-lus, real-time dynamisch controlesysteem met onvoorspelbare tegenstanders.

6. Significatie en Toekomstperspectief

Dit werk toont aan dat context-evolutie fungeert als een vorm van beleidszoekopdracht (policy search) voor LLM-agenten in real-time ruimtevaartoperaties. Het biedt een pad naar autonome systemen die kunnen leren van ervaringen in de ruimte zonder de noodzaak van zware computereenheden of data-overdracht voor hertraining.

Toekomstig werk richt zich op het integreren van lagere controlelagen, het testen van grootschalige playbook-evolutie en het combineren van taalgebaseerde beleidsregels met algoritmische kandidaten.