GUIDE: Guided Updates for In-context Decision Evolution in LLM-Driven Spacecraft Operations

Titel und Kontext

Titel: GUIDE: Guided Updates for In-context Decision Evolution in LLM-Driven Spacecraft Operations
Veröffentlicht bei: CVPR 2026 AI4Space Workshop
Autoren: Alejandro Carrasco, Mariko Storey-Matsutani, Victor Rodriguez-Fernandez, Richard Linares (MIT & Universidad Politecnica de Madrid)

---

1. Problemstellung

Die autonome Steuerung von Raumfahrzeugen ist nach wie vor kostspielig, risikobehaftet und schwer zu iterieren. Im Gegensatz zu terrestrischen KI-Anwendungen können Weltraummissionen nach dem Einsatz keine großen neuen Datensätze sammeln, die Umgebung nicht zurücksetzen und keine Policies neu trainieren.

Es besteht eine Lücke zwischen bestehenden Autonomie-Algorithmen (die oft auf festgelegten Trajektorien basieren) und operativen Entscheidungen unter Unsicherheit, insbesondere in Szenarien wie:

• Exploration und autonome Guidance, Navigation and Control (GNC).
• On-Orbit-Servicing.
• Interaktion mit nicht-kooperativen oder adversarischen Agenten.

Herausforderungen für LLMs in Echtzeit-Systemen:

1. Latenz: Modelle mit langer Denkzeit (Deliberation) sind zu langsam für den direkten Einsatz in der Regelkreisschleife, während schnelle Modelle oft keine komplexe strategische Reasoning-Fähigkeit besitzen.
2. Adaptivität: In dynamischen Umgebungen mit unbekannten oder reaktiven Gegnern ist eine Anpassung über mehrere Episoden hinweg notwendig. Da ein Online-Lernen (Gewichts-Updates) während des Flugs unmöglich ist, muss das Lernen von der Ausführung getrennt werden.

---

2. Methodik: Das GUIDE-Framework

GUIDE (Guided Updates for In-context Decision Evolution) ist ein nicht-parametrisches Framework zur Verbesserung von Policies, das Anpassungen über Episoden hinweg ermöglicht, ohne die Gewichte des Sprachmodells zu aktualisieren.

Kernkonzept: Evolution des „Playbooks"

Statt die Parameter eines Modells zu optimieren, verbessert GUIDE einen strukturierten Kontext, ein sogenanntes „Playbook".

• Playbook ($P$): Eine Sammlung von natürlichen Sprachregeln (Bullets), die zustandsabhängig sind. Jede Regel besteht aus einem Text und einer Bedingung (z. B. „Wenn der Abstand zum Wächter < X ist, dann ausweichen").
• Nicht-parametrische Policy: Die Policy wird durch den Kontext definiert: $\pi(a|s, P)$. Das Playbook dient als lernbares Policy-Objekt.

Architektur: Lehrer-Schüler-Paradigma

Das System nutzt eine Trennung in zwei Modelle:

1. Acting Model (Schüler):

   • Ein leichtgewichtiges, festes Sprachmodell.
   • Führt die Echtzeit-Steuerung durch.
   • Arbeitet in zwei Schritten pro Zyklus:
     • Reasoning-Agent: Generiert eine kurze Absicht basierend auf aktuellen Beobachtungen und den aktiven Playbook-Regeln.
     • Actor-Agent: Wandelt die Absicht in einen strukturierten Steuerbefehl (Drehmoment/Verbrennungsdauer) um.
   • Das Playbook wird zur Laufzeit in den Prompt injiziert, um das Entscheidungsverhalten zu steuern.

2. Reflector/Curator (Lehrer):

   • Ein leistungsfähigeres, „Frontier"-Sprachmodell, das offline zwischen Episoden-Batches arbeitet.
   • Aufgabe: Analyse von Trajektorien und Vorschlag von Verhaltenskorrekturen.
   • Mechanismus:
     • $\epsilon$-Bias-Selektion: Das System reflektiert mit Wahrscheinlichkeit $1-\epsilon$ über schlechte Episoden und mit $\epsilon$ über erfolgreiche Episoden (um auch erfolgreiche Strategien zu lernen).
     • Operationen: Der Reflector schlägt Änderungen vor, die ein Curator in strukturierte Operationen übersetzt: ADD (neue Regel), UPDATE (bestehende Regel ändern), REMOVE (Regel löschen).
     • Selektion: Mehrere Playbook-Versionen werden parallel verwaltet. Die Auswahl der besten Version erfolgt über eine Upper Confidence Bound (UCB1)-Strategie, um Exploration und Exploitation zu balancieren.

---

3. Experimentelles Setup

• Umgebung: Kerbal Space Program Differential Games (KSPDG).
• Szenario: „Lady–Bandit–Guard" (LBG) Interception.
  • Der Agent steuert das „Bandit"-Raumschiff ($B$).
  • Ziel: Minimierung des Abstands zur „Lady" ($L$).
  • Einschränkung: Vermeidung der Abfangung durch das „Guard"-Raumschiff ($G$).
• Variablen: Verschiedene Guard-Strategien (aggressiv, defensiv, stochastisch) in Szenarien LG4 bis LG7.
• Metrik: Ein zusammengesetzter Score $S$, der den minimalen Abstand zu $L$ und den minimalen Abstand zu $G$ gewichtet (niedrigerer Wert = besser).

---

4. Ergebnisse

Die Studie verglich vier Ansätze:

1. Statisches LLM (Baseline).
2. GUIDE (evoliertes LLM).
3. Linear Quadratic Regulator (LQR).
4. Prograde-Ausrichtung (einfache Heuristik).

Wichtige Befunde:

• Überlegenheit von GUIDE: GUIDE übertraf das statische LLM in allen Szenarien signifikant (p-Wert < 0,05 in LG4, LG6, LG7).
• Verbesserungspotenzial: Die größten Verbesserungen (Score-Reduktion um 82–99 %) wurden in defensiven Szenarien (LG6, LG7) erzielt, wo eine einfache Verfolgung zum Scheitern führt.
• Vergleich mit klassischen Methoden: GUIDE schnitt in komplexen Szenarien besser ab als LQR und einfache Heuristiken, die bei adversarischen Manövern versagen.
• Mechanismus der Verbesserung: Die Analyse zeigte, dass die Evolution des Playbooks spezifische Fehlermuster korrigierte.
  • Beispiel: Das statische Modell verfolgte die Lady, ignorierte aber den sich nähernden Wächter. GUIDE lernte durch das Hinzufügen einer Regel („Wenn Guard nahe ist, pursuit pausieren und seitlich ausweichen"), das Verhalten anzupassen.
  • Die Distanz zur Lady wurde reduziert, während die Distanz zum Wächter erhöht wurde.

---

5. Schlüsselbeiträge und Signifikanz

1. Nicht-parametrisches Policy-Search: GUIDE demonstriert, dass Policy-Optimierung nicht zwingend Gradienten-Updates erfordert. Stattdessen kann die Suche über strukturierte, natürliche Sprachregeln im Kontext (In-Context Learning) als effektive Policy-Suche dienen.
2. Trennung von Reasoning und Execution: Das Framework löst das Latenzproblem, indem es komplexe strategische Anpassungen in einen Offline-Prozess (Playbook-Evolution) auslagert, während ein leichtes Modell die Echtzeit-Steuerung übernimmt.
3. Anwendbarkeit in kritischen Systemen: Da keine Gewichts-Updates nötig sind, ist GUIDE ideal für Szenarien, in denen Re-Training unmöglich ist (z. B. Weltraummissionen), aber Anpassungsfähigkeit an unbekannte Gegner erforderlich ist.
4. Strukturierte Kontextevolution: Die Arbeit zeigt, dass der Kontext (das Playbook) selbst als lernbares Objekt fungieren kann, das über Episoden hinweg verfeinert wird, um das Verhalten eines statischen Agenten fundamental zu verändern.

Fazit:
GUIDE bietet einen vielversprechenden Ansatz für die autonome Raumfahrt, bei dem Large Language Models nicht nur als Textgeneratoren, sondern als adaptive Supervisory-Agenten eingesetzt werden können, die durch evolutionäre Anpassung ihres Kontextwissens in dynamischen, adversarischen Umgebungen überlegen agieren.