GUIDE: Guided Updates for In-context Decision Evolution in LLM-Driven Spacecraft Operations

Título: GUIDE: Atualizações Guiadas para Evolução de Decisão em Contexto em Operações de Naves Espaciais Impulsionadas por LLMs

Autores: Alejandro Carrasco, Mariko Storey-Matsutani, Victor Rodriguez-Fernandez e Richard Linares (MIT e UPM).
Publicação: Aceito no Workshop AI4Space da CVPR 2026.

---

1. Problema e Motivação

As operações de naves espaciais são inerentemente de alto risco, custosas e lentas para iterar. Diferente de aplicações terrestres, missões espaciais não podem facilmente coletar grandes volumes de novos dados, redefinir o ambiente ou retreinar políticas após o lançamento.

Existe uma lacuna entre os algoritmos de autonomia convencionais (focados em controle de baixo nível e trajetória) e a tomada de decisão de nível operacional que requer raciocínio sob incerteza. Modelos de Linguagem Grande (LLMs) surgem como candidatos promissores para essa camada de supervisão devido à sua capacidade de raciocínio e comportamento agêntico.

No entanto, a implementação de LLMs em sistemas dinâmicos de malha fechada em tempo real enfrenta dois desafios críticos:

1. Restrições de Latência: O raciocínio profundo e deliberativo de LLMs é muito lento para ser integrado diretamente no ciclo de controle em tempo real.
2. Adaptação Contínua: Interações com agentes reativos ou desconhecidos exigem adaptação entre episódios, o que não pode ocorrer dentro do loop online de execução.

A abordagem atual de prompting estático não permite que o modelo melhore seu desempenho ao longo de execuções repetidas sem atualizar seus pesos (o que é impraticável em voo).

2. Metodologia: O Framework GUIDE

O artigo propõe o GUIDE (Guided Updates for In-context Decision Evolution), um framework de melhoria de política não paramétrica. Em vez de otimizar os pesos do modelo, o GUIDE evolui uma "estratégia" codificada em linguagem natural.

Arquitetura Principal

O sistema utiliza uma separação Professor-Aluno:

• Modelo Ator (Leve): Executa o controle em tempo real. É um modelo fixo que não é atualizado. Ele toma decisões baseadas no estado atual e em um "Playbook" (livro de regras) condicional.
• Modelo Refletor (Frontier): Opera offline entre batches de episódios. Analisa trajetórias passadas e refina o Playbook.

Representação da Política: O Playbook

A política não é uma função $\pi_\theta(a|s)$ aprendida via gradientes, mas sim condicionada a um contexto estruturado: $\pi(a|s, P)$.

• P (Playbook): Um conjunto dinâmico de regras em linguagem natural (bullets) que fornecem orientação comportamental condicional ao estado.
• Ativação: Cada regra possui um predicado de estado (ex: "se a distância ao guarda < X"). Quando a condição é verdadeira, a regra é injetada no prompt do modelo ator, modificando sua distribuição de decisão.

Ciclo de Funcionamento

1. Decisão Online: O modelo ator recebe o estado $s_t$ e o playbook atual $P_k$. Ele faz uma chamada de raciocínio limitado (intenção de curto prazo) seguida por uma chamada de ação estruturada (vetor de empuxo).
2. Reflexão Offline ($\epsilon$-biased): Após episódios, um modelo de raciocínio superior analisa as trajetórias.
   • Utiliza uma regra de seleção $\epsilon$: reflete sobre falhas (probabilidade $1-\epsilon$) e, ocasionalmente, sobre sucessos (probabilidade $\epsilon$) para evitar viés excessivo.
   • O modelo propõe correções comportamentais que são convertidas em operações estruturadas: ADICIONAR, ATUALIZAR ou REMOVER regras do playbook.
3. Seleção de Versão: Múltiplas versões do playbook são mantidas. A seleção da melhor versão para o próximo lote de episódios é feita usando uma regra Upper Confidence Bound (UCB1), equilibrando exploração de novas regras e exploração das melhores versões atuais.

3. Configuração Experimental

• Ambiente: Kerbal Space Program Differential Games (KSPDG), simulando encontros orbitais adversários com dinâmica realista e atrasos de observação.
• Cenário: Lady–Bandit–Guard (LBG).
  • O agente controla o "Bandit" (B).
  • Objetivo: Minimizar a distância à "Lady" (L) enquanto evita ser capturado pelo "Guard" (G).
  • O comportamento do Guard varia (LG4: perseguição agressiva; LG6/7: defesa; LG5: estocástico).
• Métricas: Pontuação composta de interceptação (combina distância mínima B-L e distância mínima B-G). Menor pontuação é melhor.

4. Resultados

O GUIDE foi comparado com: (1) LLM estático (sem evolução), (2) Controlador LQR (Linear Quadratic Regulator) e (3) Alinhamento Prograde (heurística simples).

• Desempenho Superior: O GUIDE evoluiu consistentemente para superar o baseline estático em todos os cenários.
  • LG6 e LG7 (Defesa): Melhorias estatisticamente significativas ($p < 0.001$), com redução drástica na pontuação de erro.
  • LG4 e LG5 (Perseguição): Melhorias significativas, embora o cenário de perseguição direta tenha menos margem de melhoria devido à eficácia de heurísticas simples.
• Mecanismo de Melhoria: A análise das trajetórias (Figura 3) mostrou que a evolução do contexto corrigiu um modo de falha específico: o agente original perseguia a Lady mesmo quando o Guard se aproximava para interceptar. O playbook evoluiu para incluir regras de evasão lateral e suspensão da perseguição quando o Guard estava próximo, permitindo uma reengajamento seguro.
• Eficiência: A melhoria de 82% a 99% na pontuação composta foi alcançada em poucas evoluções, puramente através da atualização do contexto (regras), sem alterar os pesos do modelo.

5. Contribuições Principais e Significado

1. Política Não Paramétrica em Tempo Real: Demonstra que a evolução de contexto estruturado (Playbook) pode atuar como um objeto de política aprendível, permitindo adaptação cruzada entre episódios sem atualizar os pesos do modelo (crucial para missões espaciais onde o re-treinamento é impossível).
2. Separação de Responsabilidades: Valida a arquitetura de separar o raciocínio estratégico (offline/reflexão) da execução tática (online/controle), resolvendo o dilema latência vs. raciocínio em sistemas dinâmicos.
3. Robustez Adversária: O sistema demonstra capacidade de adaptar-se a dinâmicas de agentes desconhecidos e não cooperativos, superando tanto políticas clássicas (LQR) quanto LLMs estáticos.
4. Validação em Ambiente Realista: O uso do KSPDG com dinâmica orbital real e atrasos de observação fornece uma validação mais rigorosa do que ambientes de software episódicos tradicionais.

Conclusão

O artigo GUIDE estabelece que a evolução de contexto em agentes LLM funciona efetivamente como uma busca de política sobre regras de decisão estruturadas. Isso permite que sistemas de navegação e controle autônomo (GNC) de naves espaciais evoluam suas estratégias de tomada de decisão em tempo real, adaptando-se a cenários adversários imprevisíveis sem a necessidade de re-treinamento de modelos, representando um avanço significativo para a autonomia espacial de próxima geração.