GUIDE: Guided Updates for In-context Decision Evolution in LLM-Driven Spacecraft Operations

A continuación presento un resumen técnico detallado del artículo "GUIDE: Guided Updates for In-context Decision Evolution in LLM-Driven Spacecraft Operations", aceptado en el taller AI4Space de CVPR 2026.

1. Planteamiento del Problema

Las operaciones espaciales actuales enfrentan desafíos críticos: son costosas, de alto riesgo y lentas para iterar. A diferencia de las implementaciones terrestres, las misiones espaciales no pueden recopilar grandes volúmenes de datos nuevos, reiniciar el entorno o reentrenar políticas una vez desplegadas.

Existe una brecha entre los algoritmos de autonomía tradicionales (que se centran en control de bajo nivel y seguimiento de trayectorias) y la toma de decisiones a nivel de operador (que requiere razonamiento bajo incertidumbre y adaptación estratégica). Aunque los Modelos de Lenguaje Grandes (LLM) han surgido como candidatos prometedores para esta capa supervisora, enfrentan dos restricciones acopladas al integrarse en sistemas dinámicos de bucle cerrado en tiempo real:

1. Latencia: Los modelos capaces de deliberación extensa son demasiado lentos para el control en tiempo real, mientras que los modelos rápidos carecen de capacidad de razonamiento profundo durante la selección de acciones.
2. Adaptación: La interacción con agentes reactivos o desconocidos (como en escenarios de interceptación adversaria) requiere adaptación entre episodios, algo que no puede ocurrir dentro del bucle en línea sin reentrenamiento.

El problema central es cómo lograr que un agente LLM mejore su política de decisión a través de múltiples interacciones sin actualizar los pesos del modelo (reentrenamiento), manteniendo al mismo tiempo la ejecución en tiempo real.

2. Metodología: El Framework GUIDE

Los autores proponen GUIDE (Guided Updates for In-context Decision Evolution), un marco de mejora de políticas no paramétrico. En lugar de optimizar los parámetros del modelo, el sistema evoluciona un "libro de jugadas" (playbook) estructurado en lenguaje natural que condiciona las decisiones del agente.

Arquitectura y Componentes Clave

• Separación Maestro-Alumno (Teacher-Student):
  • Agente de Actuación (Lightweight): Un modelo de lenguaje ligero ejecuta el control en tiempo real. Su función es mapear el estado actual y el contexto del "libro de jugadas" a una acción de control estructurada. Este modelo permanece fijo (sin cambios de pesos).
  • Agente de Reflexión (Frontier Model): Un modelo de lenguaje más avanzado y costoso opera fuera de línea (offline) entre lotes de episodios. Analiza las trayectorias pasadas para refinar el libro de jugadas.
• Representación del Libro de Jugadas (Playbook):
  • Es una colección de reglas en lenguaje natural (baldes o bullets) que actúan como una representación de política no paramétrica.
  • Cada regla tiene una condición de estado (ej. "si la distancia al guardián es < X"). Cuando se cumple, la regla se activa y se inyecta en el contexto del agente de actuación, modificando su distribución de decisiones.
  • El libro de jugadas evoluciona dinámicamente mediante operaciones de Añadir, Actualizar o Eliminar reglas.
• Mecanismo de Aprendizaje (Reflexión y Selección):
  • Muestreo Sesgado ($\epsilon$-biased): La reflexión no se basa solo en fallos. Con probabilidad $1-\epsilon$, se analizan trayectorias de bajo rendimiento; con probabilidad $\epsilon$, se analizan éxitos para evitar sesgos negativos.
  • Curación: El modelo de reflexión propone correcciones que un "Curador" transforma en nuevas reglas estructuradas.
  • Selección UCB: Se mantienen múltiples versiones del libro de jugadas simultáneamente. Se utiliza una regla de Upper Confidence Bound (UCB1) para seleccionar qué versión usar en el siguiente lote de episodios, equilibrando la explotación de las mejores versiones y la exploración de nuevas reglas.

Escenario de Evaluación

El método se prueba en el entorno KSPDG (Kerbal Space Program Differential Games), específicamente en el escenario de captura de satélite Lady-Bandit-Guard (LBG):

• El agente controla un "Bandit" que debe acercarse a una "Lady" evitando ser interceptado por un "Guardián".
• Se evalúa bajo diferentes comportamientos del Guardián (persecución agresiva, defensa estática, o cambio estocástico), donde la política del LLM no conoce a priori la estrategia del oponente.

3. Contribuciones Clave

1. Evolución de Contexto como Búsqueda de Política: Demostración de que la evolución del contexto en un agente LLM puede funcionar como una búsqueda de política sobre reglas de decisión estructuradas en tiempo real, sin necesidad de gradiente o reentrenamiento.
2. Marco No Paramétrico para Entornos Dinámicos: Un enfoque que permite la adaptación cruzada entre episodios en sistemas de control dinámico continuo, resolviendo el dilema entre la latencia de razonamiento y la necesidad de adaptación.
3. Arquitectura Híbrida en Tiempo Real: La separación efectiva entre un modelo de actuación ligero (para control) y un modelo de reflexión potente (para mejora de políticas), permitiendo la integración de LLMs en bucles de control estrictos.
4. Validación en Escenarios Adversarios: Evidencia empírica de que el sistema puede adaptarse a estrategias de oponentes desconocidos y cambiantes, superando a políticas estáticas y heurísticas tradicionales.

4. Resultados

El estudio comparó cuatro políticas en los escenarios LG4 a LG7: LLM estático, GUIDE (evolucionado), Controlador LQR y una heurística de alineación prograde.

• Rendimiento Superior: GUIDE superó consistentemente al LLM estático y a las políticas tradicionales.
  • En los escenarios más complejos (LG6 y LG7, donde el guardián adopta una postura defensiva), GUIDE redujo la puntuación de error compuesta en un 82% - 99% en comparación con la versión estática inicial.
  • Las mejoras fueron estadísticamente significativas en LG4, LG6 y LG7 (p-value < 0.05).
• Métricas de Distancia:
  • Distancia Lady-Bandit: GUIDE logró acercarse mucho más a la objetivo (ej. de 291m a 88m en LG6).
  • Distancia Guard-Bandit: El sistema aprendió a mantener una distancia segura del guardián, evitando la captura (ej. aumentando la separación de 8m a 30m en LG6).
• Mecanismo de Mejora: El análisis de las trayectorias mostró que la primera actualización del libro de jugadas identificó universalmente el fallo de "perseguir ciegamente". La inserción de reglas condicionales de "evitación del guardián" (suspender persecución y aplicar empuje lateral) fue la clave para el éxito, permitiendo al agente reengancharse de manera segura una vez superada la amenaza.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la capacidad de razonamiento de los LLMs y las restricciones estrictas de los sistemas de control aeroespacial.

• Adaptabilidad sin Reentrenamiento: Ofrece una solución viable para misiones donde el reentrenamiento es imposible, permitiendo que el sistema "aprenda" de la experiencia acumulada simplemente actualizando su contexto de instrucciones.
• Robustez Adversaria: Demuestra que los agentes basados en lenguaje pueden manejar interacciones no cooperativas y dinámicas impredecibles, un requisito esencial para operaciones de servicio en órbita, inspección de satélites y defensa espacial.
• Nueva Paradigma de Control: Propone que la "política" en sistemas complejos puede residir en un contexto evolutivo estructurado en lugar de en pesos neuronales fijos, abriendo nuevas vías para la investigación en control autónomo y aprendizaje por refuerzo in-contexto.

En resumen, GUIDE valida que la evolución de contextos estructurados permite a los LLMs operar como supervisores adaptativos en entornos espaciales hostiles, logrando un rendimiento superior al de las políticas fijas mediante un proceso de refinamiento iterativo fuera de línea.