Resumen Técnico: AutoResearch Agéntico para la Autonomía Espacial

Planteamiento del Problema

El desarrollo de políticas aprendidas de guiado, navegación y control (GNC) para naves espaciales es inherentemente un proceso de investigación iterativo. Los investigadores deben seleccionar arquitecturas, ajustar hiperparámetros y ejecutar experimentos para determinar si las mejoras en el rendimiento son genuinas o simplemente artefactos de la variación de la semilla aleatoria (ruido de semilla). Este proceso es laborioso y propenso al "sobre-reclamo", donde una única ejecución favorable se confunde con un resultado robusto. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han emergido como agentes de investigación autónomos capaces, automatizar este bucle introduce un nuevo riesgo: un agente que experimenta más rápido puede aumentar el riesgo de confundir el ruido con el progreso si no se impone una disciplina estadística.

El problema central abordado es cómo automatizar el bucle de investigación de control aeroespacial utilizando un LLM, asegurando al mismo tiempo que cada mejora reportada sea estadísticamente significativa, reproducible y auditable frente al ruido de semilla medido de un problema específico.

Metodología: El Marco de Trabajo AutoResearch

El artículo introduce AutoResearch, un marco donde un LLM actúa estrictamente como un agente de investigación fuera de línea (offline) para desarrollar políticas de control, acoplado a una capa de credibilidad que opera dentro del bucle para certificar los resultados. El marco está diseñado como una máquina de estados cerrada y legible por máquinas.

1. El Contrato de la Familia

Para garantizar la reutilización en diversos problemas aeroespaciales, el marco define una abstracción de "familia" que consta de cuatro artefactos:

• Descripción del Problema (program.md): Una especificación en lenguaje natural de objetivos, métricas, líneas base (baselines) y alcances de cambio permitidos.
• Script de Entrenamiento Editable (train.py): Contiene una región delimitada de hiperparámetros (la "superficie editable") que el agente puede modificar. La dinámica subyacente, los resolvedores y los protocolos de evaluación permanecen inmutables.
• Registro (family.json): Contiene la métrica objetivo, la línea base de referencia y la mejor configuración actual.
• Log de Solo Adición (runs.jsonl): Registra cada experimento completado.

2. El Bucle del Agente

El bucle consta de tres módulos:

• Propositor: Un LLM (específicamente Claude Sonnet 4.5 de Anthropic en los experimentos) que lee la descripción del problema, el historial de ejecuciones y los hiperparámetros actuales. Se le obliga a emitir una llamada a herramienta estructurada: ya sea propose_experiment (con una hipótesis, sobrescritura de hiperparámetros específicos y un criterio de fallo predicho) o stop_research. El sistema opera en modo ciego, ocultando la métrica objetivo y los valores de la línea base al agente para evitar la memorización y forzar una búsqueda iterativa genuina.
• Ejecutor (Runner): Ejecuta la configuración propuesta parcheando la región editable de train.py, ejecutándola como un subproceso aislado y analizando una única línea de métrica estructurada.
• Orquestador: Gestiona la máquina de estados, impone condiciones de terminación (por ejemplo, límites de presupuesto, detección de estancamiento) y asegura que no se reevalúen configuraciones distintas.

3. La Capa de Credibilidad

La innovación central es una capa de auditoría estadística que filtra cada resultado reportado. Un resultado solo se acredita si pasa tres comprobaciones:

1. Ruido de Semilla Medido: Antes de reclamar cualquier mejora, el marco mide la desviación estándar ($\sigma$) de la métrica a través de $K$ semillas de una configuración de línea base fija. Este $\sigma$ sirve como la unidad de medida para todos los reclamos posteriores.
2. Verificación por Reseeding: La mejor configuración del agente se vuelve a ejecutar en un conjunto de semillas nuevas y reservadas (held-out). Para ser aceptada, la mejora media debe exceder a la línea base por al menos $2\sigma$ (una compuerta de tamaño de efecto de un solo lado), y la política debe satisfacer todas las restricciones de seguridad estrictas en cada semilla.
3. Poda de Dejar Uno Fuera (Leave-One-Out Pruning): Para identificar qué ediciones contribuyeron realmente al resultado, el marco revierte cada parámetro modificado individualmente. Los parámetros se clasifican como "de carga" (load-bearing, revertirlos perjudica el rendimiento), "pasajeros inertes" (inert hitchhikers, revertirlos no tiene efecto) o "se movieron en la dirección incorrecta" (revertirlos ayuda). Este proceso distingue las contribuciones genuinas de las correlaciones coincidentes.

Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Un Marco Reutilizable para la Experimentación Agéntica: Un "contrato de familia" que permite aplicar el mismo bucle de agente sin cambios a problemas con físicas marcadamente diferentes (por ejemplo, movimiento orbital relativo frente a evasión de colisiones).
2. Una Capa de Credibilidad para la Autonomía Confiable: Un mecanismo de auditoría estadística que denomina los resultados en ruido de semilla medido, requiriendo verificación por reseeding y ablación de dejar uno fuera para separar las ganancias reales de la suerte de la semilla.
3. Resultados Auditados en Problemas de Control Aeroespacial: Demostración del marco en dos problemas distintos de guiado de naves espaciales, mostrando que la política auditada supera el ruido de semilla por muchas desviaciones estándar, mientras que la búsqueda aleatoria no dirigida falla en hacerlo.

Resultados Experimentales

El marco fue probado en dos problemas utilizando el aprendizaje por imitación (behavioral cloning) para destilar los resolvedores de control óptimo en políticas de retroalimentación.

1. Rendezvous Relativo de Clohessy–Wiltshire

• Tarea: Aprender una política para conducir una nave de persecución hacia un objetivo desde diversas condiciones iniciales.
• Resultado: El agente de LLM redujo la distancia terminal media de ~16m (línea base) a 0.094m (mejor de una sola semilla).
• Auditoría: El reseeding sobre 10 semillas frescas produjo una media de 0.101m, una ganancia de 15.0$\sigma$ sobre la línea base.
• Comparación: Una búsqueda aleatoria no dirigida equivalente se estancó en ~0.635m.
• Poda: Identificó cinco ediciones de carga (demostraciones, presupuesto de entrenamiento, tasa de aprendizaje, ancho oculto, profundidad) y cuatro ediciones inertes que solo importaban en combinación.

2. Acoplamiento con Evasión de Colisiones con Restricciones de Seguridad

• Tarea: Acoplarse pasando por una zona de exclusión (una esfera en la que la nave no debe entrar) mientras se alcanza un objetivo en el lado opuesto.
• Resultado: El agente encontró una política con una puntuación de acoplamiento consciente de la seguridad de 0.33 (mejor de una sola semilla).
• Auditoría: El reseeding sobre 10 semillas frescas produjo 0.38, una ganancia de 5.2$\sigma$. Crucialmente, el 100% de los reseeds fueron estrictamente factibles (cero violaciones de la zona de exclusión).
• Comparación: La búsqueda aleatoria no dirigida (24 ensayos) produjo cero políticas factibles. La mejor puntuación aleatoria fue 6.46, y la mayoría de las ejecuciones se alejaron del objetivo.
• Poda: Identificó que el número de demostraciones y el presupuesto de entrenamiento fueron los factores de carga primarios. El filtro de seguridad de Función de Barrera de Control (CBF) en tiempo de ejecución fue esencial para la factibilidad.

Significancia y Reclamos

El artículo afirma que la contribución principal es el proceso de investigación autónomo y auditable en sí mismo, más que una nueva ley de guiado. La significancia radica en:

• Rigor Estadístico en la Automatización: Demostrar que la investigación impulsada por LLM puede hacerse honesta y reproducible integrando la disciplina estadística (medición de ruido de semilla, retesteo, ablación) directamente en el bucle, en lugar de como una ocurrencia tardía.
• Validación de Seguridad Crítica: Mostrar que el marco puede certificar políticas para problemas con restricciones de seguridad donde la búsqueda no dirigida falla completamente en encontrar cualquier solución factible.
• Separación de Preocupaciones: El LLM actúa únicamente como el investigador fuera de línea; la política entrenada es el único componente desplegado a bordo. Esto asegura que el LLM nunca comande directamente el vehículo, mitigando los riesgos asociados con la alucinación de los LLM en el control en tiempo real.

Los autores mantienen la modestia respecto al alcance, señalando que las campañas se limitaron a decenas de iteraciones (intercambiando capacidad de procesamiento por credibilidad) y que la comparación con la búsqueda aleatoria, aunque indicativa, es secundaria a la compuerta de ruido de semilla. El trabajo establece una base para el desarrollo "rápido y honesto" de la autonomía aprendida para futuras misiones espaciales.