Simulation Based Reward Function Validation for Multi-Agent On Orbit Inspection

Resumen Técnico: Validación de Funciones de Recompensa Basada en Simulación para la Inspección Orbital Multi-Agente

Planteamiento del Problema
La acumulación de desechos espaciales hace necesaria la realización de misiones de eliminación activa, las cuales requieren una recopilación previa de datos para asignar recursos de manera efectiva. Las misiones actuales de inspección orbital suelen depender de una planificación manual para las operaciones de proximidad, un proceso que consume mucho tiempo y es difícil de escalar para grandes poblaciones de desechos. Si bien se ha propuesto el Aprendizaje por Refuerzo Multi-Agente (MARL) para automatizar el control de grupos de naves espaciales de inspección, los enfoques existentes suelen depender de funciones de recompensa que guían a los agentes hacia un conjunto finito y predeterminado de puntos de inspección. Esta rigidez limita la capacidad de los agentes para adaptarse a requisitos de inspección arbitrarios. Además, la efectividad de estas funciones de recompensa suele ser difícil de validar objetivamente sin un vínculo directo con la calidad de los datos resultantes.

Metodología
Este trabajo propone un marco de MARL generalizado para la inspección orbital donde los agentes no están restringidos a puntos de paso fijos, sino que pueden controlar el tiempo y la ubicación de la captura de imágenes de forma arbitraria. El sistema emplea una estructura de control jerárquica con dos tipos de agentes distintos operando dentro de un marco de Optimización de Política Próxima (PPO):

• Agentes de Nivel Superior: Responsables de la toma de decisiones de alto nivel, incluyendo la selección de puntos objetivo, la determinación de cuándo capturar imágenes y la decisión de cuándo terminar un episodio.
• Agentes de Nivel Inferior: Responsables del control de bajo nivel, generando comandos de empuje para navegar hacia los puntos objetivo mientras minimizan el uso de combustible y evitan colisiones.

El entorno utiliza la dinámica relativa de Hill-Clohessy-Wiltshire (HCW) dentro de un marco de Local Vertical Local Horizontal (LVLH). La función de recompensa es la innovación central, diseñada para ser generalizable para cualquier número de imágenes en ubicaciones arbitrarias. Está compuesta por varios componentes ponderados:

1. Valor de la Imagen: Una puntuación compuesta basada en la distancia, la separación angular de otras imágenes, las condiciones de iluminación (ángulo solar) y la evitación del auto-sombreo.
2. Recompensas de Equipo vs. Individuales: Un coeficiente de mezcla equilibra el valor de imagen global del equipo frente a las contribuciones individuales para fomentar la cooperación y evitar la "pereza".
3. Penalizaciones: Se aplican costos por el tiempo transcurrido, el consumo de combustible, los errores en los puntos objetivo, las colisiones y el alejarse demasiado de la región operativa.

Para validar estas funciones de recompensa, los autores utilizan un flujo de trabajo de simulación de alta fidelidad. Las trayectorias y los metadatos de las imágenes generados por los agentes MARL entrenados se exportan a NVIDIA Isaac Sim para capturar imágenes fotorrealistas. Estas imágenes son luego procesadas por COLMAP (fotogrametría) e Instant-NGP (campos de radiancia neuronal) para generar reconstrucciones 3D del objetivo. La calidad de estas reconstrucciones sirve como la métrica objetiva para el rendimiento de la función de recompensa. El proceso de entrenamiento emplea aprendizaje por currículo, aumentando gradualmente las penalizaciones de combustible y eliminando las recompensas planas por permanecer en la región operativa para evitar que los agentes aprendan políticas triviales (por ejemplo, no hacer nada o derivar inmediatamente).

Contribuciones Clave
El artículo presenta cuatro contribuciones primarias:

1. Un marco de MARL de código abierto utilizando PPO que acomoda imágenes en cualquier ubicación y en cualquier cantidad, yendo más allá de las restricciones de puntos de paso fijos.
2. Una metodología detallada para probar y refinar las implementaciones de inspección mediante MARL, enfocándose específicamente en la validación de las funciones de recompensa a través de la calidad de la reconstrucción 3D.
3. Identificación de mejoras futuras para la inspección basada en RL, incluyendo representaciones de observación y arquitecturas de control alternativas.
4. Conclusiones generales aplicables tanto a la tarea específica de MARL como al campo más amplio de la inspección orbital.

Resultados
El estudio demuestra que el ajuste de los pesos de la función de recompensa impacta significativamente el comportamiento de los agentes. Específicamente, aumentar el peso de la penalización de combustible de 3 a 4 cambió la política de trayectorias aleatorias e ineficientes a rutas eficientes en combustible que aprovechan la dinámica natural de HCW para el movimiento planar, mientras utilizan el control activo para los ajustes fuera del plano. Sin embargo, los autores señalan que las penalizaciones excesivas de combustible causaron que los agentes dependieran enteramente de la dinámica natural, y que los requisitos de separación de imágenes demasiado estrictos desalentaron la recolección de imágenes.

En términos de reconstrucción, COLMAP produjo reconstrucciones limpias pero incompletas, probablemente obstaculizadas por las condiciones cambiantes de iluminación durante la órbita. Instant-NGP produjo reconstrucciones más completas pero más difusas. Los autores observaron que, si bien las políticas generadas eran funcionales, todavía exhibían deficiencias, y el proceso de entrenamiento era sensible a las combinaciones de parámetros.

Significancia y Reivindicaciones
Los autores afirman que, si bien los métodos de MARL presentados generan políticas que apoyan la viabilidad de la inspección orbital automatizada, las técnicas requieren un mayor refinamiento antes de su despliegue espacial. El valor principal de este trabajo radica en la capacidad de MARL para permitir que los diseñadores de misiones exploren lecciones y estrategias generales para las tareas de inspección. Los conocimientos obtenidos sobre el modelado de recompensas, el aprendizaje por currículo y los compromisos entre el uso de combustible y la calidad de los datos son aplicables también a las tareas de inspección que utilizan controladores tradicionales.

El artículo concluye modestamente que, aunque los resultados actuales son prometedores, no son suficientes para un despliegue inmediato. Se identifica como trabajo futuro la necesidad de garantías de seguridad de RL para las operaciones de proximidad y el potencial de un bucle de análisis de reconstrucción totalmente automatizado para proporcionar recompensas directas de RL basadas en la calidad de la reconstrucción, un objetivo actualmente limitado por la viabilidad computacional.