Evaluating Robustness and Adaptability in Learning-Based Mission Planning for Active Debris Removal

Este artículo evalúa tres enfoques de planificación de misiones para la eliminación activa de desechos, demostrando que mientras el aprendizaje por refuerzo con aleatorización de dominio ofrece un equilibrio robusto entre velocidad y adaptabilidad, la búsqueda en árbol de Monte Carlo proporciona un manejo de restricciones superior a costa de un tiempo computacional significativamente mayor, resaltando un compromiso crítico entre la eficiencia de la política aprendida y la flexibilidad basada en la búsqueda.

Lo esencial

Imagina que eres el capitán de una nave espacial con la tarea de limpiar una habitación desordenada llena de basura flotante (escombros espaciales). Tienes una cantidad limitada de combustible (como un tanque de gas) y una fecha límite estricta (como un toque de queda). Tu trabajo es visitar la mayor cantidad posible de piezas de basura, detenerte en una estación de servicio si es necesario para rellenar tu tanque y regresar a tiempo.

Este documento es una carrera entre tres "cerebros" que intentan descubrir la mejor ruta para limpiar la habitación. Los investigadores probaron qué tan bien funciona cada cerebro cuando las reglas del juego se mantienen iguales, y qué tan bien las maneja cuando las reglas cambian repentinamente (como quedarse sin combustible más rápido de lo esperado o tener menos tiempo).

Aquí está cómo se comparan los tres competidores, utilizando analogías sencillas:

Los Tres Competidores

1. El "Especialista" (Nominal PPO)

• Qué es: Este es un robot entrenado específicamente para un escenario perfecto. Es como un estudiante que memorizó las respuestas de un examen de práctica específico.
• Cómo funciona: Aprende mediante ensayo y error hasta que conoce los movimientos exactos para una misión estándar (7 días, combustible lleno).
• El problema: Es increíblemente rápido. Toma decisiones en un abrir y cerrar de ojos. Sin embargo, si cambias las preguntas del examen (por ejemplo, "Ahora solo tienes la mitad del combustible"), entra en pánico. Intenta usar los mismos movimientos memorizados, se queda sin gasolina y falla estrepitosamente. Es excelente cuando todo sale exactamente como se planeó, pero es frágil cuando las cosas salen mal.

2. El "Generalista" (Domain-Randomized PPO)

• Qué es: Este es un robot entrenado en muchos escenarios diferentes. Es como un estudiante que no solo memorizó un examen, sino que practicó con niveles de combustible y límites de tiempo aleatorios todos los días.
• Cómo funciona: Aprendió a ser flexible. Sabe cómo ser agresivo cuando tiene mucho combustible y cómo ser conservador cuando tiene poco gas.
• El problema: Sigue siendo muy rápido (al igual la que el Especialista). Cuando las reglas cambian, se adapta mucho mejor que el Especialista. No es tan perfecto como el Especialista en el escenario perfecto, pero no se estrella cuando el escenario se vuelve difícil. Es un buen punto medio.

3. El "Calculador" (MCTS)

• Qué es: Este no es un robot preentrenado; es una supercomputadora que piensa en cada posible futuro antes de realizar un solo movimiento. Es como un gran maestro de ajedrez que simula 200 juegos diferentes en su cabeza antes de mover una pieza.
• Cómo funciona: En cada paso, pregunta: "Si voy aquí, ¿qué pasa después? Si voy allá, ¿qué pasa entonces?". Constantemente replantea sus planes basándose en la situación actual.
• El problema: Es el más inteligente para manejar sorpresas. Si cortas el combustible a la mitad, recalcula instantáneamente la mejor ruta y aún así completa el trabajo. Sin embargo, es lento. Mientras que los otros dos toman decisiones en menos de un segundo, este toma más de cuatro minutos para pensar en un solo movimiento. En una emergencia real en una nave espacial, esperar cuatro minutos para decidir hacia dónde girar podría ser demasiado tiempo.

Los Resultados de la Carrera

Los investigadores realizaron 300 pruebas para ver quién ganaba bajo diferentes condiciones:

• La prueba del "Día Perfecto" (Combustible y Tiempo Normales):
  El Especialista ganó por un margen mínimo. Conocía la ruta perfectamente. El Generalista era casi tan bueno, y el Calculador estaba ligeramente por detrás, pero hizo un gran trabajo.

• La prueba de "Poco Tiempo" (3 días en lugar de 7):
  Todos tuvieron dificultades porque el reloj avanzaba más rápido. El Generalista se adaptó mejor y limpió la mayor cantidad de basura. El Especialista se confundió y limpió menos. El Calculador lo hizo bien, pero fue ligeramente más lento para reaccionar que el Generalista.

• La prueba de "Poco Combustible" (1/3 del combustible):
  Este fue el gran impacto. El Especialista colapsó drásticamente; intentó seguir su ruta habitual, se quedó sin gasolina inmediatamente y apenas limpió algo. El Generalista lo hizo mucho mejor, limpiando más del doble de lo que el Especialista hizo, pero aun así no pudo vencer al Calculador. El Calculador fue el claro ganador aquí porque pudo ver instantáneamente que necesitaba ser muy cuidadoso con su combustible y cambió su plan sobre la marcha.

La Gran Lección

El documento concluye que existe un compromiso entre velocidad y flexibilidad:

• Si sabes que las reglas no cambiarán, usa al Especialista. Es rápido y eficiente.
• Si crees que las reglas podrían cambiar un poco, usa al Generalista. Es un compromiso inteligente que es rápido pero puede manejar algunas sorpresas.
• Si las reglas son caóticas y necesitas el mejor plan sin importar qué, usa al Calculador. Pero advierte: toma mucho tiempo pensar.

Los autores sugieren que el futuro de la limpieza espacial podría consistir en mezclar estos enfoques: entrenar a los robots para que sean "Generalistas" (como el segundo robot), de modo que sean inteligentes y rápidos, pero quizás dándoles un poco de la capacidad del "Calculador" para la doble verificación de sus planes cuando las cosas se pongan realmente locas.

Resumen técnico

Resumen Técnico: Evaluación de la Robustez y la Adaptabilidad en la Planificación de Misiones Basada en el Aprendizaje para la Eliminación Activa de Desechos

Declaración del Problema
La Eliminación Activa de Desechos (ADR, por sus siglas en inglés) en la Órbita Terrestre Baja (LEO) requiere que las naves espaciales autónomas se aproximen secuencialmente a múltiples objetos de desechos bajo estrictas restricciones operativas. El desafío central es un problema de toma de decisiones secuenciales con restricciones donde la nave espacial debe maximizar la cantidad de desechos eliminados cumpliendo con límites rígidos de duración total de la misión y $\Delta v$ acumulado (presupuesto de combustible). La nave opera en una banda de altitud de 700–800 km, utilizando transferencias de Hohmann coelípticas y maniobras de elipse de seguridad terminal. Una complicación crítica es el potencial de "desplazamiento de la distribución", donde las condiciones de despliegue (por ejemplo, reducción de combustible o reducción del tiempo de misión) difieren de los parámetros asumidos durante el entrenamiento de las políticas aprendidas. El problema se complica aún más por la necesidad de reabastecimiento a mitad de la misión, lo cual reinicia el presupuesto de $\Delta v$ pero consume tiempo de misión.

Metodología
Los autores evalúan y comparan tres estrategias de planificación distintas dentro de un entorno de simulación orbital de alta fidelidad (SpaceDebrisStressTestEnv) que involucra 50 objetivos de desechos generados aleatoriamente por episodio. Todos los métodos utilizan el enmascaramiento de acciones para imponer restricciones de viabilidad ( $\Delta v$ restante, tiempo y estado de visita).

1. PPO con Máscara Nominal: Un agente de Optimización de Política de Proximidad (PPO) entrenado con parámetros de misión nominales fijos (duración de 7 días, 3 km/s de $\Delta v$). Utiliza un Perceptrón Multicapa (MLP) con dos capas ocultas (256 unidades) y es entrenado durante 1 millón de pasos de tiempo.
2. PPO con Máscara de Aleatorización de Dominio: Una arquitectura PPO idéntica entrenada durante 5.5 millones de pasos de tiempo, pero con los parámetros de la misión (duración y presupuesto de $\Delta v$) aleatorizados al inicio de cada episodio. Este enfoque busca mejorar la robustez contra los desplazamientos de la distribución.
3. MCTS Plano (Monte Carlo Tree Search): Una línea base de búsqueda en línea basada en la estrategia de búsqueda, utilizando el algoritmo de Límites de Confianza aplicados a Árboles (UCT). Realiza 200 simulaciones por cada paso de decisión con una política aleatoria uniforme para los rollouts. Replanifica dinámicamente en cada paso sin entrenamiento previo.

Resultados Clave
Los métodos fueron probados en 300 casos (100 por escenario) que cubren condiciones nominales, combustible reducido (1 km/s) y tiempo de misión reducido (3 días).

• Rendimiento Nominal: Bajo condiciones coincidentes con el entrenamiento, el PPO Nominal logró la mayor eliminación promedio de desechos (29.1 objetos), superando ligeramente al PPO de Aleatorización de Dominio (28.2) y al MCTS (27.1). Ambas variantes de PPO demostraron tiempos de inferencia de menos de un segundo.
• Tiempo de Misión Reducido: Cuando la duración se redujo a 3 días, el PPO de Aleatorización de Dominio mostró la mejor adaptabilidad (14.1 objetos), superando tanto al PPO Nominal (12.6) como al MCTS (11.9).
• Combustible ($\Delta v$) Reducido: Bajo restricciones severas de combustible (1 km/s), el PPO Nominal se degradó drásticamente, eliminando solo 3.2 objetos en promedio debido al agotamiento temprano del combustible. El PPO de Aleatorización de Dominio mejoró significativamente (8.1 objetos) pero aún quedó por detrás del MCTS (15.0 objetos).
• Costo Computacional: El MCTS incurrió en una enorme penalización computacional, promediando más de 4 minutos por caso de prueba debido a la clonación repetida del entorno y los rollouts. En contraste, ambas variantes de PPO requirieron menos de 1 segundo por episodio.

Significancia y Reivindicaciones
El artículo postula que existe un compromiso fundamental entre la velocidad de las políticas aprendidas y la adaptabilidad de los métodos de búsqueda en la planificación de misiones ADR.

• Políticas Aprendidas: Ofrecen una inferencia rápida adecuada para la ejecución en tiempo real a bordo, pero son frágiles cuando las condiciones de despliegue se desvían de las distribuciones de entrenamiento.
• Métodos Basados en Búsqueda (MCTS): Proporcionan una adaptabilidad superior a los cambios en las restricciones mediante la replanificación en línea, pero son computacionalmente prohibitivos para la ejecución en tiempo real en hardware con recursos limitados.
• Aleatorización de Dominio: El estudio demuestra que el entrenamiento con diversos parámetros de misión cierra parcialmente esta brecha. Aunque incurre en una pérdida moderada del rendimiento nominal y requiere significativamente más pasos de entrenamiento (5.5M frente a 1M), genera una política con una robustez significativamente mejorada ante cambios en las restricciones en comparación con una política nominal.

Los autores concluyen que, si bien ningún método ofrece actualmente tanto la velocidad óptima como la adaptabilidad, combinar la diversidad en el tiempo de entrenamiento (aleatorización de dominio) con estrategias de planificación en línea representa un camino prometedor para futuros sistemas de ADR resilientes. Sugieren que los marcos híbridos, como aquellos que mezclan predicciones de políticas neuronales con búsqueda en árbol (por ejemplo, AlphaZero o MuZero), podrían ser una dirección viable para el trabajo futuro para lograr tanto eficiencia como adaptabilidad.