Learning-Based Planning for Improving Science Return of Earth Observation Satellites

1. Problema e Contexto

Os satélites de observação da Terra são ferramentas vitais para a ciência (geologia, meteorologia, clima), mas enfrentam limitações operacionais severas:

• Restrições Orbitais: Não podem desviar facilmente de suas trajetórias.
• Recursos Limitados: Sensores têm campo de visão restrito e a operação/apontamento consome muita energia.
• Eficiência de Dados: É crucial otimizar a coleta de dados, focando apenas nas medições mais informativas.

O conceito central abordado é o Alvejamento Dinâmico (Dynamic Targeting). Diferente de amostragem uniforme ou aleatória, o alvejamento dinâmico utiliza um sensor de "olhar para frente" (lookahead) para prever o ambiente à frente do satélite e reconfigurar inteligentemente o sensor principal. O objetivo é maximizar a coleta de alvos científicos de alto valor (ex: áreas sem nuvens ou tempestades convectivas) respeitando as restrições de energia (bateria).

2. Metodologia

Os autores modelam o problema como um Processo de Decisão de Markov (MDP), onde o estado inclui a informação dos sensores e o estado de carga (SOC) da bateria. Eles propõem duas abordagens de aprendizado de máquina baseadas em uma solução de Programação Dinâmica (DP) usada como "oráculo" (solução ótima teórica, mas não viável em voo devido à necessidade de conhecimento futuro completo).

A. Aprendizado por Reforço (Reinforcement Learning - RL)

• Algoritmo: Variação do Q-Learning.
• Desafio: O Q-Learning tradicional sofre com a "maldição da dimensionalidade" se usar imagens brutas.
• Solução: Os autores criaram um vetor de estado compacto com 7 características (SOC + presença binária de 3 tipos de nuvens no sensor principal e 3 no sensor de olhar para frente), resultando em ~6.464 estados possíveis.
• Inovação no Treinamento: Para garantir que o algoritmo visite todos os estados (o que é difícil em tempo real), eles utilizaram uma estratégia de treinamento reverso (backward iteration) sobre os dados de simulação. O agente "experimenta" todas as ações em todos os níveis de carga para cada imagem, acelerando a convergência e a generalização.
• Ação: Binária (amostrar ou não amostrar). A localização exata é determinada por uma regra simples (amostrar o alvo de maior recompensa mais próximo do nadir).

B. Aprendizado por Imitação (Imitation Learning - IL)

• Algoritmo: Clonagem Comportamental (Behavioral Cloning).
• Mecanismo: Treina um modelo supervisionado (Rede Neural do tipo MLP) para replicar as ações de um "especialista".
• Especialista: O algoritmo de Programação Dinâmica (DP) gera as ações ótimas para um conjunto de dados de demonstração.
• Arquitetura: Uma Rede Neural com Perceptron Multicamadas (MLP) com 4 camadas ocultas, que recebe vetores de estado normalizados e prevê a probabilidade de disparar uma observação.
• Vantagem: Permite inferência rápida e eficiente a bordo, aprendendo a política ótima sem precisar interagir com o ambiente durante o teste.

3. Cenários de Simulação

Os métodos foram testados em dois cenários distintos utilizando dados históricos reais:

1. Evitação de Nuvens (Cloud Avoidance): Objetivo é observar a superfície (céu limpo).
   • Dados: MODIS.
   • Recompensas: Céu limpo (100), Nuvem média (10), Nuvem (1), Sem amostra (0).
2. Caça a Tempestades (Storm Hunting): Objetivo é observar o interior de tempestades.
   • Dados: GPM (Global Precipitation Measurement).
   • Recompensas: Núcleo Convectivo (100), Anvil Chuvoso (10), Sem tempestade (1), Sem amostra (0).

4. Resultados Principais

Desempenho Comparativo

Os métodos de aprendizado superaram consistentemente os heurísticos existentes (Aleatório, Ganancioso Nadir, Lateral, Radar e Janela) e se aproximaram da solução ótima (DP):

• Cenário de Evitação de Nuvens:

  • Q-Learning: Alcançou 98,67% da recompensa total possível.
  • Clonagem Comportamental: Alcançou 95,84%.
  • Melhor Heurístico (Greedy Window): Apenas 87,50%.
  • Melhoria: O Q-Learning foi 13,7% melhor que o melhor heurístico; a Clonagem foi 10,0% melhor.

• Cenário de Caça a Tempestades:

  • Q-Learning: Alcançou 94,66% da recompensa total.
  • Clonagem Comportamental: Alcançou 91,27%.
  • Melhor Heurístico (Greedy Window): 82,57%.

Eficiência de Dados

• Ambos os métodos foram treinados eficazmente com pequenas quantidades de dados.
• O Q-Learning atingiu desempenho máximo com apenas 3.000 a 20.000 imagens (dependendo do cenário), em vez de usar o conjunto completo de 86.400 imagens.
• A Clonagem Comportamental convergiu rapidamente, utilizando apenas 0,34% a 2,41% dos estados possíveis gerados pelo especialista.

Análise de Comportamento

• Os métodos de aprendizado aprenderam a conservar energia estrategicamente. Por exemplo, no Q-Learning para evitação de nuvens, o satélite passou 84% do tempo sem amostrar (acima dos 80% esperados para recarga), evitando amostrar nuvens de baixo valor (recompensa 1) em favor de esperar por céus limpos (recompensa 100).
• O Q-Learning superou a Clonagem Comportamental ligeiramente, provavelmente porque o Q-Learning aprende a partir de recompensas futuras (visão de longo prazo), enquanto a Clonagem apenas imita a ação imediata do especialista baseada no estado atual.

5. Contribuições e Significância

• Validação de Aprendizado em Voo: Demonstra que técnicas de RL e IL podem superar heurísticas clássicas em tarefas de planejamento de satélites, oferecendo uma melhoria significativa na "recompensa científica" (qualidade dos dados coletados).
• Viabilidade Computacional: Os algoritmos aprendidos são extremamente rápidos (microssegundos), permitindo execução em tempo real em hardware de satélite, ao contrário da Programação Dinâmica que é computacionalmente proibitiva para uso em voo.
• Eficiência de Amostragem: Mostra que é possível treinar modelos robustos com conjuntos de dados limitados, o que é crucial para missões espaciais onde dados de treinamento podem ser escassos ou caros de gerar.
• Futuro: O trabalho abre caminho para o uso de redes neurais profundas (DQN, PPO) e o processamento de imagens completas (em vez de vetores de características manuais) em plataformas de pequenos satélites com processadores de IA.

Em resumo, o artigo prova que o uso de aprendizado de máquina para o alvejamento dinâmico permite que satélites de observação da Terra coletem dados cientificamente muito mais valiosos, otimizando o uso de energia e superando as limitações das estratégias de amostragem tradicionais.