Flying by Inference: Active Inference World Models for Adaptive UAV Swarms

1. Declaração do Problema

O artigo aborda o desafio do planejamento de trajetória adaptativo para enxames de Veículos Aéreos Não Tripulados (UAVs) em ambientes dinâmicos e incertos. O problema central envolve a resolução de um Problema do Caixeiro Viajador Múltiplo (MTSP), onde um enxame deve:

1. Alocar tarefas: Distribuir um conjunto de locais-alvo entre múltiplos UAVs.
2. Sequenciar rotas: Determinar a ordem ótima de visita para cada UAV.
3. Gerar trajetórias: Criar caminhos livres de colisões e dinamicamente viáveis.
4. Adaptar-se online: Reagir a mudanças ambientais (por exemplo, novos alvos, obstáculos) em tempo real sem reexecutar uma otimização global computacionalmente dispendiosa.

Limitações das Abordagens Existentes:

• Otimização Determinística/Metaheurística (por exemplo, Algoritmos Genéticos): Fornecem soluções offline de alta qualidade, mas carecem de adaptabilidade em tempo real; qualquer mudança ambiental exige uma reotimização completa.
• Aprendizado por Reforço Profundo (DRL): Oferece adaptabilidade, mas sofre com alta complexidade de amostragem, generalização pobre para cenários fora da distribuição e falta de interpretabilidade.

2. Metodologia

Os autores propõem um framework guiado por especialistas e inspirado na inferência ativa que transforma o problema de otimização combinatória em um problema hierárquico de inferência probabilística. A metodologia consiste em duas fases:

A. Fase Offline: Demonstração de Especialista e Aprendizado de Modelo de Mundo

1. Geração de Especialista: Um Algoritmo Genético com evasão de colisões por força repulsiva (GA-RF) gera demonstrações de especialistas de alta qualidade para várias instâncias de missão.
2. Abstração Simbólica Hierárquica: As trajetórias contínuas dos especialistas são decompostas em três dicionários simbólicos:
   • Dicionário de Missão: Codifica como o conjunto global de alvos é particionado entre os UAVs (Alocação de Tarefas).
   • Dicionário de Rota: Codifica a sequência ordenada de visitas para cada UAV (Sequenciamento de Rotas).
   • Dicionário de Movimento: Codifica primitivas de movimento locais (por exemplo, atração ao alvo, evasão de obstáculos) derivadas de campos potenciais físicos (forças atrativas/repulsivas).
3. Modelo de Mundo Probabilístico: O sistema aprende um modelo probabilístico hierárquico a partir desses símbolos. Ele estima:
   • Distribuições de referência para padrões de missão.
   • Probabilidades de transição de Missão $\to$ Rota $\to$ Movimento.
   • Este modelo captura as dependências condicionais do comportamento do especialista (por exemplo, como uma alocação de missão específica induz uma ordem de rota específica).

B. Fase Online: Inferência Ativa e Controle Adaptativo

Em vez de resolver o MTSP do zero, o enxame de UAVs realiza inferência online para selecionar ações que minimizam a "anormalidade".

1. Minimização de Anormalidade: Para uma dada observação, o enxame avalia ações candidatas em cada nível hierárquico. Calcula-se a divergência de Kullback-Leibler (KL) entre a crença posterior inferida da ação e a distribuição de referência derivada do especialista.
   • Baixa Divergência KL: A ação é consistente com o comportamento do especialista.
   • Alta Divergência KL: A ação é "anormal" ou inconsistente.
2. Tomada de Decisão Hierárquica: O enxame seleciona a sequência de ações (Missão, Rota, Movimento) que minimiza a anormalidade total ponderada.
   • Adaptação: Quando um novo alvo aparece, o sistema não reotimiza globalmente. Em vez disso, avalia qual UAV deve assumir o novo alvo (nível de Missão) e onde inseri-lo na rota (nível de Rota) para minimizar a anormalidade resultante.
3. Controle Assistido por Filtros: Para lidar com ruído e incerteza na estimativa de estado contínuo, filtros bayesianos (EKF e Filtro de Partículas) são integrados no nível de movimento. Esses filtros preveem estados contínuos e atualizam a probabilidade de símbolos de movimento, garantindo correção suave de trajetória e evasão de colisões robusta.

3. Contribuições Principais

1. Modelo de Mundo Simbólico Hierárquico: A construção de um modelo simbólico de três níveis (Missão, Rota, Movimento) aprendido a partir de demonstrações de especialistas, que abstrai trajetórias complexas em padrões probabilísticos reutilizáveis.
2. Mecanismo de Inferência Ativa Baseado em KL: Um framework de tomada de decisão que substitui a minimização completa de energia livre por indicadores de anormalidade baseados em divergência KL. Isso direciona o enxame para comportamentos consistentes com especialistas, evitando o custo computacional da otimização global.
3. Arquitetura Probabilístico-Simbólica Unificada: Um sistema que funde conhecimento de especialista, inferência probabilística e controle simbólico hierárquico, oferecendo tanto interpretabilidade quanto adaptabilidade.
4. Correção de Movimento Assistida por Filtros: A integração de EKF/Filtros de Partículas com inferência simbólica para lidar com observações ruidosas e garantir a execução segura e contínua de trajetórias.

4. Resultados e Validação

O framework foi avaliado por meio de extensas simulações e experimentos de voo real:

• Resultados de Simulação:

  • Desempenho: O método proposto alcançou tempos de conclusão de missão e distâncias totais percorridas comparáveis ao planejador especialista offline GA-RF.
  • Estabilidade: Comparado a uma linha de base modificada de Q-learning, o framework proposto produziu trajetórias mais suaves e estáveis, com menos comportamento oscilatório.
  • Adaptabilidade: O sistema adaptou-se com sucesso a layouts de alvos não vistos e mudanças dinâmicas (por exemplo, aparecimento de novos alvos) sem retreinamento ou reexecução do otimizador global.
  • Preservação de Estrutura: O modelo de mundo aprendido preservou as regularidades estruturais do planejamento de especialistas (alocação de tarefas e ordenação de rotas) melhor do que as linhas de base de aprendizado por reforço.

• Validação em Voo Real (Ambiente Interno):

  • Usando dados de UAVs DJI Air 2S pilotados por humanos, o sistema demonstrou robustez contra ruído de sensoriamento e comportamentos não suaves de pilotos humanos.
  • Correção de Crença: O mecanismo de atualização bayesiana corrigiu com sucesso erros de previsão simbólica causados por observações ruidosas, alinhando a trajetória prevista com a realidade observada.
  • Sucesso da Missão: Apesar de erros locais de previsão de movimento devido ao ruído, a taxa de sucesso na conclusão da missão permaneceu em 100%, provando a robustez da inferência hierárquica de alto nível.

5. Significado

Este artigo apresenta uma mudança significativa na autonomia de enxames de UAVs, passando de otimização repetitiva para inferência estruturada.

• Eficiência Computacional: Ao restringir o espaço de busca a candidatos simbólicos consistentes com especialistas, o método permite replanejamento em tempo real que seria computacionalmente intratável para solucionadores tradicionais de MTSP.
• Interpretabilidade: Diferente de modelos de aprendizado profundo de "caixa preta", a estrutura simbólica hierárquica permite que engenheiros entendam por que uma alocação de missão ou rota específica foi escolhida (com base em transições probabilísticas aprendidas).
• Robustez: A integração da inferência ativa com estimativa de estado bayesiana fornece um mecanismo robusto para operar em ambientes incertos, ruidosos e dinâmicos, fechando a lacuna entre o planejamento teórico e a execução no mundo real.

Em conclusão, o framework oferece uma solução escalável, interpretável e adaptativa para missões complexas de múltiplos UAVs, aproveitando efetivamente o conhecimento de especialistas para guiar a tomada de decisão autônoma em tempo real.