LMPath: Language-Mediated Priors and Path Generation for Aerial Exploration

Resumo Técnico: LMPath: Priors Mediados por Linguagem e Geração de Caminhos para Exploração Aérea

Declaração do Problema
As missões tradicionais de busca autônoma com Veículos Aéreos Não Tripulados (UAV) dependem de padrões de cobertura geométrica que ignoram o contexto semântico do objeto-alvo. Em ambientes de grande escala, essa abordagem leva a desperdícios significativos de tempo, pois o UAV deve cobrir sistematicamente áreas independentemente da probabilidade de encontrar o alvo. Métodos existentes que utilizam modelos de base para imagens de satélite frequentemente focam na localização de objetos grandes e estáticos visíveis de cima (por exemplo, edifícios), mas carecem da capacidade de raciocinar sobre as relações semânticas entre objetos dinâmicos e seus ambientes (por exemplo, carros em estacionamentos). Além disso, embora métodos de navegação reativa local utilizem incorporações de linguagem para exploração de fronteiras, eles carecem de um mecanismo para traduzir o senso comum ambiental de alto nível em priores de busca globais e otimizados para áreas de grande escala.

Metodologia: O Pipeline LMPath
Os autores apresentam o LMPath, um pipeline projetado para gerar priores de exploração mediados por linguagem para missões de busca de UAV. O sistema integra Modelos de Linguagem de Grande Escala (LLMs) e modelos de visão de base para criar um framework de raciocínio semântico-espacial. O pipeline opera através das seguintes etapas:

1. Entrada e Recuperação de Dados: O sistema aceita um prompt de objeto definido pelo usuário (por exemplo, "carro") e metadados geoespaciais que definem a cerca geográfica operacional, zonas de exclusão de voo e local de lançamento. Um "Compositor de Tiles" consulta serviços de mapas baseados na web para costurar imagens de satélite de alta resolução da área de busca.
2. Inferência de Rótulos Semânticos (LLM): Um agente LLM infere um conjunto de rótulos semanticamente relevantes ($L$) que descrevem os contextos ambientais prováveis onde o objeto-alvo seria encontrado (por exemplo, para um "carro", o LLM pode gerar "estacionamento", "estrada", "entrada de garagem"). Isso preenche a lacuna entre o alvo de busca específico e características semânticas mais amplas reconhecíveis em imagens aéreas.
3. Geração de Mapa de Calor Probabilístico (Modelo de Visão): Usando os rótulos inferidos, um modelo de segmentação de base (especificamente SAM 3) processa as imagens de satélite. Devido ao tamanho das imagens de satélite, é empregada uma abordagem de janela deslizante. Máscaras de segmentação binárias são geradas para cada rótulo dentro de janelas sobrepostas, médias para mitigar artefatos de fronteira e somadas para criar uma função de densidade de probabilidade 2D final (mapa de calor), $H(x, y)$. Valores mais altos indicam uma maior probabilidade semântica da presença do objeto.
4. Geração de Pontos de Via e Construção de Grafo: O mapa de calor contínuo é discretizado em um conjunto de pontos de via candidatos com base na pegada de cobertura do sensor do UAV. O espaço operacional é particionado usando tesselação de Voronoi. O "calor" ou massa de probabilidade ($p_i$) para cada ponto de via é calculado integrando o prior semântico sobre sua célula de Voronoi correspondente e normalizando pela área da célula para evitar viés em direção a células grandes.
5. Otimização de Caminho (PLI): O grafo discreto é alimentado em um planejador de caminhos formulado como um Programa Linear Inteiro (PLI). O sistema suporta múltiplos objetivos:
   • Minimização do Tempo Esperado de Busca: O PLI otimiza a rota para minimizar a soma ponderada dos tempos de visita, priorizando pontos de via com maiores massas de probabilidade.
   • Caminho Focado no Alvo em Ambientes Grandes: Para áreas muito grandes, o planejador pode filtrar pontos de via com massas de probabilidade abaixo de um limiar ($\rho$), reduzindo o problema a um Problema do Caixeiro Viajante (TSP) sobre sub-regiões de alta probabilidade.

Contribuições Principais
O artigo descreve duas contribuições primárias:

1. Um Framework de Raciocínio Semântico-Espacial: A integração de um LLM para inferir rótulos semanticamente relevantes, criando uma camada de raciocínio entre um alvo de busca e seu provável contexto ambiental, que é então mapeado para imagens de satélite.
2. Um Sistema de Busca de Caminhos Multi-Objetivo: A integração desses priores mediados por linguagem em um PLI para otimizar caminhos para diversos objetivos de missão, como minimizar o tempo de busca ou focar em sub-regiões específicas.

Resultados Experimentais
Os autores avaliaram o LMPath através de testes de campo no mundo real e simulações de alta fidelidade:

• Validação no Mundo Real: Usando um UAV Falcon 4 com uma câmera RGB de visão nadir, o sistema executou com sucesso missões em ambientes de grande escala. Em uma busca por um "carro", o UAV priorizou estacionamentos em vez de campos de grama. Em uma busca por "edifícios" dentro de uma área de 300m x 450m, o UAV focou em espaços abertos, ignorando regiões florestais.
• Avaliação por Simulação: Simulações no Gazebo foram conduzidas em dois ambientes: "PolyCity" (urbano sintético) e "Parque Industrial" (reconstruído a partir de imagens reais de UAV). As simulações compararam o LMPath contra um planejador TSP de base que cobre uniformemente todo o espaço sem orientação semântica.
  • No ambiente PolyCity, o caminho gerado pelo LMPath encontrou o alvo mais rápido que a base 66,0% das vezes.
  • No ambiente Parque Industrial, o LMPath superou a base 88,0% das vezes.
  • Os resultados indicam que priorizar inteligentemente regiões de alta probabilidade reduz significativamente o tempo esperado de busca em comparação com a cobertura exaustiva agnóstica a semântica.

Significado e Limitações
O artigo afirma que o LMPath demonstra a utilidade de alavancar modelos de base para repensar a alocação de tarefas de UAV, indo além da seleção manual de coordenadas GPS para autonomia orientada por semântica. O sistema traduz com sucesso prompts do usuário em rotas de voo otimizadas que respeitam o contexto ambiental.

Os autores reconhecem limitações específicas:

• Restrições de Visibilidade: O sistema só pode segmentar locais claramente visíveis na imagem de satélite fornecida. Grandes edifícios ou vegetação causando oclusões podem prejudicar o desempenho.
• Suposições Estáticas: A formulação atual do mapa de calor assume ponderação uniforme para rótulos e máscaras.
• Direções Futuras: Os autores propõem trabalho futuro para fundir os priores do LMPath com algoritmos locais de exploração de fronteiras para lidar com oclusões e mudanças dinâmicas. Eles também sugerem incorporar confiança de rótulo e dependências condicionais (por exemplo, favorecer "entrada de garagem" quando adjacente a "edifício") para refinar ainda mais os priores de busca.