OVerSeeC: Open-Vocabulary Costmap Generation from Satellite Images and Natural Language

O artigo apresenta o OVerSeeC, um framework modular de zero-shot que gera mapas de custo globais para planejamento de navegação autônoma a partir de imagens de satélite e instruções em linguagem natural, combinando modelos de linguagem e segmentação aberta para adaptar-se dinamicamente a entidades desconhecidas e regras de missão composicionais.

O essencial

Imagine que você é o comandante de um veículo autônomo (um "robô" que anda sozinho) que precisa atravessar um terreno desconhecido, como uma floresta densa ou um deserto. Normalmente, para planejar a rota, o robô precisa de um mapa de custos. Pense nesse mapa como um "mapa de calor" onde as cores indicam o quão difícil ou perigoso é andar em cada lugar: verde para "vá em frente", vermelho para "pare, é perigoso".

O problema é que, no mundo real, as regras mudam o tempo todo. Às vezes, o comandante quer evitar rios. Às vezes, quer evitar prédios, mas passar por campos de grama. Às vezes, quer evitar apenas o lado esquerdo de uma estrada. Os sistemas antigos de robótica são como receitas de bolo fixas: se você não tiver o ingrediente (a classe do terreno) na lista pré-definida, o robô não sabe o que fazer. Se o comandante disser "evite o campo de beisebol", o robô antigo pode não saber o que é um campo de beisebol e ignorar o pedido.

Aqui entra o OVERSEEC, a solução proposta neste artigo. Pense no OVERSEEC como um tripé de especialistas que trabalha juntos para criar um mapa personalizado em tempo real, apenas ouvindo o que você diz.

Como funciona o OVERSEEC? (A Analogia da Cozinha)

O sistema divide o trabalho em três etapas, como se fosse uma cozinha de alta tecnologia:

1. O Chef de Receitas (O LLM - Modelo de Linguagem):

   • O que faz: Você chega e diz: "Eu prefiro estradas e trilhas, mas evite o rio e o campo de beisebol".
   • A mágica: O "Chef" (um modelo de inteligência artificial de linguagem, como um GPT) entende essa frase. Ele não apenas extrai as palavras-chave, mas entende a lógica: "Ah, 'campo de beisebol' é feito de grama, mas é um tipo específico de grama que queremos evitar". Ele cria uma lista de "ingredientes" (classes de terreno) que precisam ser encontrados no mapa.

2. O Caçador de Tesouros (O Gerador de Máscaras):

   • O que faz: Agora que sabemos o que procurar, precisamos achar onde isso está na foto de satélite.
   • A mágica: O sistema pega uma foto de satélite gigante (que é muito grande para os computadores comuns processarem de uma vez) e a corta em pedaços menores, como um quebra-cabeça. Ele usa modelos de visão computacional avançados para pintar, em cada pedaço, onde está o rio, onde está a trilha, onde está o prédio. É como se ele estivesse colorindo um livro de colorir gigante, identificando exatamente onde cada coisa está.

3. O Montador de Mapas (O Sintetizador de Código):

   • O que faz: O Chef deu a lista, o Caçador achou os lugares. Agora, precisamos transformar isso em regras de viagem.
   • A mágica: O "Chef" volta a agir, mas agora escreve um pequeno programa de computador (código) que diz ao robô: "Se o pixel for 'rio', dê um custo alto (vermelho). Se for 'trilha', dê um custo baixo (verde). Se for 'grama' mas estiver perto de um 'prédio', aumente um pouco o custo".
   • O sistema executa esse código instantaneamente e gera o Mapa de Custos final.

Por que isso é revolucionário?

• Zero-Treinamento (Zero-Shot): Você não precisa ensinar o robô sobre "campos de beisebol" ou "torres elétricas" antes da missão. Se você falar sobre algo novo, o sistema entende e cria o mapa na hora. É como ter um GPS que entende qualquer idioma e qualquer regra que você inventar.
• Flexibilidade Total: Se o comandante mudar de ideia no meio da missão ("Ok, agora o rio está seco, podemos atravessar"), basta digitar a nova frase e o mapa é atualizado em minutos.
• Precisão: O sistema é capaz de entender nuances. Por exemplo, ele pode entender que "evite a beira da estrada" é diferente de "evite a estrada inteira".

O Resultado na Prática

Os autores testaram o sistema em várias situações difíceis, com terrenos que o robô nunca tinha visto antes.

• Comparação: Sistemas antigos (que usam mapas fixos) falhavam miseravelmente quando encontravam algo novo ou quando as regras eram complexas. Eles faziam o robô andar em lugares perigosos ou ignoravam pedidos importantes.
• OVERSEEC: O robô guiado pelo OVERSEEC seguiu as preferências humanas quase perfeitamente, desviando de obstáculos novos e escolhendo as melhores rotas, mesmo em regiões onde a aparência do terreno era diferente do que ele "via" no treinamento.

Em resumo

O OVERSEEC é como ter um piloto de avião experiente que olha para uma foto de satélite e ouve suas instruções em linguagem natural para desenhar a rota mais segura e eficiente, sem precisar de manuais técnicos ou meses de treinamento. Ele transforma a linguagem humana em um mapa de navegação inteligente, permitindo que robôs se adaptem a qualquer missão, em qualquer lugar do mundo, apenas com uma conversa.

Resumo técnico

Título: OVERSEEC: Geração de Mapas de Custo de Vocabulário Aberto a partir de Imagens de Satélite e Linguagem Natural

1. Problema e Motivação

O planejamento de rotas de longo alcance para veículos autônomos terrestres (AGVs) em ambientes fora de estrada (off-road) exige a conversão de imagens aéreas de alta resolução em mapas de custo (costmaps) prontos para o planejador.

• Limitações das Abordagens Atuais: Os métodos tradicionais dependem de ontologias fixas (conjuntos predefinidos de classes como "estrada", "grama") e mapeamentos estáticos de classe para custo. Isso falha em cenários onde:
  1. As missões exigem classes de terreno novas ou desconhecidas (vocabulário aberto).
  2. As regras de travessia são complexas, compostas e expressas em linguagem natural (ex: "prefira trilhas, mas evite rios; se a grama estiver perto de um prédio, evite-a").
• Desafio: Modelos de visão computacional existentes não conseguem generalizar para entidades não vistas durante o treinamento, e modelos de linguagem pura não conseguem gerar grades de custo pixel-perfect alinhadas com a imagem. Além disso, a alta resolução das imagens de satélite excede as restrições de tamanho de entrada dos modelos de fundação (foundation models).

2. Metodologia: OVERSEEC

O OVERSEEC propõe um framework modular, zero-shot (sem necessidade de treinamento específico para a tarefa) e baseado em três etapas principais: Interpretar – Localizar – Sintetizar.

A. Arquitetura Modular

O sistema decompõe o problema em três submódulos especializados:

1. Identificação de Entidades (Interpretar):

   • Utiliza um LLM (Large Language Model) para analisar o prompt de linguagem natural do usuário.
   • Extrai as classes semânticas relevantes (ex: "rio", "torre elétrica") e as categoriza por geometria (linear vs. areal) para definir limiares de binarização adequados.
   • Combina essas classes com um conjunto padrão para garantir cobertura robusta.

2. Geração de Máscaras de Vocabulário Aberto (Localizar):

   • Projetado para lidar com imagens de satélite de alta resolução sem perda de detalhe.
   • Segmentação Semântica Inicial: Usa o modelo CLIPSeg (Language-Grounded Semantic Segmentation) em "tiles" (pedaços) da imagem para gerar mapas de probabilidade brutos para classes abertas.
   • Refinamento de Máscaras: Usa o SAMRefiner (uma variação do Segment Anything Model) para refinar as bordas e corrigir conectividade, utilizando a máscara bruta como prior espacial.
   • O processo de "tiling" (divisão da imagem) permite processar imagens nativas de alta resolução que não caberiam inteiramente em um único modelo.

3. Composição da Função de Mapa de Custo (Sintetizar):

   • Um LLM sintetiza dinamicamente uma função de código executável (f_LLM) baseada no prompt do usuário e nas máscaras geradas.
   • O LLM traduz a lógica natural (hierarquias, condições espaciais, preferências) em operadores de máscara (AND, OR, NOT, REMOVE) e pesos de custo.
   • A função resultante combina as máscaras refinadas e os mapas de probabilidade para gerar o mapa de custo final escalável (valores entre 0 e 1), onde valores mais baixos indicam áreas preferíveis.

B. Interface Gráfica (GUI)

O sistema inclui uma GUI que permite aos operadores iterar rapidamente: alterar prompts em linguagem natural e obter mapas de custo atualizados em minutos, sem re-treinamento ou anotação de dados.

3. Contribuições Principais

1. Pipeline de Percepção Zero-Shot: Um sistema de segmentação que preserva a resolução nativa do mapa e lida com classes de terreno arbitrárias e novas, superando as limitações de tamanho de entrada dos modelos de segmentação.
2. Sintetização de Código por LLM: Demonstração de que um LLM pode interpretar regras complexas de preferência e gerar funções de custo executáveis que capturam lógica composicional e espacial.
3. Iteração Rápida e Adaptável: Capacidade de ajustar missões em tempo real via linguagem natural, eliminando a necessidade de supervisão específica por conjunto de dados.
4. Métrica RRPI (Ranked Regret Path Integral): Introdução de uma nova métrica para quantificar o alinhamento entre os caminhos planejados e as preferências do usuário, considerando tanto a distância percorrida quanto a "regret" (arrependimento) baseada na classificação de preferência das classes de terreno.

4. Resultados Experimentais

Os experimentos foram realizados em dois conjuntos de dados (D2 e D3) com cenários de distribuição conhecida (ID), desconhecida (OOD) e vocabulário aberto (OOD-OV).

• Desempenho Comparativo: O OVERSEEC superou consistentemente as abordagens baseadas em ontologia fixa (como SegFormer e DINO-UNet) em cenários OOD e OOD-OV.
  • Em cenários de vocabulário aberto (ex: "evitar campo de beisebol" ou "torre elétrica"), as bases fixas falharam em identificar as classes, enquanto o OVERSEEC gerou trajetórias alinhadas com a intenção humana.
• Alinhamento Humano: Em estudos de caso com anotadores humanos, o OVERSEEC produziu trajetórias com a menor distância de Hausdorff em relação aos caminhos desenhados manualmente, demonstrando superioridade na compreensão de intenções complexas.
• Robustez: O sistema manteve alta precisão de segmentação (IoU) mesmo com mudanças de domínio geográfico e visual, graças ao uso de modelos de fundação pré-treinados em dados massivos e diversos.
• Métrica RRPI: O OVERSEEC obteve pontuações de RRPI significativamente menores (melhores) do que as bases, indicando que os caminhos planejados evitaram melhor as áreas indesejadas conforme as instruções.

5. Significado e Conclusão

O OVERSEEC representa um avanço significativo na navegação robótica autônoma ao demonstrar que a composição modular de modelos de fundação (LLMs e VLMs) permite a criação de sistemas de planejamento globais adaptáveis e centrados no usuário.

• Impacto: Permite que missões autônomas em ambientes não estruturados se adaptem a novos terrenos e regras operacionais sem a necessidade de re-treinamento de modelos de visão ou coleta de dados rotulados.
• Futuro: O trabalho sugere que frameworks neuro-simbólicos, combinando raciocínio de linguagem com percepção visual, são a chave para robótica autônoma escalável e robusta em cenários do mundo real.

Em resumo, o OVERSEEC transforma instruções de linguagem natural em mapas de custo executáveis e precisos, permitindo que robôs "entendam" e naveguem em ambientes complexos baseados no que os operadores dizem, e não apenas no que foi programado previamente.