Visual Prompt Based Reasoning for Offroad Mapping using Multimodal LLMs

1. O Problema

A navegação autônoma em ambientes fora de estrada (off-road) apresenta desafios significativos devido à ausência de mapas de alta fidelidade, falta de localização precisa e à extrema diversidade de terrenos. As abordagens tradicionais dependem de múltiplos modelos especializados treinados separadamente para tarefas como classificação de terreno, estimativa de altura e previsão de deslizamento. Isso exige conjuntos de dados específicos para cada tarefa e um ajuste fino (fine-tuning) complexo, limitando a generalização em terrenos não vistos anteriormente. Além disso, a detecção de áreas transitáveis em ambientes não estruturados muitas vezes carece de raciocínio contextual profundo, sendo difícil para modelos puramente visuais distinguir entre um terreno rochoso transponível e uma encosta íngreme perigosa apenas por aparência visual.

2. Metodologia Proposta

Os autores propõem uma abordagem zero-shot (sem necessidade de treinamento específico para o domínio) que unifica a segmentação de imagem e o raciocínio linguístico em um único pipeline. O framework é composto por quatro módulos principais:

• Módulo de Segmentação (SAM2):

  • Utiliza o modelo SAM2 (Segment Anything Model 2) para gerar máscaras de segmentação.
  • Em vez de usar a geração automática de máscaras (que é lenta), o sistema emprega um gerador de prompts de pontos iterativos sobre uma grade na imagem para identificar objetos e regiões.
  • As máscaras geradas são filtradas com base na Interseção sobre União (IoU) e na área mínima para eliminar ruídos.
  • Cada máscara válida recebe um rótulo numérico e é sobreposta à imagem original, criando uma "colagem" anotada. O SAM2 também é usado para rastreamento de máscaras entre quadros, reduzindo a necessidade de reprocessamento constante.

• Módulo de Inferência do VLM (Vision-Language Model):

  • A imagem original e a imagem anotada (com máscaras e números) são enviadas como entrada visual para um Modelo de Linguagem Visual (VLM).
  • Um prompt de texto instrui o modelo a identificar quais números correspondem a áreas transitáveis (ex: terra, areia, cascalho, concreto), baseando-se na definição de "obstáculo livre".
  • O VLM retorna apenas os índices numéricos das máscaras transitáveis, que são então convertidos em uma máscara binária final.

• Mapeamento, Planejamento e Controle:

  • A máscara binária é processada junto com dados de nuvem de pontos (point cloud) para criar uma grade de ocupação 2D (mapa de 600x600).
  • Planejador Global: Utiliza o algoritmo D Lite* para calcular o caminho mais curto até o objetivo, permitindo atualizações incrementais quando o mapa muda dinamicamente.
  • Planejador Local: Utiliza Hybrid A* para gerar trajetórias cinematicamente viáveis dentro de uma janela de movimento, respeitando as restrições do veículo.
  • Controle: Um controlador Stanley gerencia o erro lateral (direção) e um controlador PID gerencia a velocidade (aceleração).

3. Principais Contribuições

• Framework Unificado Zero-Shot: Uma arquitetura que acopla a segmentação baseada em SAM2 com o raciocínio baseado em VLM para identificar áreas transitáveis sem treinamento específico para terrenos.
• Integração de Raciocínio Semântico: Substitui modelos de classificação de terreno rígidos pela capacidade de raciocínio contextual dos VLMs, permitindo que o sistema "entenda" a transitabilidade com base em instruções de linguagem natural.
• Benchmarks de Navegação Completa: A proposta inclui uma avaliação de ponta a ponta (do sensor ao controle) em um ambiente simulado (Isaac Sim), indo além da simples métrica de segmentação (IoU) para testar a capacidade de alcançar objetivos reais.

4. Resultados e Avaliação

O sistema foi testado em um ambiente simulado (Unreal Engine + NVIDIA Isaac Sim) e em conjuntos de dados reais (ORFD, RUGD, O2DTD).

• Desempenho em Tempo Real: A técnica de point prompting (prompts de pontos) mostrou-se significativamente mais rápida (3.5s) do que a geração automática de máscaras do SAM2 (12.5s), tornando-a viável para aplicações em tempo real.
• Comparação de Modelos VLM:
  • Modelos maiores (como GPT-5 Mini e ChatGPT-4o) apresentaram maior precisão (mIoU de 0.727 e 0.557, respectivamente), mas com tempos de inferência mais longos.
  • Modelos locais menores (como Aquila-VL-2B) ofereceram o melhor equilíbrio entre precisão (mIoU 0.515) e velocidade (0.59s).
  • A configuração de prompts foi crucial: prompts com "Contexto Completo" e restrições de saída de "Número Único" (SNP) geralmente produziram os melhores resultados.
• Comparação com o Estado da Arte:
  • Em conjuntos de dados de alta resolução, a abordagem proposta superou ou igualou modelos treinados específicos (como PathFormer), alcançando um mIoU de 0.9141 no dataset ORFD.
  • O desempenho foi inferior em datasets de baixa resolução (O2DTD), destacando a dependência atual da qualidade da imagem e a necessidade de arquiteturas multiescala.
• Testes de Alcance (Reachability): O sistema conseguiu navegar com sucesso para objetivos em simulação, embora tenha enfrentado dificuldades em cenários com valas profundas onde o VLM não identificou corretamente a falta de tração.

5. Significância e Conclusão

Este trabalho representa um avanço significativo na autonomia off-road ao demonstrar que modelos de linguagem visual modernos podem substituir pilhas complexas de modelos especializados. A principal vantagem é a generalização: o sistema pode adaptar-se a novos tipos de terreno sem re-treinamento, bastando ajustar o prompt de linguagem.

Embora existam desafios relacionados à natureza não determinística dos VLMs e à dependência de alta resolução de imagem, o estudo valida a viabilidade de usar raciocínio semântico para navegação autônoma. O trabalho abre caminho para futuras pesquisas em ajuste fino de VLMs para tarefas específicas, integração de múltiplas modalidades e melhoria da robustez em ambientes dinâmicos e de baixa resolução.