GroundSet: A Cadastral-Grounded Dataset for Spatial Understanding with Vector Data

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) demonstraram capacidades notáveis em tarefas gerais, mas apresentam deficiências críticas na compreensão espacial de alta granularidade no contexto de Sensoriamento Remoto (RS).

• Limitações Atuais: Os modelos existentes falham em tarefas fundamentais como detecção precisa de objetos e segmentação, essenciais para aplicações de alto risco como planejamento urbano e gestão de desastres.
• Falta de Dados de Qualidade: A adaptação de MLLMs para Sensoriamento Remoto é limitada pela escassez de anotações espaciais densas e precisas.
  • O uso de dados legados (como DOTA, DIOR) ou crowdsourcing (OpenStreetMap) resulta em taxonomias limitadas, inconsistências geométricas e falta de escalabilidade.
  • A anotação manual é proibitivamente cara e não escala para suportar a pesquisa moderna.
• Consequência: Modelos especializados em RS muitas vezes sofrem de "esquecimento catastrófico" ou não generalizam bem, enquanto modelos comerciais de grande escala (como o Gemini) carecem do conhecimento semântico específico necessário para precisão submétrica.

2. Metodologia

A equipe propôs uma nova abordagem para a curadoria de dados, substituindo a anotação manual ou a reutilização de conjuntos antigos por dados vetoriais cadastrais verificados.

• Fonte de Dados: O dataset utiliza registros cadastrais mantidos por agências nacionais (prova de conceito baseada na infraestrutura de dados abertos da França/IGN). Esses dados são legalmente verificados e oferecem alta fidelidade geométrica.
• Escala e Resolução:
  • 510.000 imagens de ortofotografia aérea de alta resolução (20 cm).
  • 3,8 milhões de objetos anotados.
  • 135 categorias semânticas granulares (ex: distinguindo tipos de igrejas, usinas de energia, culturas específicas), superando as poucas dezenas de classes genéricas de datasets anteriores.
• Pipeline de Processamento:
  1. Filtragem e Limpeza: Remoção de entidades não visíveis (túneis, estacionamentos subterrâneos) e alinhamento rigoroso entre vetores e imagens.
  2. Resolução de Discrepâncias: Fusão de polígonos contíguos da mesma classe para refletir a pegada visual real em vez de divisões legais invisíveis.
  3. Geração de Instruções: Uso de VLMs para gerar automaticamente pares de perguntas e respostas (instruções) baseados em regras geométricas rígidas, evitando alucinações.
  4. Tipos de Anotação: Suporte a Caixas Limitadoras Horizontais (HBB), Orientadas (OBB), Máscaras de Segmentação (polígonos) e linhas, além de texto descritivo.
• Benchmark: Foi criado um conjunto de teste com 7 tarefas de raciocínio espacial: Legendagem (Captioning), Classificação Localizada, Detecção de Objetos, Detecção Multiclasse, Compreensão de Expressão Referencial (REC), Segmentação e Resposta a Perguntas Visuais (VQA).

3. Principais Contribuições

1. O Dataset (GroundSet): Um conjunto de dados em escala industrial com origem cadastral verificada, oferecendo uma riqueza semântica e densidade de anotações sem precedentes (3,8M objetos, 135 classes).
2. O Benchmark: Uma suíte completa de ajuste fino (fine-tuning) com instruções para 7 tarefas espaciais, derivada diretamente dos dados vetoriais brutos.
3. A Baseline (Linha de Base): Um modelo baseado na arquitetura padrão LLaVA-1.6 (7B), ajustado apenas com dados GroundSet, sem modificações arquiteturais complexas.
4. Liberação de Dados: Disponibilização tanto do dataset de instruções quanto dos dados vetoriais brutos para permitir novas metodologias de pesquisa.

4. Resultados

Os experimentos compararam o modelo GroundSet ajustado contra modelos de base (LLaVA), especialistas em RS (GeoChat, SkySenseGPT), modelos de raciocínio espacial (Ferret, PaliGemma) e soluções comerciais (Gemini-2.5 Flash).

• Desempenho Superior: O modelo ajustado no GroundSet superou significativamente todos os concorrentes em zero-shot e few-shot.
  • Classificação: O modelo GroundSet superou o melhor baseline comercial (Gemini) em 44 pontos de média, demonstrando que o conhecimento semântico específico não está presente no pré-treinamento web em escala.
  • Tarefas de Grounding (Detecção/Segmentação): O modelo alcançou F1 de 49,47 em detecção e 44,65 em segmentação, superando modelos especializados que, por sua vez, muitas vezes performaram pior que suas arquiteturas base quando testados no novo dataset.
• Generalização Cruzada: Ao ser testado no benchmark VRSBench (focado em objetos móveis como veículos e aviões, ausentes no treinamento cadastral), o modelo GroundSet manteve capacidades robustas de grounding, superando especialistas em RS em tarefas de detecção e REC, mesmo operando em um cenário out-of-distribution.
• Ablação: O estudo mostrou que o uso de tarefas auxiliares (raciocínio geométrico apenas em texto e consultas de segmentação exaustivas) melhorou o desempenho espacial, enquanto o "descongelamento" do codificador de visão foi prejudicial.

5. Significado e Conclusão

O trabalho demonstra que a qualidade e a fidelidade dos dados de treinamento são mais críticas do que a complexidade arquitetural para o entendimento espacial em Sensoriamento Remoto.

• Preenchimento da Lacuna de Conhecimento: O dataset expõe uma "lacuna de conhecimento" nos modelos atuais, provando que eles não possuem o conhecimento granular e verificado necessário para aplicações operacionais de alta precisão.
• Validação de Dados Cadastrais: A abordagem de usar dados cadastrais legais como ground truth resolve o dilema entre escalabilidade e qualidade, oferecendo uma base rigorosa para a IA espacial.
• Futuro: O trabalho sugere que arquiteturas padrão de VLM, quando treinadas em dados vetoriais de alta fidelidade, podem dominar tarefas de grounding complexas sem necessidade de modificações arquiteturais profundas, abrindo caminho para novas paradigmas de modelagem baseados em primitivas vetoriais nativas.