Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs

Resumo Técnico: Preenchimento Antes do Avanço (FBA) para RS-MLLMs Especializados em Cenários

Formulação do Problema
Os modelos de linguagem de grande escala multimodais de sensoriamento remoto (RS-MLLMs) avançaram na compreensão geral de imagens aéreas, mas enfrentam dificuldades em aplicações específicas de cenários e de detalhamento fino, como o monitoramento de portos costeiros. Tarefas do mundo real exigem relatórios estruturados e fundamentados em evidências sobre zonas funcionais, escalas de embarcações e layouts espaciais, em vez de descrições genéricas de cenas. Os autores identificam duas barreiras primárias para alcançar essa especialização:

1. Escassez de Dados de Cenários de Alta Qualidade: Ao contrário de imagens naturais, os dados de supervisão anotados por especialistas para cenários específicos de sensoriamento remoto (RS) são limitados devido ao tempo e ao trabalho necessários para a aquisição multissensorial e a anotação rigorosa.
2. Dificuldade de Cobertura de Capacidades: O ajuste fino supervisionado direto (Direct-SFT) de MLLMs gerais em amostras de domínios alvo frequentemente falha. Isso ocorre porque cenários específicos de RS introduzem lacunas no alinhamento visual (visões zenitais), na consciência de modalidade (SAR, PAN, NIR) e no profissionalismo da tarefa que um único estágio de treinamento não consegue preencher.

Metodologia: Preenchimento Antes do Avanço (FBA)
O artigo propõe o Preenchimento Antes do Avanço (FBA), um paradigma de pós-treinamento impulsionado pelo preenchimento de lacunas de capacidade. Em vez de depender de um SFT de estágio único sobre dados alvo, o FBA fecha sequencialmente múltiplas lacunas de capacidade antes de avançar para o cenário especializado final. Isso é instanciado para a compreensão de portos costeiros através de três estágios ordenados, apoiados pelo conjunto de dados CPRS (Coastal-Port Remote Sensing):

1. Estágio 1: Ancoragem Semântica de RS (RS-Anchor)

   • Objetivo: Estabelecer um alinhamento visual-linguístico de visão zenital amplo.
   • Dados: 569.853 pares de imagem-legenda RGB de recursos de RS existentes (ex: RSTeller, RSSRData).
   • Função: Cria uma base semântica fundamental de RS, garantindo que o modelo compreenda padrões visuais gerais de RS antes de encontrar cenários específicos.

2. Estágio 2: Convergência de Ponte de Domínio (Bridge-Conv)

   • Objetivo: Aprender prioridades de RS compartilhadas entre o cenário alvo (porto) e cenários de ponte (costeiro/portuário) sob múltiplas modalidades.
   • Dados: 187.296 amostras de SFT de múltiplas fontes (RGB, SAR, PAN, NIR) construídas via destilação de Professor Múltiplo em Estágios (SMT). Este processo envolve a normalização de evidências, síntese de instruções e verificação de respostas para garantir a fundamentação visual.
   • Função: Faz a ponte entre o RS geral e o alvo específico, consolidando prioridades compartilhadas (textura, layout, padrões de objetos) através das modalidades para preparar o modelo para o ajuste fino especializado.

3. Estágio 3: Ajuste de Cenário Baseado em Evidências (Scenario-EG)

   • Objetivo: Adaptação final para tarefas de domínio de porto com rigorosa fundamentação em evidências.
   • Dados: 53.000 amostras de instrução especializadas em portos, focando em zonas funcionais, localização de grade e tratamento de casos negativos (rejeição de cenas que não são de porto).
   • Função: Alinha as respostas do modelo com a evidência visual, melhorando a confiabilidade quando a evidência é insuficiente ou ambígua, e reduzindo o sobreajuste a padrões de cena estreitos.

Protocolo de Avaliação
Os autores introduzem o HarborEval, um benchmark de diagnóstico de oito trilhas cobrindo imagens RGB, SAR, PAN e NIR, tanto de cenas de porto quanto de não-porto. As trilhas avaliam:

• Reconhecimento de objetos/cenas e compreensão de zonas funcionais.
• Relações espaciais e localização de grade.
• Reconhecimento de modalidade e restrições de observabilidade.
• Julgamento de evidência (distinguir afirmações suportadas de não suportadas).
• Rejeição de não-porto e relatórios de código aberto baseados em evidências.

O desempenho também é validado contra benchmarks públicos (VRSBench, RSVQA) e via pontuação de especialistas (OpenEval).

Resultos Principais
Sob orçamentos de treinamento comparáveis, o FBA supera consistentemente o Direct-SFT e o Collapsed-SFT (treinamento em todos os dados em um único estágio) em múltiplos backbones:

• LLaVA-v1.5: O FBA atinge uma pontuação de HarborEval de 70,29, superando significativamente o Direct-SFT (57,95).
• Qwen3-VL: O FBA alcança 83,37, superando o Direct-SFT (81,09).
• Comparação com o Estado da Arte: Os modelos treinados com FBA superam os RS-MLLMs existentes (ex: GeoChat, SkyEyeGPT, LHRS-Bot-Nova) no HarborEval, VRSBench, RSVQA e OpenEval, apesar de utilizarem menos amostras curadas (~810K) do que alguns modelos comparados.
• Estudos de Ablação: A análise por estágio confirma que cada estágio contribui com capacidades distintas: o S1 estabelece a fundação de RS, o S2 melhora significativamente a compreensão de múltiplas fontes, e o S3 maximiza o desempenho do cenário final. Controles de substituição de papel verificam que as camadas de supervisão específicas (RS-Anchor, Bridge-Conv, Scenario-EG) são críticas para seus respectivos papéis.

Significância e Alegações
O artigo alega que a especialização de cenário para RS-MLLMs deve ser vista não meramente como um problema de coleta de dados, mas como um processo de preenchimento de lacunas de capacidade. A significância do FBA reside em:

1. Mudança de Paradigma: Mudança do SFT de "apenas alvo" para uma rota de pós-treinamento ordenada e impulsionada por capacidade, que atribui a supervisão escassa a papéis separáveis (ancoragem, ponte, ajuste).
2. Eficiência de Dados: Demonstra que dados curados e em estágios podem superar conjuntos de dados maiores e não estruturados ou treinamento de estágio único, abordando a escassez de anotações de alta qualidade em RS.
3. Robustez: A abordagem em estágios lida efetivamente com mudanças de modalidade (RGB para SAR/PAN/NIR) e melhora a capacidade do modelo de rejeitar afirmações não suportadas (controle de alucinação) e lidar com incertezas, o que é crítico para aplicações operacionais de RS.

Os autores concluem que o FBA fornece uma rota prática e eficaz para o desenvolvimento de RS-MLLMs especializados em cenários sob supervisão limitada, com o domínio portuário servindo como um caso representativo para aplicações mais amplas de observação da Terra.