Resumo Técnico: Além de GSD-como-Token: Condicionamento de Escala Contínua para VLMs de Sensoriamento Remoto

1. Declaração do Problema

Os Modelos Visão-Linguagem de Sensoriamento Remoto (RS-VLMs) enfrentam uma incompatibilidade fundamental com suas contrapartes de imagens naturais devido à variabilidade extrema na Distância de Amostragem no Solo (GSD). Enquanto as imagens naturais tipicamente existem dentro de uma faixa de escala estável, as imagens de sensoriamento remoto abrangem mais de duas ordens de magnitude, desde imagens aéreas sub-decimétricas (0,06 m/pixel) até produtos satelitais decamétricos (10 m/pixel ou mais grosseiros).

Os RS-VLMs existentes falham em abordar essa realidade física efetivamente através de duas limitações primárias:

1. Ajuste Fino Agnóstico à Escala: Esses modelos utilizam parâmetros estáticos em todas as resoluções, forçando o modelo a colapsar regimes visuais distintos (por exemplo, texturas finas versus regiões desfocadas) em uma única representação média, degradando tanto o reconhecimento de detalhes finos quanto o raciocínio regional grosseiro.
2. GSD-como-Token: Abordagens atuais injetam metadados de GSD como tokens de texto discretos (por exemplo, "resolução de 0,4 m"). Este método tokeniza o escalar como texto, não induzindo adaptação ao nível de parâmetros e falhando completamente quando os metadados do sensor estão ausentes ou são pouco confiáveis.

Nenhuma das abordagens trata o GSD como uma variável física contínua que deveria governar dinamicamente o caminho de computação interno do modelo.

2. Metodologia: ScaleEarth

Os autores propõem o ScaleEarth, um framework de ajuste fino eficiente em parâmetros construído sobre a base Qwen3-VL-8B. A inovação central é tratar o GSD não como metadados passivos, mas como uma variável de condicionamento contínua que impulsiona a computação do modelo. O framework consiste em três componentes principais:

A. CS-HLoRA (Hyper-LoRA Condicionada por Escala Contínua)

O CS-HLoRA é o mecanismo central de adaptação. Ele modifica o caminho de atualização padrão da Adaptação de Baixo RANK (LoRA) inserindo um portão impulsionado pelo GSD entre as matrizes de projeção descendente e ascendente.

• Mecanismo: A atualização é definida como $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$, onde $s = \log_{10}(\text{GSD})$.
• Função de Portão: O portão $h_k(s) = \sigma(\alpha(\tau_k - s))$ é uma função sigmoide que seleciona suavemente as dimensões de rank do LoRA com base na escala de entrada.
• Inicialização de Níveis Físicos: As 64 dimensões de rank são inicializadas em três níveis motivados fisicamente com base na teoria da unidade mínima de mapeamento:
  • Ranks de Objeto (0–10): Ativos em alta resolução (GSD < 1 m) para detalhes de alta granularidade.
  • Ranks de Estrutura (11–31): Ativos em resolução média a baixa (1–10 m) para layout e relações estruturais.
  • Ranks Semânticos (32–63): Ativos em toda a faixa de escala para semânticas de nível de paisagem.
• Roteamento Contínuo: À medida que o GSD varia, as dimensões ativas do LoRA mudam suavemente, substituindo a política média do ajuste fino agnóstico à escala por um caminho de adaptação dependente da escala sem modificar a base pré-treinada.

B. SSE-U (Estimação de Escala Heterocedástica)

Para garantir que o framework opere sem dependência de metadados do sensor na implantação, o ScaleEarth inclui um sub-cabeça leve heterocedástica, o SSE-U.

• Função: Ele prevê o GSD ($\hat{\mu}$) e sua incerteza ($\hat{\sigma}^2$) diretamente a partir de características visuais (características ViT agrupadas).
• Treinamento: É treinado via verossimilhança negativa gaussiana (NLL) em amostras com anotações exatas de GSD.
• Inferência: Se os metadados estiverem ausentes, o modelo usa o GSD previsto se a incerteza for baixa; caso contrário, recua para uma escala âncora neutra. Isso permite decodificação condicionada à escala consciente da incerteza.

C. Dataset GeoScale-VQA

Para fornecer supervisão correspondente, os autores construíram o GeoScale-VQA, um corpus de RS-VQA em camadas de escala com 1,5 milhão de amostras.

• Construção: Combina datasets existentes (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) com amostras recém-geradas.
• Geração Consciente de Escala: Pares de pergunta-resposta são gerados condicionados ao nível de GSD da imagem (Alta: <0,2m, Média: 0,2–1,0m, Baixa: >1,0m). Prompts de nível alto enfatizam detalhes de objetos, o nível médio foca no layout espacial e o nível baixo visa semânticas de paisagem.
• Controle de Qualidade: Um processo de filtragem em duas etapas (verificações sintáticas seguidas por triagem de qualidade supervisionada por Claude) garante consistência factual e alinhamento de escala.

D. Pipeline de Treinamento

O ScaleEarth emprega uma estratégia de treinamento em duas etapas:

1. Etapa 1 (SFT de Domínio RS): Ajuste fino supervisionado com parâmetros completos no RS-GPT4V para fechar a lacuna de distribuição entre imagens naturais e RS.
2. Etapa 2 (Adaptação Condicionada à Escala): A base é congelada (quantizada em 4 bits). Os adaptadores CS-HLoRA e o cabeçote SSE-U são treinados conjuntamente no GeoScale-VQA. O objetivo combina a perda do VLM com uma perda de estimação de GSD ($\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$).

3. Contribuições Principais

1. CS-HLoRA: Um método de ajuste fino inovador que modula o subespaço de baixo rank do LoRA através de um portão impulsionado pelo GSD com inicialização de níveis fundamentada fisicamente. Permite que um modelo unificado adapte a computação à escala física sem modificação arquitetônica ou adaptadores específicos de resolução separados.
2. SSE-U: Um cabeçote de estimação de escala heterocedástico que prevê GSD e incerteza apenas a partir de características visuais, reduzindo a dependência de metadados e suportando decodificação consciente da incerteza.
3. GeoScale-VQA: Um corpus de RS-VQA consciente de escala com 1,5 milhão de amostras que forma um loop fechado método-dado, onde a supervisão e a adaptação eficiente em parâmetros são impulsionadas pelo mesmo escalar físico (GSD).

4. Resultados Experimentais

O modelo foi avaliado em dois benchmarks abrangentes: XLRS-Bench (percepção e raciocínio de ultra-alta resolução) e OmniEarth-Bench (cognição do sistema terrestre através de seis esferas).

• XLRS-Bench: O ScaleEarth alcançou uma nova precisão média state-of-the-art de 57,4%, superando a melhor linha de base especializada (GeoEyes, 54,2%) em +3,2% e o melhor generalista open-source (Qwen3-VL-235B-A22B, 51,1%) em +6,3%, apesar de usar apenas uma base de 8B. Ganhos significativos foram observados em tarefas sensíveis à escala como Classificação de Uso do Solo Regional (78,6%) e Estado de Movimento de Objetos (66,1%).
• OmniEarth-Bench: O ScaleEarth alcançou uma precisão média de 40,71% em tarefas de múltipla escolha, excedendo a melhor linha de base open-source zero-shot (InternVL3-72B, 33,26%) em 7,45 pontos percentuais e a melhor linha de base closed-source (Claude-3.7-Sonnet, 29,07%) em 11,64 pontos percentuais.
• Estudos de Ablação: A remoção do CS-HLoRA reduziu a precisão em 4,2%, enquanto a remoção da supervisão consciente de escala causou uma queda de 3,8%. A randomização da inicialização de níveis físicos diminuiu ainda mais o desempenho em 3,5%, confirmando a utilidade do prior cartográfico.
• Testes de Falsificação de GSD: Quando a entrada de GSD foi sistematicamente perturbada, o ScaleEarth exibiu uma curva de precisão suave e em forma de sino, atingindo o pico no GSD verdadeiro. Em contraste, o roteamento baseado em buckets discretos (MoE-LoRA) mostrou descontinuidades abruptas nas fronteiras dos buckets, e o LoRA padrão ou injeção de tokens de texto mostraram respostas planas, provando que os ganhos derivam do condicionamento físico contínuo e não apenas de capacidade adicionada.

5. Significado e Alegações

O artigo argumenta que o loop fechado estabelecido pelo ScaleEarth entre arquitetura, supervisão e dados sugere um princípio de design mais amplo para RS-VLMs: variáveis físicas que distinguem fundamentalmente imagens aéreas de imagens naturais devem moldar o modelo direta e sistematicamente, em vez de serem descartadas ou inseridas meramente como prompts de texto auxiliares.

Os autores afirmam que o ScaleEarth demonstra que:

• Tratar o GSD como uma variável de condicionamento contínua permite que um único modelo roteie dinamicamente a computação através de níveis de objeto, estrutura e semântica.
• Esta abordagem supera tanto modelos agnósticos à escala quanto aqueles que tratam a escala como um token de texto discreto ou sinal de roteamento em buckets.
• O framework permanece robusto em cenários de implantação onde os metadados do sensor estão ausentes, graças ao fallback consciente da incerteza fornecido pelo SSE-U.

O trabalho posiciona-se como um passo em direção a uma IA de sensoriamento remoto mais confiável e consciente da resolução, particularmente para tarefas que exigem percepção de alta granularidade em cenários de ultra-alta resolução ou raciocínio entre escalas em tarefas complexas do sistema terrestre.