Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts

---

1. O Problema: Generalização em Segmentação Semântica de Sensoriamento Remoto

O artigo aborda o desafio crítico da Generalização de Domínio em Segmentação Semântica (DGSS) para imagens de sensoriamento remoto (RS) espectrais (hiperespectrais, multiespectrais e RGB).

• Desafio Principal: Modelos treinados em um domínio de origem (ex: uma região geográfica específica ou um tipo de sensor) sofrem degradação severa de desempenho quando aplicados a domínios alvo não vistos. Isso é causado por desvios espectrais significativos decorrentes de diferenças em sensores, condições de iluminação, estações do ano e ambientes geográficos.
• Limitação das Abordagens Atuais: Embora o Fine-Tuning Eficiente de Parâmetros (PEFT) em Modelos Fundamentais (Foundation Models - FMs) seja uma direção promissora, os métodos existentes (como REIN, FADA) utilizam estratégias de ajuste globais e homogêneas ("one-size-fits-all").
• A Falha Crítica: A cobertura terrestre em imagens de RS possui heterogeneidade espacial. Um ajuste global pode interferir negativamente em classes vizinhas espectralmente similares, mas semanticamente distintas (ex: "arrozal" vs. "lago"), causando confusão interclasse. O modelo não consegue realizar ajustes diferenciados e finos em nível local.

2. Metodologia: SpectralMoE

Os autores propõem o SpectralMoE, um novo framework PEFT que muda o paradigma de ajustes globais para computação condicional espacialmente adaptativa. A arquitetura é inserida como um plugin leve em cada camada de Modelos Fundamentais de Visão (VFMs) e Modelos Fundamentais de Profundidade (DFMs) congelados.

O método baseia-se em três pilares principais:

A. Refinamento de Características via Mixture-of-Experts (MoE)

Em vez de aprender um único conjunto de tokens adaptadores para todo o mapa de características, o SpectralMoE instancia múltiplas redes "especialistas" ($N_e$) em paralelo.

• Tokenização Adaptativa: Cada especialista possui tokens adaptativos parametrizados via decomposição de baixo rank (LoRA) para eficiência.
• Roteamento Duplo (Dual-Gated): Esta é a inovação central. O sistema utiliza duas redes de portão independentes:
  1. Uma para características visuais ($f^v$).
  2. Uma para características de profundidade ($f^d$).
  • Isso permite que cada modalidade seja roteada independentemente para os $k$ especialistas mais adequados, evitando interferência modal e permitindo ajustes locais precisos baseados nas características únicas de cada pixel.

B. Priors Estruturais Robustos (Profundidade)

Para mitigar a ambiguidade espectral inerente às imagens de RS, o método introduz informações estruturais como prior robusto.

• Um Modelo Fundamental de Profundidade (DFM), como o PromptDA, é usado para inferir características de profundidade implícitas a partir das bandas RGB da imagem de sensoriamento remoto.
• A estrutura (altura, contornos, relações espaciais) é considerada mais robusta a variações de iluminação e estações do que os sinais espectrais puros.

C. Fusão Guiada por Atenção Cruzada (Cross-Attention)

Após o refinamento local pelos especialistas, as características visuais e de profundidade são fundidas.

• Um módulo de atenção cruzada trata o mapa de ajuste visual como Query e o mapa de ajuste de profundidade como Key e Value.
• Isso permite que os tokens visuais "consultem" e agreguem seletivamente as informações estruturais mais relevantes da profundidade, reduzindo a ambiguidade semântica em regiões espectralmente similares.

3. Contribuições Chave

1. SpectralMoE: Um novo framework PEFT que alcança desempenho State-of-the-Art (SOTA) em diversos benchmarks de DGSS (hiperespectral, multiespectral e RGB).
2. Arquitetura MoE Duplamente Portada: O design de roteamento independente para modalidades visuais e de profundidade supera a confusão interclasse causada por métodos de ajuste global homogêneo, permitindo refinamento local preciso.
3. Fusão de Priors Estruturais: A introdução de características de profundidade estimadas a partir de bandas RGB, combinadas com um mecanismo de atenção cruzada, mitiga eficazmente a ambiguidade semântica causada por desvios espectrais.

4. Resultados Experimentais

O método foi avaliado em 7 benchmarks de generalização de domínio, cobrindo tarefas de:

• Cross-Regional (entre regiões geográficas).
• Cross-Sensor (entre diferentes sensores, ex: GF-2 para Sentinel-2).
• Cross-Style (rural para urbano).
• Cross-Spectral Band (RGB para NIR).

Desempenho:

• SOTA Geral: O SpectralMoE superou consistentemente métodos tradicionais de DGSS, modelos fundamentais congelados (como DOFA, CLIP, SAM) e adaptadores PEFT existentes (SET, FADA, REIN, DepthForge).
• Exemplos de Melhoria:
  • Na tarefa de generalização hiperespectral (WHU-OHS), superou o competidor mais forte (DepthForge) em 3,22% de mIoU.
  • Na tarefa multiespectral (Five-Billion-Pixels, Cross-Sensor), superou os melhores concorrentes em até 7,13% de mIoU.
  • Em tarefas RGB (OpenEarthMap, LoveDA), alcançou os melhores resultados em todas as configurações.
• Robustez: O desempenho superior foi consistente ao usar diferentes backbones de Modelos Fundamentais de Visão (DINOv3, DINOv2, EVA02, SAM, CLIP), demonstrando alta adaptabilidade.

5. Significado e Conclusão

O trabalho demonstra que a chave para a generalização robusta em sensoriamento remoto não reside apenas em modelos maiores, mas na capacidade de realizar ajustes finos e espacialmente adaptativos às características locais da imagem.

Ao substituir o ajuste global por uma computação condicional baseada em especialistas (MoE) e ao integrar informações estruturais de profundidade, o SpectralMoE resolve o problema da heterogeneidade espacial e da confusão interclasse. Isso representa um avanço significativo para a aplicação prática de modelos de IA em cenários de sensoriamento remoto do mundo real, onde as condições de aquisição variam drasticamente e o acesso a dados de destino para treinamento é inexistente.