Low-Data Supervised Adaptation Outperforms Prompting for Cloud Segmentation Under Domain Shift

Título: Adaptação Supervisionada com Baixa Quantidade de Dados Supera o Prompting para Segmentação de Nuvens sob Deslocamento de Domínio

1. O Problema

O artigo aborda um desafio fundamental na adaptação de modelos de visão-linguagem (VLMs), como o CLIP, para imagens de sensoriamento remoto (satélite).

• Deslocamento de Domínio Duplo: Existe uma grande discrepância tanto visual quanto linguística entre os dados de pré-treinamento dos modelos (imagens naturais e legendas) e os dados de satélite (perspectiva aérea, sensores multiespectrais, fenômenos atmosféricos difusos e terminologia meteorológica específica).
• Hipótese Dominante: A indústria de IA tende a assumir que o prompting (engenharia de prompts) é suficiente para guiar modelos congelados para tarefas especializadas, evitando o custo de anotação e ajuste fino (fine-tuning).
• Questão Central: Em cenários de deslocamento de domínio severo, como a segmentação de nuvens em imagens Sentinel-2, o prompting consegue compensar a falta de alinhamento visual-linguístico, ou o ajuste supervisionado é indispensável?

2. Metodologia

Os autores realizaram uma avaliação empírica controlada utilizando o modelo CLIPSeg e o conjunto de dados CloudSEN12+ (o maior conjunto de dados com anotações de especialistas para segmentação de nuvens em imagens Sentinel-2).

• Configuração Experimental:
  • Base: CLIPSeg (codificador visual ViT-B/16 congelado + decodificador leve), treinado apenas em imagens naturais (PhraseCut).
  • Tarefas: Segmentação semântica de 4 classes: céu claro, nuvem espessa, nuvem fina e sombra de nuvem.
  • Estratégias Comparadas:
    1. Zero-Shot (Baseline): Uso do modelo pré-treinado sem ajuste.
    2. Engenharia de Prompts: Teste de 60 variações de prompts (rótulos simples, terminologia de domínio, descritores de aparência, frases contextuais e negações).
    3. Ajuste Supervisionado (Fine-Tuning):
       • FFT (Full Fine-Tuning): Atualização de todos os parâmetros.
       • LoRA (Low-Rank Adaptation): Atualização de matrizes de baixa rank no decodificador, mantendo o backbone congelado.
  • Orçamentos de Dados: Avaliação de eficiência desde 0,1% (aprox. 8 imagens) até 100% dos dados de treinamento.
  • Métricas: Mean Intersection over Union (mIoU) e IoU por classe.

3. Principais Contribuições e Descobertas

A. Falha Total do Prompting

• O estudo refuta a hipótese de que a linguagem pode preencher a lacuna de domínio.
• Resultado: Todas as 60 variações de prompts engenheirados tiveram desempenho inferior à linha de base de zero-shot (0,255 mIoU).
• Pior Caso: Alguns prompts complexos atingiram apenas 0,07 mIoU (uma degradação relativa de 73%).
• Causa: O espaço de incorporação (embedding) do CLIP não possui significado visual para termos como "não nuvem" ou descrições meteorológicas específicas, pois o codificador nunca foi exposto a imagens de satélite. A otimização de prompts ocorre dentro de um espaço de representação já desalinhado.

B. Ponto de Cruzamento Surpreendentemente Baixo (Baixa Quantidade de Dados)

• O ajuste supervisionado supera o desempenho zero-shot com uma quantidade mínima de dados.
• 0,1% dos dados (~8 imagens): Tanto o LoRA quanto o FFT superam a linha de base zero-shot.
• 5–10% dos dados (~425–850 imagens): Recuperam cerca de 85% do mIoU máximo alcançável.
• Conclusão: Para sensoriamento remoto, anotar dados não é uma alternativa cara ao prompting, mas sim o caminho viável e eficiente.

C. A "Dip" de Supervisão (Supervision Dip)

• Os autores identificaram um fenômeno onde o ajuste fino com dados muito escassos (0,5% a 1%) degrada temporariamente o desempenho em classes espectralmente ambíguas (nuvem fina e sombra de nuvem) antes de se recuperar em níveis de dados mais altos (2,5%–5%).
• Isso ocorre porque o sinal de supervisão é forte o suficiente para perturbar a estrutura de embedding zero-shot, mas fraco demais para reorientá-lo corretamente. Métricas agregadas (mIoU total) podem mascarar essa degradação em classes minoritárias.

D. FFT vs. LoRA: Uma Decisão Estrutural, Não Computacional

• O FFT supera consistentemente o LoRA em 0,03–0,09 mIoU.
• Classes Distintas (Céu claro, Nuvem espessa): LoRA e FFT performam de forma quase idêntica.
• Classes Ambíguas (Nuvem fina, Sombra de nuvem): O FFT é significativamente superior.
• Motivo: A ambiguidade espectral exige uma reconfiguração fina e multidimensional das representações que o subespaço de baixa rank do LoRA não consegue expressar. O FFT, com espaço de parâmetros ilimitado, consegue capturar essas nuances.

4. Resultados Quantitativos Chave

• Zero-Shot (Prompt simples): 0,255 mIoU.
• Melhor Prompt Engenharia: < 0,255 mIoU (pior: 0,07).
• LoRA/FFT com 0,1% dados: > 0,255 mIoU (supera zero-shot).
• FFT com 100% dados: 0,66 mIoU.
• LoRA com 100% dados: 0,60 mIoU.
• Recuperação com 10% dados: ~85% do desempenho máximo.

5. Significado e Implicações

• Para a Prática: A comunidade de observação da Terra deve abandonar a dependência exclusiva de prompting para tarefas críticas de segmentação em imagens de satélite. Um esforço modesto de anotação (algumas centenas de imagens) é suficiente para obter desempenho superior a qualquer estratégia de prompt.
• Escolha de Arquitetura: Se a tarefa envolver classes espectralmente ambíguas (comuns em correção atmosférica), o custo computacional do Full Fine-Tuning é justificado pelo ganho de desempenho. Se as classes forem bem definidas, o LoRA é uma opção eficiente.
• Alerta de Implementação: Ao usar poucos dados, os praticantes devem monitorar o desempenho por classe, pois métricas agregadas podem esconder a degradação temporária em classes minoritárias críticas.

Em resumo, o artigo demonstra que, diante de um deslocamento de domínio severo entre imagens naturais e de satélite, dados rotulados são a solução, não um obstáculo, e que a engenharia de prompts é insuficiente para superar lacunas fundamentais de representação visual.