Resumo Técnico: RSICCLLM

Declaração do Problema

A Legenda de Mudanças de Imagens de Sensoriamento Remoto (RSICC) visa gerar descrições em linguagem natural de mudanças entre imagens de sensoriamento remoto bi-temporais. Diferente da Detecção de Mudanças de Imagens de Sensoriamento Remoto (RSICD), que se concentra em mapas de diferenças visuais, a RSICC requer o mapeamento de evidências visuais para semântica para apoiar aplicações como avaliação ambiental e resposta a desastres.

As abordagens atuais enfrentam duas limitações primárias:

1. Restrições de Capacidade do Modelo: A maioria dos métodos existentes depende de arquiteturas convencionais de aprendizado profundo com capacidade limitada, o que impõe um limite superior ao desempenho.
2. Escassez de Dados e Compreensão de Grão Fino: Embora grandes modelos de visão-linguagem (VLMs) tenham tido sucesso em domínios gerais, sua aplicação direta à RSICC é dificultada pela falta de conjuntos de dados de instrução específicos e pela dificuldade de compreender mudanças temporais e filtrar fatores irrelevantes (ex: mudanças de iluminação) sem supervisão explícita.

Metodologia

Os autores propõem o RSICCLLM, o primeiro framework de pós-treinamento adaptado para grandes modelos no domínio RSICC. O framework opera em três estágios:

1. Geração de Dados de Instrução

Para abordar a escassez de dados, os autores introduzem um paradigma de geração de dados utilizando conjuntos de dados de RSICD em larga escala (LEVIR-CD, SYSU-CD, S2Looking, CDD) como base.

• Processo: Eles utilizam o Qwen-VL-Max para gerar amostras de instrução. Imagens bi-temporais são alimentadas no modelo juntamente com máscaras de mudança binárias servindo como priors geométricos.
• Saída: Este processo produz o RSICI (conjunto de dados de instrução de mudança de imagem de sensoriamento remoto), contendo aproximadamente 35.000 amostras (32k para treinamento, 3k para avaliação intra-domínio e 5k para teste fora do domínio). O processo de geração inclui filtragem rigorosa para remover alucinações, palavras-chave irrelevantes (ex: "máscara") e comprimento excessivo.
• Benchmark: Um benchmark de tarefa específico para RSICC é estabelecido com base neste conjunto de dados.

2. Ajuste Fino Supervisionado Consciente de Diferença (SFT)

Os autores realizam o ajuste fino do Qwen2.5-VL-7B para aumentar a percepção do modelo sobre mudanças temporais enquanto suprimem fatores irrelevantes.

• Extração de Representação de Diferença:
  • Pista Inicial ($T$): Um mapa de diferença é computado como $T = I_1 - I_2$ para destacar locais candidatos de mudança.
  • Características de Geometria-Textura ($\Delta S$): Para extrair geometria espacial invariante no tempo, o modelo emprega módulos de Convolução de Diferença Central (CDConv) e Transformada de Hough. Oito núcleos sensíveis à geometria (incluindo operadores padrão, assimétricos direcionais e simétricos) processam as imagens. A votação de Hough acumula evidência geométrica, que é então reconstruída via transformada inversa de Hough para preservar a semântica espacial antes da diferenciação.
  • Fusão: As pistas de mudança preliminares ($T$) e as características de geometria-textura ($\Delta S$) são fundidas usando atenção cruzada (cross-attention). $T$ atua como a consulta (query), enquanto $\Delta S$ serve como chave (key) e valor (value). O recurso fundido resultante $F$ é adicionado aos embeddings visuais originais ($V_{enhanced} = V_{orig} + F$).
• Treinamento: Os recursos visuais aprimorados são alimentados no decodificador Qwen2.5 com uma perda autorregressiva para produzir o RSICCLLM-sft.

3. Otimização de Preferência de Duplo Negativo (DNPO)

Para refinar ainda mais o modelo além do SFT, os autores introduzem um estágio de aprendizado de preferência usando o conjunto de dados RSICP (Preferência de Mudança de Imagem de Sensamento Remoto).

• Construção de Amostras Negativas: Duas estratégias complementares são usadas para construir amostras negativas ($y_l$) contra o ground truth ($y_w$):
  1. Seleção Filtrada por Informação: Candidatos de legendas gerados pelo modelo SFT são filtrados para reter apenas palavras-chave de alta informação (objetos, direções, verbos, quantidades). A similaridade com o ground truth é calculada usando BLEU e ROUGE nessas sequências filtradas. Amostras com similaridade intermediária (nem muito fáceis, nem muito difíceis) são selecionadas como negativas.
  2. Construção Baseada em Substituição: Palavras-chave no ground truth são substituídas por alternativas semanticamente incorretas, mas gramaticalmente consistentes, a partir de um pool contrastivo (agrupadas por objeto, direção, verbo, quantidade).
• Otimação: O modelo é otimizado usando uma função de perda que combina Otimização de Preferência Direta (DPO) e um termo de divergência KL reversa ($\mathcal{L}_S$). O termo KL restringe o modelo de política ($\pi_\theta$) de se desviar excessivamente do modelo de referência ($\pi_{ref}$), garantindo a estabilidade do treinamento.

Principais Contribuições

1. Recursos de Dados: O lançamento do RSICI, um conjunto de dados de instrução em larga escala para RSICC, e do RSICP, o primeiro conjunto de dados de preferência dedicado a esta tarefa.
2. Framework: A proposta do RSICCLLM, o primeiro framework de pós-treinamento para grandes VLMs em RSICC, que integra SFT consciente de diferença e DNPO.
3. Inovações Arquiteturais:
   • SFT Consciente de Diferença: Extrai explicitamente representações de mudança usando CDConv e Transformada de Hough para guiar o modelo na percepção de diferenças temporais.
   • DNPO: Um novo objetivo de otimização de preferência empregando duas estratégias de construção de amostras negativas para refinar o desempenho do modelo.
4. Desempenho: A demonstração de que um modelo de 7 bilhões de parâmetros pode alcançar resultados de estado da arte, superando significativamente modelos muito maiores (ex: 235B, 241B de parâmetros).

Resultados Experimentais

• Desempenho Intra-Domínio: No teste RSICI, o RSICCLLM alcança os melhores resultados em todas as 8 métricas de avaliação (BLEU-1 a BLEU-4, ROUGE-1 a ROUGE-L e Similaridade Sentence-BERT). Notavelmente, ele atinge um score SBS de 82.72, superando o Qwen3-VL-235B de 235B parâmetros (71.70) e o InternVL-3.5-241B de 241B parâmetros (72.98).
• Generalização Fora do Domínio: O modelo mantém desempenho superior em conjuntos de teste fora do domínio (cenas rurais, vistas off-nadir), demonstrando fortes capacidades de generalização comparadas a modelos generalistas massivos.
• Eficiência: Apesar de possuir apenas 7B de parâmetros, o RSICCLLM alcança um throughput de 0.631 amostras/s, o que é aproximadamente 6 vezes maior que os modelos de 235B parâmetros (0.104 amostras/s).
• Estudos de Ablação:
  • SFT Consciente de Diferença: Remover as estatísticas de geometria-textura ou a pista de diferença inicial leva a quedas significativas de desempenho, confirmando a necessidade de extração de mudança explícita.
  • DNPO: Combinar ambas as estratégias de construção de amostras negativas produz o melhor desempenho. A inclusão da perda de divergência KL ($\mathcal{L}_S$) evita o colapso do treinamento e garante estabilidade em comparação ao uso de apenas DPO.

Significância

O artigo afirma que o RSICCLLM aborda o gargalo crítico de escassez de dados e capacidade limitada de modelo em RSICC. Ao alavancar um paradigma de geração de dados e um framework de pós-treinamento especializado, os autores demonstram que modelos de larga escala podem ser efetivamente adaptados ao domínio de sensoriamento remoto. O trabalho estabelece um novo benchmark para o campo, mostrando que, com modificações arquiteturais apropriadas (SFT consciente de diferença) e estratégias de otimização (DNPO), modelos menores podem superar modelos generalistas massivos em tarefas específicas e de grão fino como legenda de mudanças. O lançamento do RSICI e RSICP tem o intuito de facilitar pesquisas futuras nesta área.