💻 computer science

On the Effectiveness of Adaptation Strategies for VLM-Based Federated Learning in Remote Sensing

Este artigo apresenta o primeiro estudo comparativo avaliando estratégias de ajuste fino total, ajuste fino específico do codificador, aprendizado de prompt e adaptação LoRA para modelos de visão-linguagem em aprendizado federado em dados de sensoriamento remoto, analisando suas compensações entre generalização sob condições não-IID, sobrecarga de comunicação e complexidade computacional para fornecer diretrizes práticas para a seleção de estratégia.

Autores originais: Simon Lösche, Barış Büyüktaş, Mathis Adler, Angelos Zavras, Ioannis Papoutsis, Begüm Demir

Publicado 2026-08-06

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Simon Lösche, Barış Büyüktaş, Mathis Adler, Angelos Zavras, Ioannis Papoutsis, Begüm Demir

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde milhares de satélites estão constantemente tirando fotos do nosso planeta, mas as pessoas que possuem essas câmeras não podem compartilhar as imagens umas com as outras. Talvez seja uma regra de privacidade, uma lei ou apenas uma conexão de internet lenta. Esta é a realidade do Sensoriamento Remoto: temos quantidades massivas de dados espalhados por diferentes países e organizações, mas não podemos colocar tudo em um único computador gigante para treinar uma IA inteligente. Para resolver isso, os cientistas usam um truque chamado Aprendizado Federado (Federated Learning). Pense nisso como um grupo de estudantes fazendo uma prova individualmente em suas próprias mesas. Em vez de levarem seus cadernos para o professor, eles apenas enviam suas respostas finais. O professor combina essas respostas para criar um "guia de estudos superpoderoso" (um modelo global) e o envia de volta. Todos ficam mais inteligentes sem nunca mostrar suas notas privadas.

Mas há um problema. Os estudantes estão estudando coisas ligeiramente diferentes. Um está observando florestas na Finlândia, outro está observando desertos na Grécia. Essa confusão, chamada de dados non-IID, confunde o guia de estudos superpoderoso, tornando-o ruim em reconhecer coisas que ele ainda não viu. Para corrigir isso, pesquisadores estão usando Modelos de Visão-Linguagem (VLMs). Estes são como IAs superinteligentes que aprenderam a entender tanto imagens quanto palavras ao ler toda a internet. Eles são ótimos para lidar com diferentes tipos de dados, mas também são enormes e pesados. Enviar o "cérebro" inteiro desses modelos de ida e volta entre os estudantes e o professor entupiria a internet e levaria uma eternidade. Então, a grande questão é: Como ensinamos essas IAs gigantes a reconhecer fotos de satélite sem quebrar a internet ou fazê-las esquecer tudo o que já sabem?

O Grande Experimento da Escola de Satélites

Neste artigo, uma equipe de pesquisadores de Berlim e Atenas decidiu realizar um experimento massivo para encontrar a melhor maneira de ensinar esses cérebros de IA gigantes (especificamente um modelo chamado CLIP) a ler fotos de satélite em um ambiente de Aprendizado Federado. Eles trataram os dados de satélite de diferentes países como diferentes salas de aula com diferentes livros didáticos. O objetivo deles era ver qual "método de ensino" (estratégia de adaptação) funcionava melhor sem fazer a IA esquecer seu conhecimento original ou travar a rede.

Eles testaram quatro formas principais de atualizar a IA:

Ajuste Fino Total (Full Fine-Tuning - FFT): Isso é como dizer ao estudante para reescrever seu livro didático inteiro, da capa à contracapa. Eles mudam cada palavra e frase para se adequar à nova aula.
Ajuste Fino Específico do Codificador (Encoder-Specific Fine-Tuning): Aqui, o estudante apenas reescreve os capítulos sobre imagens (Codificador de Imagem) ou os capítulos sobre palavras (Codificador de Texto), deixando a outra metade do livro intocada.
Aprendizado de Prompt (Prompt Learning - CoOp): Esta é a abordagem "minimalista". O estudante não toca no livro didático. Em vez disso, ele apenas adiciona alguns post-its (prompts) na capa para dizer ao livro como interpretar as novas imagens.
LoRA (Low-Rank Adaptation): Isso é como inserir uma folha de referência pequena e eficiente no livro didático. O estudante mantém o livro original, mas adiciona uma camada de notas pequena e especializada que o ajuda a resolver os problemas específicos da nova aula.

O Que Eles Descobriram: As Trocas (Trade-offs)

Os pesquisadores rodaram esses métodos em dados de satélite reais de lugares como Áustria, Bélgica e Finlândia, e depois testaram o quão bem a IA ainda conseguia reconhecer coisas que ela nunca tinha visto antes (como diferentes tipos de terrenos ou até fotos comuns de gatos e cachorros). Aqui está o que os dados revelaram:

A Armadilha do "Reescrever Tudo" (FFT)
Quando a IA tentou reescrever todo o seu cérebro (Full Fine-Tuning), ela se tornou mestre em reconhecer as fotos de satélite específicas para as quais foi treinada. Ela obteve uma precisão de 78,3% nos dados de treinamento. No entanto, ela sofreu de "esquecimento catastrófico". Ela esqueceu quase tudo o mais! Quando testada em um conjunto de fotos gerais (ImageNet), sua precisão despencou para apenas 7,8%. Foi como um estudante que memorizou as respostas de uma prova específica tão bem que esqueceu como ler o idioma inteiramente. Além disso, este método foi o mais caro, exigindo a troca de 427,62 milhões de parâmetros toda vez que o modelo era atualizado.

O Limite do "Post-it" (Aprendizado de Prompt)
O método do "post-it" (CoOp) foi o mais barato e rápido. Ele só precisou enviar 46,85 mil parâmetros — minúsculos comparados aos outros. Mas, não foi muito bom no trabalho real. Alcançou apenas 66,5% de precisão nas fotos de satélite. Era muito rígido; apenas adicionar algumas notas não era suficiente para ajudar a IA a entender os detalhes complexos das imagens de satélite.

O Meio-Termo do "Meio Livro" (Específico do Codificador)
Reescrever apenas os capítulos de imagens ou apenas os capítulos de palavras foi um meio-termo. Foi mais barato do que reescrever tudo, mas ainda sofreu com o esquecimento. Por exemplo, reescrever apenas os capítulos de imagens reduziu a capacidade da IA de reconhecer fotos gerais em cerca de 13%.

O Vencedor: LoRA
O claro campeão foi o LoRA. Ele encontrou o ponto ideal perfeito.

Desempenho: Obteve a pontuação mais alta nas fotos de satélite (79,1%), superando até mesmo o método de "reescrever tudo".
Memória: Não esqueceu muito. Quando testado em fotos gerais, manteve 75,1% de precisão, o que é quase tão bom quanto o conhecimento original "zero-shot" da IA.
Eficiência: Precisou enviar apenas 1,08 milhão de parâmetros. Isso é mais de 400 vezes menor do que o método de "reescrever tudo", tornando-o muito mais amigável para conexões de internet lentas.

A Rede de Segurança da "Interpolação"
Os pesquisadores também tentaram um truque inteligente para corrigir o problema do "esquecimento" no método de "reescrever tudo". Eles usaram uma técnica chamada PAINT, que é como misturar o livro antigo com o novo. Eles descobriram que, se misturarem o cérebro original da IA com o recém-treinado, podem obter uma boa pontuação nas fotos de satélite sem perder a capacidade de reconhecer objetos gerais. No entanto, isso só funcionou bem se não treinassem por muito tempo; se treinassem demais, o novo conhecimento sobrescreveu completamente o antigo, e a mistura não conseguia salvar a situação.

O Veredito Final: Como Escolher?

O artigo conclui que não existe um único método "melhor" para todas as situações, mas existem regras claras:

Se você tem uma conexão de internet lenta: Não use "reescrever tudo". É muito pesado. Use LoRA ou Aprendizado de Prompt.
Se você precisa que a IA seja inteligente sobre muitas coisas diferentes: Evite "reescrever tudo" porque isso faz a IA esquecer seu conhecimento geral. LoRA é a escolha mais segura porque mantém o cérebro original da IA intacto enquanto ensina os novos truques.
Se você só se importa com uma tarefa específica e não se importa com o conhecimento geral: "Reescrever tudo" (FFT) funciona bem, mas é caro e arriscado.

Em resumo, os pesquisadores sugerem que, para treinar IA em fotos de satélite através de diferentes países, o LoRA é o padrão ouro. Ele oferece o melhor dos dois mundos: alta precisão na tarefa específica, baixo custo para enviar dados e a capacidade de lembrar de tudo o mais que a IA já sabe. É como dar ao estudante uma folha de referência especializada em vez de forçá-lo a reescrever toda a sua biblioteca.

Resumo Técnico: Eficácia das Estratégias de Adaptação para Aprendizado Federado Baseado em VLM em Sensoriamento Remoto

1. Definição do Problema

O sensoriamento remoto (RS) gera vastas quantidades de dados de imagem distribuídos em arquivos descentralizados. No entanto, regulamentações legais, preocupações com privacidade e restrições de largura de banda frequentemente impedem a centralização desses dados, tornando abordagens convencionais de aprendizado profundo impraticáveis. O Aprendizado Federado (FL) oferece uma alternativa descentralizada onde os clientes treinam modelos localmente e compartilham apenas parâmetros. Um desafio crítico no FL para RS é a heterogeneidade de dados (non-IID): variações geográficas, sazonais e dependentes de sensores causam mudanças significativas na distribuição e desequilíbrios de rótulos entre os clientes. Isso frequentemente leva a ótimos específicos de cada cliente, retardando a convergência e degradando a generalização do modelo global agregado.

Embora os Modelos de Visão-Linguagem (VLMs), como o CLIP, demonstrem robustez a mudanças de distribuição devido às suas representações transferíveis aprendidas a partir de dados de imagem-texto em larga escala, sua aplicação em FL é dificultada pelo seu tamanho massivo de parâmetros. A adaptação total desses modelos acarreta um overhead de comunicação proibitivo e complexidade computacional local. Consequentemente, há uma falta de orientação sobre qual estratégia de adaptação de VLM melhor equilibra a capacidade de generalização, a eficiência de comunicação e o custo computacional no contexto específico de classificação de imagens de RS.

2. Metodologia

O artigo apresenta o primeiro estudo comparativo abrangente de estratégias de adaptação de VLM dentro de um framework de FL para RS. O estudo avalia quatro estratégias distintas no conjunto de dados BigEarthNet-S2 (treinamento federado) e avalia a generalização no EuroSAT, RESISC45 e ImageNet.

Estratégias de Adaptação Investigadas

Ajuste Fino Total (Full Fine-Tuning - FFT): Atualiza todos os parâmetros dos codificadores de imagem e texto ( $\theta_{train} = \theta$ ). Oferece máxima flexibilidade representacional, mas acarreta os maiores custos de comunicação e computação.
Ajuste Fino Específico do Codificador: Restringe as atualizações a apenas o codificador de imagem ( $\theta_{train} = \{\theta_v\}$ ) ou o codificador de texto ( $\theta_{train} = \{\theta_t\}$ ), congelando o outro. Isso reduz os custos de comunicação em comparação ao FFT, mas limita a adaptação cross-modal.
Aprendizado de Prompt (CoOp): Otimiza apenas um pequeno conjunto de vetores de contexto aprendíveis (soft prompts) prefixados aos nomes das classes, mantendo os codificadores congelados. Isso minimiza o overhead de comunicação e a carga computacional, mas restringe a capacidade de adaptação ao nível do prompt.
Adaptação de Baixo Rank (Low-Rank Adaptation - LoRA): Congela os pesos pré-treinados e insere matrizes treináveis de baixo rank nas camadas de projeção do transformer. Isso permite a adaptação a um subespaço de baixo rank, preservando as representações pré-treinadas enquanto reduz significativamente o número de parâmetros treináveis em comparação ao FFT.

Desenho Experimental

Configuração Federada: Os clientes são particionados por país (ex: Áustria, Bélgica, Finlândia) para simular distribuições de dados non-IID.
Baselines: Inclui um ResNet-50 treinado do zero e um baseline Zero-shot CLIP.
Métricas: O desempenho é medido via micro/macro-mAP (in-distribution) e top-1/top-5 accuracy/recall (out-of-distribution). A complexidade é quantificada via FLOPs/MACs e o número de parâmetros transmitidos.
Mitigação de Esquecimento Catastrófico: O estudo investiga o PAINT, um método que utiliza interpolação linear entre pesos pré-treinados e ajustados, para analisar o trade-off entre especialização de tarefa e preservação da generalização zero-shot.

3. Resultados Principais

Desempenho In-Distribution (BigEarthNet-S2)

Todas as estratégias de adaptação superam significativamente o baseline Zero-shot CLIP e o ResNet-50 treinado do zero.

LoRA e FFT alcançam o maior desempenho, com o LoRA melhorando o micro-mAP em mais de 52% em relação ao Zero-shot CLIP.
Estratégias de codificador específico mostram ganhos moderados, enquanto o CoOp fornece a menor melhoria, sugerindo que limitar as atualizações aos prompts restringe a capacidade do modelo de se alinhar com o substancial desvio de domínio dos dados de RS.

Desempenho Out-of-Distribution e Esquecimento Catastrófico

Um trade-off crítico é observado entre a especialização da tarefa e a generalização cross-domain:

Esquecimento Severo: O FFT exibe o esquecimento mais catastrófico, caindo de 75,6% de top-1 accuracy (Zero-shot) para 7,8% no ImageNet. Isso indica que a adaptação irrestrita aos dados de RS destrói as representações pré-treinadas.
Preservação: O LoRA preserva o maior conhecimento pré-treinado, mantendo 75,1% de top-1 accuracy no ImageNet (uma queda <1%), enquanto ainda alcança um forte desempenho nos datasets de RS.
Especificidades do Codificador: O ajuste fino do codificador de texto preserva melhor as características visuais do que o ajuste fino do codificador de imagem, resultando em melhor desempenho out-of-distribution em datasets como EuroSAT e RESISC45 em comparação ao ajuste apenas de imagem.
Análise PAINT: A interpolação de pesos (PAINT) revela que maximizar o desempenho na tarefa de RS inerentemente degrada o desempenho no ImageNet. No entanto, checkpoints intermediários e coeficientes de interpolação específicos podem oferecer um compromisso equilibrado.

Complexidade e Comunicação

Custo de Comunicação: CoOp é o mais eficiente, transmitindo apenas ~46,85K parâmetros. O LoRA segue com ~1,08M de parâmetros, o que é dois ordens de magnitude inferior ao FFT (427,62M).
Complexidade Computacional:
- Sem Caching: FFT e o ajuste fino de codificador específico têm FLOPs altos similares. O CoOp é ligeiramente mais eficiente devido a menos operações na construção de características de texto.
- Com Caching: O ajuste fino de codificador específico beneficia-se significativamente do caching de características congeladas (ex: características de texto no ajuste de codificador de imagem), reduzindo os FLOPs em ~387B em comparação ao FFT. O LoRA não se beneficia do caching tão efetivamente porque os módulos injetados alteram o fluxo de características, resultando em uma complexidade ligeiramente superior ao FFT.

4. Significância e Diretrizes

O artigo estabelece que, embora os VLMs sejam poderosos para FL em RS, a escolha da estratégia de adaptação dita a viabilidade e o desempenho do sistema. Os autores derivam as seguintes diretrizes baseadas em restrições operacionais:

Ajuste Fino do Codificador de Texto: Recomendado quando o objetivo principal é a transferência de conhecimento para datasets de RS relacionados. Oferece a melhor generalização cross-dataset entre os modelos ajustados com custos de comunicação moderados.
Aprendizado de Prompt (CoOp): Recomendado apenas quando a largura de banda de comunicação é a restrição dominante. Minimiza o overhead, mas sacrifica a precisão da tarefa e a generalização.
LoRA: Recomendado como o trade-off ideal para cenários que exigem tanto alto desempenho quanto eficiência de comunicação. Alcança resultados competitivos in-distribution enquanto reduz o overhead de comunicação em duas ordens de magnitude em relação ao FFT e mitiga o esquecimento catastrófico.
FFT + PAINT: Recomendado ao estender um modelo zero-shot para uma nova tarefa enquanto preserva estritamente o desempenho em tarefas aprendidas anteriormente, apesar do alto custo de comunicação.

5. Conclusão

O estudo conclui que as estratégias de adaptação de parâmetros eficientes, particularmente o LoRA, são bem adequadas para o treinamento federado de VLM em sensoriamento remoto. Elas mitigam efetivamente os custos de comunicação e o esquecimento catastrófico, mantendo um desempenho competitivo. Por outro lado, o Ajuste Fino Total (FFT) irrestrito, embora eficaz para tarefas in-distribution, leva a uma perda significativa das capacidades de generalização, limitando sua aplicabilidade em configurações onde a robustez cross-domain é necessária. Trabalhos futuros visam estender esta análise para modelos de fundação específicos de domínio e modalidades de sensores multiespectrais.