💻 computer science

Compressing Vision Transformers in Geospatial Transfer Learning with Manifold-Constrained Optimization

Este artigo propõe uma estrutura de otimização com restrição de variedade (DLRT) para comprimir grandes modelos fundacionais geoespaciais baseados em vision transformers durante a transferência de aprendizado, alcançando uma redução significativa de parâmetros com perda mínima de precisão, ao mesmo tempo em que supera métodos de baixo posto padrão como o LoRA para implantação eficiente em borda.

Autores originais: Thomas Snyder, H. Lexie Yang, Stefan Schnake, Steffen Schotthöfer

Publicado 2026-01-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Thomas Snyder, H. Lexie Yang, Stefan Schnake, Steffen Schotthöfer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: Grande Demais para Caber no Seu Bolso

Imagine que você tem uma biblioteca massiva e incrivelmente inteligente (um Modelo de Fundação Geoespacial) que sabe tudo sobre a Terra a partir do espaço. Ela consegue identificar florestas, cidades e zonas de desastre apenas olhando para fotos de satélite.

No entanto, esta biblioteca é tão grande que preenche um arranha-céu. Você não pode carregá-la no bolso e não pode executá-la em um pequeno drone ou em um dispositivo portátil em campo, porque esses dispositivos têm baterias minúsculas e processadores fracos.

A maneira usual de resolver isso é tentar encolher a biblioteca. Mas, se você apenas cortar páginas aleatoriamente para torná-la menor, você perde informações importantes e a biblioteca deixa de ser inteligente. O artigo pergunta: Como encolhemos esta biblioteca gigante para que ela caiba em um bolso, sem perder sua capacidade de ler o mapa?

A Solução: A Técnica de Dobra "Restrita ao Manifold"

Os autores propõem uma nova maneira de encolher esses modelos chamada Otimização Restrita ao Manifold (especificamente usando um método chamado DLRT).

Pense no conhecimento do modelo como uma escultura 3D gigante e complexa.

Métodos Antigos (como o LoRA): Imagine tentar achatar esta escultura apenas pressionando-a de cima para baixo. Ela fica menor, mas os detalhes são esmagados e distorcidos.
O Novo Método (DLRT): Imagine que a escultura é feita de um tecido flexível e mágico. Em vez de apenas esmagá-la, este método encontra as "dobras" específicas no tecido que contêm a informação mais importante. Ele dobra cuidadosamente o tecido ao longo dessas linhas, mantendo a forma das partes mais críticas intacta enquanto remove o ar vazio entre elas.

Em termos técnicos, o modelo é "comprimido" ao forçar sua matemática interna a permanecer em um caminho específico de baixa dimensão (um manifold). Isso garante que, quando o modelo aprende novas tarefas (como identificar um tipo específico de árvore), ele atualize apenas as partes do modelo que importam, mantendo o resto compacto.

O Experimento: Testando a Biblioteca Dobrada

Os pesquisadores testaram isso em três diferentes "quebra-cabeças" (datasets) envolvendo imagens de satélite:

UCM: Um conjunto de dados de cidades dos EUA.
AID: Um conjunto de dados de imagens aéreas com muitas cenas diferentes.
NWPU: Um enorme conjunto de dados global com 45 categorias diferentes.

Eles pegaram dois tipos de bibliotecas gigantes:

Modelos treinados no ImageNet: Modelos treinados em fotos gerais (como gatos e cachorros).
Modelos OReole: Modelos treinados especificamente em imagens de satélite.

Eles tentaram encolher essas bibliias usando o novo método de "dobra" (DLRT) e compararam com o método de encolhimento popular atual (LoRA).

Os Resultados: Menores, mas Tão Inteligentes Quanto

As descobertas foram muito claras:

Redução Massiva de Tamanho: O novo método conseguiu remover entre 62% e 82% do tamanho do modelo. É como transformar um arranha-céu em uma casa pequena.
A Precisão Permanece Alta: Mesmo após encolher tanto o modelo, ele ainda acertou a resposta quase com a mesma frequência que a versão gigante e não encolhida.
- No conjunto de dados de cidades (UCM), o novo método foi quase idêntico à versão gigante (apenas uma queda minúscula de 0,5 a 1% na precisão).
- Nos conjuntos de dados mais difíceis e complexos, o novo método ainda teve um desempenho melhor do que o método de encolhimento padrão (LoRA).
O Truque do "Aquecimento": Eles descobriram que, para os modelos específicos de satélite (OReole), ajudava deixar o modelo rodar normalmente por apenas uma rodada antes de iniciar o processo de encolhimento. Esse "aquecimento" ajudou o modelo a se preparar para ser dobrado sem quebrar.

Por Que Isso Importa

O artigo conclui que este método nos permite pegar esses modelos de IA massivos e poderosos de observação da Terra e realmente executá-los em dispositivos de borda (como drones, satélites ou sensores portáteis) que possuem memória e energia limitadas.

Em vez de precisar de um supercomputador na nuvem para analisar uma zona de desastre, um dispositivo local poderia agora executar uma versão altamente precisa e comprimida do modelo instantaneamente. O artigo prova que você não precisa escolher entre "tamanho pequeno" e "alta inteligência"; com esta técnica específica de dobra, você pode ter ambos.

Resumo Técnico: Comprimindo Vision Transformers em Transfer Learning Geoespacial com Otimização Restrita a Variedades

Declaração do Problema

A implantação de modelos de fundação (FMs) geoespaciais em dispositivos de borda com recursos limitados enfrenta um gargalo crítico: embora arquiteturas de Vision Transformer (ViT) de larga escala alcancem uma forte generalização em tarefas como mapeamento de cobertura do solo e resposta a desastres, suas contagens massivas de parâmetros (centenas de milhões a bilhões) e demandas computacionais tornam-nas impraticáveis para implantação local ou em borda. Métodos padrão de compressão de modelos frequentemente introduzem um compromisso ambíguo, onde a redução significativa de parâmetros leva a perdas inaceitáveis na precisão das tarefas de jusante e na calibração. Métodos existentes de adaptação de baixo posto, como o LoRA, oferecem um caminho para a compressão, mas podem não preservar totalmente o desempenho quando aplicados a modelos de fundação geoespaciais complexos, particularmente aqueles que utilizam pré-treinamento autossupervisionado.

Metodologia

O artigo propõe a aplicação de Treinamento de Baixo Posto Dinâmico (DLRT), um framework de otimização restrito a variedades, para comprimir modelos de fundação baseados em ViT durante o aprendizado por transferência supervisionada.

Framework Central

O método trata as matrizes de pesos das camadas da rede neural como elementos evoluindo em uma variedade de baixo posto $\mathcal{M}_r$ . Em vez de atualizar pesos de posto total, a otimização restringe as atualizações a um subespaço de baixa dimensão definido por uma fatoração $W = USV^\top$ , onde $U, V \in \mathbb{R}^{n \times r}$ e $S \in \mathbb{R}^{r \times r}$ . O processo DLRT consiste em três etapas iterativas:

Aumento de Base: Em cada etapa de otimização, as bases ortonormais atuais $U_t$ e $V_t$ são aumentadas com a dinâmica do gradiente ( $\nabla_U \mathcal{L}, \nabla_V \mathcal{L}$ ). Isso cria um subespaço temporário de posto $2r$ que contém a base atual e uma aproximação de primeira ordem do próximo passo, garantindo que a perda não aumente durante a fase de aumento.
Treinamento no Espaço Latente: A dinâmica de treinamento é projetada neste espaço latente aumentado. Os coeficientes latentes $\tilde{S}$ são atualizados via gradiente descendente estocástico (ou otimizadores similares) por $s^*$ iterações locais. Crucialmente, a matriz de peso total nunca é reconstruída; apenas os fatores de baixo posto são atualizados.
Truncamento (Retração): A solução atualizada é retraída de volta para a variedade $\mathcal{M}_r$ (ou um novo posto $r_1$ ) usando uma Decomposição em Valores Singulares (SVD) truncada. Esta etapa descarta os menores valores singulares, comprimindo efetivamente a representação enquanto mantém a restrição da variedade.

Configuração Experimental

O estudo avalia esta abordagem em duas famílias de modelos de fundação geoespaciais:

ViTs pré-treinados no ImageNet-21k: Modelos ViT-B16 e ViT-H14 padrão.
FMs OReole-MR: Modelos específicos para geoespacial pré-treinados via Autoencoder de Máscara (MAE) no conjunto de dados não rotulado Million-AID.

Os modelos foram ajustados em três benchmarks de sensoriamento remoto desafiadores com baixas proporções de treino-validação: UCM (21 classes), AID (30 classes) e NWPU (45 classes). O método DLRT foi comparado contra:

Aprendizado por transferência de posto total (baseline).
LoRA padrão (Adaptação de Baixo Posto).

Um achado procedimental específico foi que os modelos OReole-MR exigiram um único epoch de "aquecimento" de transferência de posto total sem compressão antes de aplicar a adaptação de baixo posto para alcançar resultados ótimos, um passo não necessário para modelos baseados em ImageNet.

Principais Resultados

Experimentos através de 10 execuções por configuração forneceram os seguintes achados:

Retenção de Precisão: O DLRT consistentemente preservou a precisão dentro de 0,5–1% do baseline de posto total no conjunto de dados UCM, enquanto removeu 64–82% dos parâmetros.
Comparação com LoRA: Em conjuntos de dados mais desafiadores (AID e NWPU) com menores razões de dados, os métodos de baixo posto geralmente sofreram quedas de precisão maiores do que o baseline. No entanto, o DLRT superou o LoRA em 1–6% em precisão de validação nesses conjuntos de dados.
Razões de Compressão: O DLRT alcançou razões de compressão (c.r.) variando aproximadamente entre 62% e 82%, reduzindo significativamente as contagens de parâmetros enquanto mantinha alto desempenho.
Sensibilidade do Modelo: Os modelos de fundação baseados em OReole-MR alcançaram as maiores precisões absolutas de validação, mas foram considerados mais difíceis de comprimir em formatos de baixo posto comparados aos modelos baseados em ImageNet. Isso sugere um desalinhamento entre os esquemas de pré-treinamento autossupervisionado e o subespaço de baixo posto, o qual a estratégia de aquecimento ajudou a mitigar.
Robustez de Hiperparâmetros: O estudo descobriu que a taxa de aprendizado era o hiperparâmetro mais crítico, enquanto os parâmetros específicos do DLRT (limiar de aumento $\tau$ e iterações locais $s^*$ ) mostraram correlação fraca com o desempenho, indicando robustez à sua seleção.

Significância e Alegações

O artigo afirma que a otimização restrita a variedades via DLRT oferece uma abordagem fundamentada para comprimir modelos de fundação geoespaciais que supera métodos de baixo posto "prontos para uso", como o LoRA.

Garantias Teóricas: O método utiliza a estrutura geométrica da variedade de baixo posto para fornecer garantias prováveis de aproximação e descida. A ortogonalidade das bases e a restrição da variedade permitem o controle de erro em relação ao treinamento de posto total, garantindo que o fluxo de gradiente projetado permaneça próximo ao fluxo de gradiente original.
Implantação Prática: Ao alcançar uma redução substancial de parâmetros com perda mínima de precisão, a abordagem permite a implantação de modelos geoespaciais de alto desempenho em dispositivos de borda com recursos de memória e computação limitados.
Robustez Adversária: O framework é observado como compatível com esquemas de regularização que atuam no espaço latente de baixo posto, uma propriedade identificada como importante para melhorar a robustez adversária em aplicações geoespaciais.

Os autores concluem que, embora o método seja eficaz, trabalhos futuros são necessários para alinhar melhor os esquemas de pré-treinamento autossupervisionado com os subespaços de baixo posto para melhorar ainda mais a eficiência de compressão para modelos como o OReole-MR.