💻 computer science

Compressing Vision Transformers in Geospatial Transfer Learning with Manifold-Constrained Optimization

Este artículo propone un marco de optimización con restricciones de variedad (DLRT) para comprimir grandes modelos fundacionales geoespaciales basados en Vision Transformer durante el aprendizaje por transferencia, logrando una reducción significativa de parámetros con una pérdida mínima de precisión, superando a los métodos de bajo rango estándar como LoRA para un despliegue eficiente en el borde.

Autores originales: Thomas Snyder, H. Lexie Yang, Stefan Schnake, Steffen Schotthöfer

Publicado 2026-01-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Thomas Snyder, H. Lexie Yang, Stefan Schnake, Steffen Schotthöfer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: Demasiado Grande para Caber en tu Bolsillo

Imagina que tienes una biblioteca masiva e increíblemente inteligente (un Modelo Fundacional Geoespacial) que lo sabe todo sobre la Tierra desde el espacio. Puede identificar bosques, ciudades y zonas de desastre con solo mirar fotos satelitales.

Sin embargo, esta biblioteca es tan grande que llena un rascacielos. No puedes llevarla en tu bolsillo y no puedes ejecutarla en un dron pequeño o en un dispositivo de mano en el campo porque esos dispositivos tienen baterías diminutas y procesadores débiles.

La forma habitual de solucionar esto es intentar encoger la biblioteca. Pero si simplemente recortas páginas al azar para hacerla más pequeña, pierdes información importante y la biblioteca deja de ser inteligente. El artículo se pregunta: ¿Cómo encogemos esta biblioteca gigante para que quepa en un bolsillo, sin perder su capacidad de leer el mapa?

La Solución: La Técnica de Plegado "Restringida por la Variedad"

Los autores proponen una nueva forma de encoger estos modelos llamada Optimización Restringida por la Variedad (específicamente utilizando un método llamado DLRT).

Imagina el conocimiento del modelo como una escultura 3D gigante y compleja.

Métodos Antiguos (como LoRA): Imagina intentar aplanar esta escultura simplemente presionándola desde arriba. Se vuelve más pequeña, pero los detalles se aplastan y se distorsionan.
El Nuevo Método (DLRT): Imagina que la escultura está hecha de una tela flexible y mágica. En lugar de simplemente aplastarla, este método encuentra los "pliegues" específicos en la tela que contienen la información más importante. Dobla cuidadosamente la tela a lo largo de estas líneas, manteniendo intacta la forma de las partes más críticas mientras elimina el aire vacío entre ellas.

En términos técnicos, el modelo se "comprime" obligando a su matemática interna a permanecer en un camino específico de baja dimensión (una variedad o manifold). Esto asegura que cuando el modelo aprende nuevas tareas (como identificar un tipo específico de árbol), solo actualiza las partes del modelo que importan, manteniendo el resto compacto.

El Experimento: Probando la Biblioteca Plegada

Los investigadores probaron esto en tres "puzzles" diferentes (conjuntos de datos) que involucran imágenes satelitales:

UCM: Un conjunto de datos de ciudades de EE. UU.
AID: Un conjunto de datos de imágenes aéreas con muchas escenas diferentes.
NWPU: Un enorme conjunto de datos global con 45 categorías diferentes.

Tomaron dos tipos de bibliotecas gigantes:

Modelos entrenados con ImageNet: Modelos entrenados con fotos generales (como gatos y perros).
Modelos OReole: Modelos entrenados específicamente con imágenes satelitales.

Intentaron encoger estas bibliotecas usando su nuevo método de "plegado" (DLRT) y lo compararon con el método de encogimiento popular actual (LoRA).

Los Resultados: Más Pequeño, pero Igual de Inteligente

Los hallazgos fueron muy claros:

Reducción Masiva de Tamaño: El nuevo método logró eliminar entre el 62% y el 82% del tamaño del modelo. Es como convertir un rascacielos en una casa pequeña.
La Precisión se Mantiene Alta: Incluso después de encoger tanto el modelo, todavía obtiene la respuesta correcta casi con la misma frecuencia que la versión gigante sin encoger.
- En el conjunto de datos de ciudades (UCM), el nuevo método fue casi idéntico a la versión gigante (solo una caída mínima de 0.5 a 1% en la precisión).
- En los conjuntos de datos más difíciles y complejos, el nuevo método todavía funcionó mejor que el método de encogimiento estándar (LoRA).
El Truco del "Calentamiento": Descubrieron que para los modelos específicos de satélite (OReole), ayudaba dejar que el modelo funcionara normalmente durante solo una ronda antes de comenzar el proceso de encogimiento. Este "calentamiento" ayudó al modelo a prepararse para ser plegado sin romperse.

Por Qué Esto Importa

El artículo concluye que este método nos permite tomar estos modelos de IA de observación terrestre, masivos y potentes, y ejecutarlos realmente en dispositivos de borde (edge devices, como drones, satélites o sensores de mano) que tienen memoria y energía limitadas.

En lugar de necesitar una supercomputadora en la nube para analizar una zona de desastre, un dispositivo local ahora podría ejecutar una versión altamente precisa y comprimida del modelo instantáneamente. El artículo demuestra que no tienes que elegir entre "tamaño pequeño" y "alta inteligencia"; con esta técnica de plegado específica, puedes tener ambas.

Resumen Técnico: Compresión de Vision Transformers en el Aprendizaje de Transferencia Geoespacial mediante Optimización Restringida por Variedades

Declaración del Problema

El despliegue de modelos fundacionales (FM) geoespaciales en dispositivos periféricos (edge) con recursos limitados enfrenta un cuello de botella crítico: si bien las arquitecturas de Vision Transformer (ViT) a gran escala logran una fuerte generalización en tareas como el mapeo de cobertura terrestre y la respuesta ante desastres, sus masivos conteos de parámetros (cientos de millones a miles de millones) y demandas computacionales las hacen impracticables para el despliegue local o en el borde. Los métodos estándar de compresión de modelos suelen introducir un compromiso ambiguo, donde una reducción significativa de parámetros conduce a pérdidas inaceptables en la precisión y la calibración de las tareas de seguimiento. Los métodos existentes de adaptación de bajo rango, como LoRA, ofrecen una vía para la compresión, pero pueden no preservar plenamente el rendimiento cuando se aplican a modelos fundacionales geoespaciales complejos, particularmente aquellos que utilizan preentrenamiento autosupervisado.

Metodología

El artículo propone la aplicación de Entrenamiento de Bajo Rango Dinámico (DLRT), un marco de optimización restringido por variedades, para comprimir modelos fundacionales de ViT basados en la transferencia de aprendizaje supervisado.

Marco Central

El método trata las matrices de pesos de las capas de la red neuronal como elementos que evolucionan en una variedad de bajo rango $\mathcal{M}_r$ . En lugar de actualizar pesos de rango completo, la optimización restringe las actualizaciones a un subespacio de baja dimensión definido por una factorización $W = USV^\top$ , donde $U, V \in \mathbb{R}^{n \times r}$ y $S \in \mathbb{R}^{r \times r}$ . El proceso DLRT consta de tres pasos iterativos:

Aumento de la Base: En cada paso de optimización, las bases ortonormales actuales $U_t$ y $V_t$ se aumentan con la dinámica del gradiente ( $\nabla_U \mathcal{L}, \nabla_V \mathcal{L}$ ). Esto crea un subespacio temporal de rango $2r$ que contiene la base actual y una aproximación de primer orden del siguiente paso, asegurando que la pérdida no aumente durante la fase de aumento.
Entrenamiento del Espacio Latente: La dinámica de entrenamiento se proyecta sobre este espacio latente aumentado. Los coeficientes latentes $\tilde{S}$ se actualizan mediante descenso de gradiente estocástico (o optimizadores similares) durante $s^*$ iteraciones locales. Crucialmente, la matriz de pesos completa nunca se reconstruye; solo se actualizan los factores de bajo rango.
Truncamiento (Retracción): La solución actualizada se retrae de nuevo hacia la variedad $\mathcal{M}_r$ (o un nuevo rango $r_1$ ) utilizando una Descomposición en Valores Singulares (SVD) truncada. Este paso descarta los valores singulares más pequeños, comprimiendo efectivamente la representación mientras se mantiene la restricción de la variedad.

Configuración Experimental

El estudio evalúa este enfoque en dos familias de modelos fundacionales geoespaciales:

ViTs preentrenados en ImageNet-21k: Modelos estándar ViT-B16 y ViT-H14.
FMs OReole-MR: Modelos específicos de geoespacial preentrenados mediante Autoencoder de Máscara (MAE) en el conjunto de datos no etiquetado Million-AID.

Los modelos fueron ajustados (fine-tuning) en tres bancos de pruebas de teledetección desafiantes con bajas proporciones de entrenamiento-validación: UCM (21 clases), AID (30 clases) y NWPU (45 clases). El método DLRT se comparó contra:

Aprendizaje de transferencia de rango completo (baseline).
LoRA estándar (Adaptación de Bajo Rango).

Un hallazgo procedimental específico fue que los modelos OReole-MR requirieron un único episodio de "calentamiento" (warm-up) de aprendizaje de transferencia sin comprimir antes de aplicar la adaptación de bajo rango para lograr resultados óptimos, un paso que no es necesario para los modelos preentrenados en ImageNet.

Resultados Clave

Los experimentos a través de 10 ejecuciones por configuración arrojaron los siguientes hallazgos:

Retención de Precisión: DLRT preservó consistentemente la precisión dentro de un 0.5–1% del baseline de rango completo en el conjunto de datos UCM, eliminando simultáneamente entre el 64% y 82% de los parámetros.
Comparación con LoRA: En conjuntos de datos más desafiantes (AID y NWPU) con menores proporciones de datos, los métodos de bajo rango generalmente sufrieron caídas de precisión mayores que el baseline. Sin embargo, DLRT superó a LoRA por un 1–6% en la precisión de validación en estos conjuntos de datos.
Tasas de Compresión: DLRT logró tasas de compresión (c.r.) que oscilan aproximadamente entre el 62% y el 82%, reduciendo significativamente los conteos de parámetros manteniendo un alto rendimiento.
Sensibilidad del Modelo: Los modelos fundacionales basados en OReole-MR alcanzaron las precisiones de validación absolutas más altas, pero se determinó que son más difíciles de comprimir en formatos de bajo rango en comparación con los modelos basados en ImageNet. Esto sugiere una desalineación entre los esquemas de preentrenamiento autosupervisado y el subespacio de bajo rango, un problema que la estrategia de calentamiento ayudó a mitigar.
Robustez de Hiperparámetros: El estudio encontró que la tasa de aprendizaje era el hiperparámetro más crítico, mientras que los parámetros específicos de DLRT (umbral de aumento $\tau$ e iteraciones locales $s^*$ ) mostraron una correlación débil con el rendimiento, lo que indica robustez ante su selección.

Significado y Reivindicaciones

El artículo sostiene que la optimización restringida por variedades mediante DLRT ofrece un enfoque fundamentado para comprimir modelos fundacionales geoespaciales que supera a los métodos de bajo rango "estándar" como LoRA.

Garantías Teóricas: El método aprovecha la estructura geométrica de la variedad de bajo rango para proporcionar garantías demostrables de aproximación y descenso. La ortogonalidad de las bases y la restricción de la variedad permiten el control del error respecto al entrenamiento de rango completo, asegurando que el flujo de gradiente proyectado permanezca cerca del flujo de gradiente original.
Despliegue Práctico: Al lograr una reducción sustancial de parámetros con una pérdida de precisión mínima, el enfoque permite el despliegue de modelos geoespaciales de alto rendimiento en dispositivos de borde con recursos de memoria y cómputo limitados.
Robustez Adversaria: Se señala que el marco es compatible con esquemas de regularización que actúan sobre el espacio latente de bajo rango, una propiedad identificada como importante para mejorar la robustez adversaria en aplicaciones geoespaciales.

Los autores concluyen que, si bien el método es efectivo, se requiere trabajo futuro para alinear mejor los esquemas de preentrenamiento autosupervisado con los subespacios de bajo rango para mejorar aún más la eficiencia de compresión para modelos como OReole-MR.