Low-Rank Adaptation of Geospatial Foundation Models for Wildfire Mapping Using Sentinel-2 Data

Resumen Técnico: Adaptación de Bajo Rango de Modelos Fundacionales Geoespaciales para la Cartografía de Incendios Forestales

Planteamiento del Problema
La cartografía precisa de áreas quemadas (BA) es crítica para la evaluación de daños, el modelado de emisiones y la comprensión de las interacciones entre incendios y clima. Si bien el aprendizaje profundo (por ejemplo, variantes de U-Net) ha superado a los métodos tradicionales basados en índices espectrales, los enfoques existentes a menudo sufren de una generalización geográfica y temporal limitada, centrándose frecuentemente en países individuales o temporadas de incendios específicas. Además, la clase emergente de Modelos Fundacionales Geoespaciales (GFMs), preentrenados en colemas masivas de imágenes satelitales, presenta una nueva oportunidad. Sin embargo, adaptar estos modelos grandes (cientos de millones de parámetros) a tareas específicas posteriores como la cartografía de incendios forestales mediante un ajuste fino completo es computacionalmente costoso y propenso al sobreajuste bajo desplazamientos de dominio. Por el contrario, el ajuste fino solo del decodificador puede fallar en capturar las variaciones específicas del dominio necesarias en el codificador. Existe una falta de comprensión sobre la estrategia de adaptación más eficiente para los GFMs en la cartografía de incendios forestales a gran escala y entre dominios.

Metodología
El estudio trata la cartografía de áreas quemadas como un problema de detección de cambios bi-temporal utilizando datos de Sentinel-2 (bandas B4, B8, B12) de Estados Unidos y Canadá (2017–2023). El conjunto de datos comprende 3.820 eventos de incendios forestales, divididos en un dominio fuente (2017–2020, biomas diversos) y un dominio objetivo (2021–2023, específicamente biomas Boreal/Taiga y Tundra) para probar la generalización espacio-temporal.

La arquitectura propuesta utiliza un codificador compartido basado en Transformer con un decodificador UPerNet. La investigación central compara tres estrategias de adaptación para tres GFMs de última generación: TerraMind, DINOv3 y Prithvi-v2:

1. Ajuste Fino Completo: Actualización de todos los parámetros.
2. Ajuste Fino Solo del Decodificador: Congelamiento del codificador y actualización únicamente del decodificador.
3. Adaptación de Bajo Rango (LoRA): Congelamiento de los pesos originales del codificador e inyección de matrices de bajo rango entrenables ($\Delta W = BA$) en capas específicas (capas de autoatención, proyección y capas MLP para Prithvi-v2).

La implementación de LoRA congela todo el backbone, actualizando solo los adaptadores, un cuello piramidal, el decodificador y la cabeza de clasificación. Los modelos se entrenan utilizando una pérdida de entropía cruzada equilibrada por clases (peso 3:1 para quemado vs. no quemado) para abordar el desequilibrio de clases.

Resultados Clave
Los experimentos se realizaron en 3.820 eventos de incendios forestales con un enfoque en la generalización entre dominios (desplazamientos temporales y de biomas). Los resultados indican:

• Superioridad de LoRA: En los tres modelos fundacionales, LoRA logró las puntuaciones más altas de Intersección sobre Unión (IoU) y F1, superando tanto al ajuste fino completo como al ajuste fino solo del decodificador.
• Ganancias de Rendimiento:
  • Prithvi-v2: Mostró la mejora más significativa con LoRA, alcanzando un IoU de 78.78 y un F1 de 88.13. Esto representó una ganancia sustancial de +6.8 IoU y +4.4 F1 sobre el ajuste fino completo.
  • TerraMind y DINOv3: También vieron mejoras con LoRA (por ejemplo, el IoU de TerraMind aumentó de 70.52 a 75.59).
• Eficiencia de Parámetros: LoRA actualizó menos del 1% de los parámetros del codificador (0.51% para TerraMind/DINOv3 y 1.03% para Prithvi-v2). Incluso al considerar la red completa codificador-decodificador, la cantidad de parámetros entrenables permaneció significativamente más baja que en el ajuste fino completo (por ejemplo, 6.79% para la red completa de Prithvi-v2 frente al 100% en el ajuste fino completo).
• Generalización: El ajuste fino solo del decodificador superó consistentemente al ajuste fino completo, sugiriendo un efecto de regularización donde la actualización de todos los parámetros del backbone conduce al sobreajuste. LoRA mejoró aún más esta robustez, reduciendo los falsos positivos a lo largo de los perímetros del fuego y los falsos negativos en regiones no quemadas.

Significado y Afirmaciones
Los autores afirman que este estudio demuestra que los modelos fundacionales geoespaciales, cuando se adaptan utilizando métodos ligeros y eficientes en parámetros como LoRA, ofrecen una solución robusta y escalable para la cartografía de áreas quemadas a gran escala. Las afirmaciones clave incluyen:

• Compensación entre Eficiencia y Precisión: LoRA proporciona la generalización entre dominios más fuerte mientras actualiza menos del 1% de los parámetros, ofreciendo una compensación favorable entre precisión y costo computacional.
• Preentrenamiento Específico del Dominio: Los resultados sugieren que el preentrenamiento específico del dominio (como se observa en Prithvi-v2) produce representaciones más fuertes para regiones de incendios forestales que los modelos de visión genéricos, y LoRA aísla eficientemente los cambios espectrales inducidos por el fuego dentro de estos modelos de alta capacidad.
• Escalabilidad Operativa: El enfoque permite desplegar un único modelo fundacional congelado en un servidor central, con adaptadores LoRA ligeros intercambiados dinámicamente para procesar imágenes de diferentes regímenes de incendios geográficos o estacionales sin cargar modelos completamente separados.
• Potencial Global: Si bien el estudio se centra geográficamente en América del Norte, la transferencia exitosa a través de biomas y años distintos sugiere que las representaciones aprendidas no están estrictamente localizadas, lo que implica que el enfoque es escalable globalmente con datos mínimos del dominio objetivo para nuevas regiones.

El estudio concluye que el ajuste fino eficiente en parámetros es una opción práctica para la monitorización operativa de incendios forestales entre dominios, evitando las cargas computacionales y las trampas de generalización del ajuste fino completo.