GeoSAM-Lite: A Lightweight Foundation Model for Onboard Remote Sensing Segmentation

Resumen Técnico de GeoSAM-Lite: Un Modelo Fundacional Ligero para la Segmentación de Teledetección a Bordo

Planteamiento del Problema
El despliegue de modelos fundacionales a gran escala, como el Segment Anything Model (SAM), en plataformas de observación terrestre con recursos limitados (por ejemplo, satélites y UAV), se ve actualmente obstaculizado por dos desafíos principales. Primero, el costo computacional de los codificadores de imágenes pesados (por ejemplo, ViT-H con más de 600 millones de parámetros) es prohibitivo para el procesamiento a bordo. Segundo, las adaptaciones ligeras existentes de SAM sufren un "desplazamiento de dominio" significativo porque destilan conocimiento de modelos maestros entrenados en imágenes naturales, careciendo de los conocimientos previos geoespaciales esenciales. Además, la reducción agresiva de parámetros en modelos ligeros genéricos suele inducir un efecto de "filtrado de paso bajo", lo que conduce a la atenuación de los detalles de alta frecuencia y al desenfoque de los bordes, un modo de falla crítico para tareas de teledetección de grano fino, como la detección de nubes, que involucran variaciones extremas de escala y bordes complejos.

Metodología
Los autores proponen GeoSAM-Lite, un marco de segmentación ligero y libre de prompts diseñado para reconciliar la fidelidad de la segmentación con la eficiencia a bordo. La arquitectura emplea un paradigma desacoplado de dos etapas:

1. Etapa I: Inicialización de Dominio Geoespacial (Geo-Init):
   En lugar de destilar de un modelo de visión de propósito general, GeoSAM-Lite utiliza un Modelo Maestro de Dominio Experto (RSAM-Seg con un backbone ViT-L) preentrenado en conjuntos de datos de teledetección a gran escala. El modelo estudiante (un ViT-S ligero) se somete a una estrategia de preentrenamiento que involucra:

   • Modelado de Imagen Enmascarada (MIM): El estudiante aprende a reconstruir el contexto holístico a partir de parches de imagen enmascarados (tasa de enmascaramiento del 75%), forzando la abstracción de características para escenas geoespaciales.
   • Destilación de Conocimiento Guiada por el Maestro: El estudiante alinea sus representaciones de vista parcial con el espacio de características de vista completa del maestro experto, asegurando la transferencia de la semántica geoespacial específica del dominio.

2. Etapa II: Ajuste Fino Específico de la Tarea con Capas de Fusión de Características (FFL):
   Para compensar las limitaciones de capacidad del backbone ligero, el codificador preentrenado se aumenta con dos módulos especializados antes de ser ajustado para tareas específicas con un decodificador convolucional ligero:

   • FFL-S (Recalibración Espacial): Embebido dentro de los bloques ViT, este módulo utiliza una estructura de cuello de botella residual para recalibrar dinámicamente las características basadas en la significancia global, gestionando objetivos con amplias escalas espaciales.
   • FFL-F (Inyección de Alta Frecuencia): Este módulo aborda explícitamente el efecto de "filtrado de paso bajo". Convierte las características de entrada al dominio de la frecuencia mediante la Transformada Rápida de Fourier (FFT), aplica un filtro de paso alto para aislar los componentes de alta frecuencia (HFC) ricos en información de bordes, y los reconstruye mediante la FFT inversa. Estas señales se inyectan de nuevo en el codificador para restaurar bordes de segmentación nítidos.

Contribuciones Clave

1. Marco GeoSAM-Lite: Un marco ligero libre de prompts que reduce los parámetros en un 92.8% en comparación con el modelo maestro pesado (RSAM-Seg) mientras mantiene una precisión de segmentación competitiva.
2. Estrategia Geo-Init: Un enfoque de preentrenamiento consciente del dominio que destila el conocimiento específico de teledetección de un maestro experto mediante el alineamiento de características enmascaradas, cerrando eficazmente la brecha de dominio entre las imágenes naturales y las geoespaciales.
3. Capas de Fusión de Características (FFL): Un diseño de doble módulo que integra la recalibración espacial (FFL-S) y la reconstrucción en el dominio de la frecuencia (FFL-F) para compensar explícitamente el sesgo espectral y el desenfoque de bordes inherentes a las redes compactas.

Resultados Experimentales
El marco fue evaluado en conjuntos de datos representativos de teledetección, con un enfoque principal en la detección de nubes (38-Cloud, CloudSEN12, SPARCS) para probar el rendimiento bajo variaciones extremas de escala y bordes complejos, y una evaluación secundaria en la segmentación de tierras de cultivo (Sentinel-2) para evaluar la generalización.

• Rendimiento: En el conjunto de datos CloudSEN12, GeoSAM-Lite mejoró el índice Jaccard en aproximadamente un 15% sobre otros baselines ligeros (EfficientSAM, MobileSAM). Aunque mostró una ligera caída de rendimiento en comparación con el RSAM-Seg pesado, mantuvo una alta Precisión y Recall, validando su practicidad.
• Eficiencia: En comparación con RSAM-Seg (ViT-L), GeoSAM-Lite (ViT-S) logró una reducción del 92.8% en parámetros y una reducción del 92.5% en FLOPs. El consumo de recursos de hardware disminuyó significativamente, con una reducción del 58.3% en el uso de memoria GPU y una reducción del 50% en los requisitos de RAM del sistema.
• Estudios de Ablación: Eliminar el preentrenamiento de Geo-Init causó una caída significativa en el rendimiento en métricas clave, confirmando la necesidad de la inicialización específica del dominio. Del mismo modo, eliminar el FFL-F provocó una degradación en la fidelidad de los bordes, resaltando su papel crítico en la preservación de los detalles de alta frecuencia.
• Generalización: El modelo demostró una generalización robusta a escenarios de tierras de cultivo sin modificaciones arquitectónicas, delineando eficazmente los límites de las parcelas agrícolas.

Significado
El artículo afirma que GeoSAM-Lite establece una frontera de Pareto superior entre eficiencia y fidelidad, ofreciendo una solución práctica para la segmentación en tiempo real en dispositivos de borde. Al desacoplar el aprendizaje de representaciones en inicialización consciente del dominio y adaptación espacio-frecuencial, el modelo hereda con éxito la semántica geoespacial mientras recupera los detalles de alta frecuencia perdidos. Este enfoque aborda los desafíos duales del desplazamiento de dominio y la degradación de características, permitiendo el despliegue de las capacidades de los modelos fundacionales en entornos de teledetección a bordo con recursos restringidos donde las adaptaciones ligeras anteriores fallaron en preservar los detalles críticos de los bordes.