Clay-CNN Hybrids: Leveraging Geo-Foundational Models as Auxiliary Context for Landslide Detection

Resumen Técnico: Híbridos Clay-CNN para la Detección de Deslizamientos de Tierra

Planteamiento del Problema
El mapeo rápido de deslizamientos de tierra tras un evento es crítico para la respuesta ante desastres, pero sigue siendo difícil de automatizar debido a dos obstáculos técnicos primarios: la similitud espectral entre las cicatrices de deslizamiento y el suelo desnudo, y el desequilibrio extremo de clases (los píxeles de deslizamiento comprenden solo aproximadamente el 2% del conjunto de datos). Los enfoques tradicionales de aprendizaje profundo, particularmente las arquitecturas U-Net, dependen fuertemente de datos de entrenamiento específicos de la tarea, que a menudo no están disponibles durante desastres activos. Si bien los Modelos de Fundación Geoespaciales (GFM, por sus siglas en inglés) como Clay v1.5 ofrecen representaciones generalizables preentrenadas en imágenes satelitales masivas y diversas, no existe una evaluación sistemática sobre cómo integrar mejor estos modelos con arquitecturas convolucionales para optimizar la detección de deslizamientos en regímenes de escasez de datos.

Metodología
Este estudio evalúa la integración de Clay v1.5, un Vision Transformer (ViT) geoespacial, con redes neuronales convolucionales (CNN) utilizando el benchmark Landslide4Sense (L4S). El conjunto de datos consta de 3,799 chips de entrenamiento (128×128 píxeles) que contienen 14 canales de entrada: 12 bandas ópticas de Sentinel-2 y 2 bandas topográficas (DEM y pendiente). El estudio emplea una estrategia de "exclusión de ubicación" geográficamente estratificada para evitar la fuga espacial.

Se compararon tres estrategias arquitectónicas:

1. Línea Base (U-Net): Una U-Net estándar con cuatro etapas de codificación, conexiones de salto (skip connections) completas y 14 bandas de entrada, sirviendo como referencia de solo CNN.
2. Arquitectura 1 (Backbone Clay): Clay v1.5 actúa como el codificador primario para las 12 bandas ópticas, produciendo un único mapa de características de 16×16. Los datos topográficos se procesan mediante un "TerrainPyramid" separado y se fusionan residualmente en escalas de decodificación gruesas mediante un escalar aprendible $\alpha$. Esta arquitectura carece de conexiones de salto en el codificador.
3. Arquitectura 2 (Híbrido U-Net + Clay): Un backbone de U-Net procesa las 14 bandas a través de cuatro etapas de reducción de resolución (downsampling). Clay v1.5 procesa independientemente las 12 bandas ópticas. La salida de Clay es proyectada, reducida a 8×8 y concatenada con el cuello de botella (bottleneck) de la U-Net. La representación fusionada se decodifica entonces utilizando conexiones de salto estándar de U-Net.

Entrenamiento y Optimización
Todos los modelos utilizaron un protocolo de entrenamiento de dos etapas para estabilizar el aprendizaje:

• Etapa 1: El codificador Clay fue congelado mientras se entrenaba el decodificador, la rama de terreno y las capas de fusión.
• Etapa 2: Se insertaron adaptadores de Adaptación de Bajo Rango (LoRA) en los bloques del transformador de Clay (apuntando a las proyecciones Q/K/V y MLPs) para ajustar el codificador con una tasa de aprendizaje más baja.
• Función de Pérdida: Una combinación de Entropía Cruzada Binaria (con un peso positivo de 25 para abordar el desequilibrio) y pérdida de Lovász hinge.
• Evaluación: Los modelos se evaluaron utilizando la puntuación F1 por píxel, con umbrales de clasificación optimizados en el conjunto de validación para dar cuenta del severo desequilibrio de clases.

Contribuciones Clave

• Arquitecturas Novedosas: Introducción de dos diseños híbridos: uno que utiliza Clay como codificador primario con fusión de terreno multiescala, y un segundo que utiliza Clay como contexto auxiliar en el cuello de botella dentro de una U-Net.
• Ablación Sistemática: Análisis exhaustivo de la congelación del codificador, el ajuste fino con LoRA, las estrategias de entrenamiento de dos etapas, las formulaciones de pérdida y la integración del terreno.
• Interpretabilidad e Incertidumbre: Aplicación de Dropout de Monte Carlo (MC Dropout) para la cuantificación de la incertidumbre y Mapas de Activación de Clase ponderados por Gradiente (Grad-CAM) para diagnosticar el comportamiento del modelo y las contribuciones de las características más allá de las métricas agregadas.

Resultados

• Desempeño: El modelo Híbrido U-Net + Clay (Arquitectura 2) logró la mejor puntuación F1 de prueba de 64.5 ± 1.8% (a través de tres semillas), superando tanto a la línea base U-Net (59.9%) como al backbone de solo Clay (55.2 ± 3.6%).
• Limitaciones Arquitectónicas: Clay como codificador independiente tuvo un desempeño inferior a la línea base U-Net, confirmando que la salida de escala única del ViT sin conexiones de salto es insuficiente para una segmentación precisa a nivel de píxel.
• Ventaja Híbrida: La inyección de las representaciones preentrenadas de Clay como contexto auxiliar en el cuello de botella mejoró significamente el desempeño. El modelo híbrido sacrificó una reducción modesta en la recuperación (recall) por un aumento sustancial en la precisión, reduciendo los falsos positivos en suelos desnudos espectralmente similares.
• Análisis de Incertidumbre: El análisis de MC Dropout reveló que la incertidumbre del modelo se concentró correctamente en las regiones propensas a errores (falsos positivos y falsos negativos) y en los bordes de los deslizamientos, indicando que el modelo es consciente de sus propias limitaciones.
• Hallazgos de Grad-CAM: El análisis mostró que la fusión del contexto de Clay actuó como un prior correctivo, ampliando la contribución fuera de los interiores de las cicatrices para suprimir falsos positivos en áreas geomórficamente implausibles (por ejemplo, campos agrícolas llanos), mientras que el decodificador CNN manejaba la localización a nivel de píxel.

Significancia y Reivindicaciones
El artículo concluye que los Modelos de Fundación Geoespaciales son más efectivos para la detección de deslizamientos de tierra cuando complementan en lugar de reemplazar las arquitecturas convolucionales de detalle espacial. El estudio demuestra que los GFM proporcionan la generalización espectral necesaria, mientras que las CNN proporcionan la precisión espacial requerida para la segmentación. Este enfoque híbrido supera tanto a los GFM independientes como a las CNN tradicionales en regímenes de escasez de datos, ofreciendo una solución escalable para el mapeo rápido post-evento sin depender de extensos datos etiquetados específicos de la tarea. Los resultados sugieren que este principio de combinar la generalización espectral con la precisión espacial es aplicable a otras tareas de mapeo de geopeligros y superficies planetarias.