GeoFormer: A Lightweight Swin Transformer for Joint Building Height and Footprint Estimation from Sentinel Imagery

El artículo presenta GeoFormer, un marco de aprendizaje multitarea ligero basado en Swin Transformer que utiliza datos abiertos de Sentinel y DEM para estimar conjuntamente la altura y la huella de los edificios con alta precisión y capacidad de transferencia global, superando a las arquitecturas CNN tradicionales.

Lo esencial

¡Hola! Imagina que quieres entender la "arquitectura" de una ciudad entera, no solo para ver dónde están las casas, sino para saber qué tan altas son y qué tanto espacio ocupan en el suelo. Esto es vital para predecir inundaciones, planificar cómo el calor se queda atrapado en las ciudades o saber cuánta gente vive en un lugar.

El problema es que conseguir estos datos para todo el mundo es como intentar armar un rompecabezas gigante sin tener la imagen de la caja: es caro, difícil y a menudo falta información, especialmente en países en desarrollo.

Aquí es donde entra GeoFormer, el "héroe" de este artículo. Vamos a explicarlo con una analogía sencilla:

🏗️ La Analogía: El Detective con Lentes Mágicos

Imagina que tienes que estimar la altura y el tamaño de los edificios de una ciudad, pero solo puedes verla desde el espacio con tres tipos de "gafas" especiales:

1. Gafas de Radar (Sentinel-1): Ven a través de las nubes y de noche, detectando la forma y la textura de los edificios (como un detective que siente la forma de un objeto en la oscuridad).
2. Gafas de Color (Sentinel-2): Ven los colores y materiales (como si vieras si un edificio es de ladrillo rojo o de vidrio azul).
3. Gafas de Topografía (DEM): Ven la altura del terreno, como si supieras si la ciudad está en una montaña o en un valle.

GeoFormer es un "detective" inteligente (una Inteligencia Artificial) que usa estas tres gafas al mismo tiempo para adivinar la altura y el tamaño de los edificios en cuadros de 100x100 metros.

🧠 ¿Qué hace GeoFormer tan especial?

1. Es "ligero" pero "agudo" (La analogía del martillo de oro)

La mayoría de los sistemas de IA para esto son como elefantes: son gigantes, pesados, consumen mucha energía y tardan mucho en pensar.
GeoFormer es como un martillo de oro: es pequeño, ligero y muy eficiente.

• El truco: En lugar de mirar un solo edificio de cerca (como hacen las cámaras normales), GeoFormer mira un vecindario completo (un cuadro de 5x5 bloques).
• La magia: Usa una tecnología llamada "Transformer" (la misma que usan los chatbots avanzados) pero adaptada para ver patrones espaciales. Es como si el detective no solo mirara una casa, sino que entendiera cómo se relaciona con sus vecinos para adivinar mejor su altura.

2. No necesita "mapas secretos"

Muchos sistemas anteriores necesitan mapas privados, planos de construcción o imágenes de satélites muy caros (como los de empresas privadas) para funcionar.

• La ventaja de GeoFormer: Solo usa datos que cualquiera puede descargar gratis (los satélites Sentinel de la Unión Europea). Es como si pudieras armar un mapa 3D del mundo entero usando solo la información que ya está disponible en la biblioteca pública.

3. El secreto del "Entrenamiento Justo"

Antes, las IAs a veces "hacían trampa" en los exámenes. Si entrenabas a la IA con datos de una ciudad y luego la probabas en un barrio vecino, la IA ya había "visto" esos datos y daba respuestas perfectas, pero no porque fuera inteligente, sino porque había memorizado.

• La solución (GeoSplit): Los autores dividieron las ciudades en "rebanadas" como una pizza. Entrenaron la IA con una mitad de la ciudad y la probaron con la otra mitad, asegurándose de que nunca se tocaran. Esto garantiza que la IA realmente aprendió a reconocer ciudades, no solo a memorizar direcciones.

📊 ¿Qué tan bien funciona?

• Precisión: GeoFormer adivina la altura de los edificios con un error promedio de solo 3.19 metros. ¡Eso es como decir "es un edificio de 10 pisos" y acertar si tiene 9 o 11!
• Comparación: Es mejor que los sistemas tradicionales (como ResNet o UNet) en un 7.5%, pero usando 35 veces menos energía y memoria.
• Prueba de fuego: Lo probaron en una ciudad que nunca había visto (Suwon, Corea) y funcionó genial. Incluso lo probaron en una ciudad devastada por un terremoto (Kahramanmaraş, Turquía) y pudo detectar visualmente dónde los edificios habían colapsado, sin necesidad de aprender nada nuevo sobre el desastre.

🌍 ¿Por qué nos importa esto a todos?

Imagina que quieres saber qué pasa si llueve mucho en tu ciudad.

• Si sabes dónde están los edificios (el huella) y qué tan altos son, puedes predecir:
  • ¿Dónde se acumulará el agua?
  • ¿Cómo se moverá el calor en verano?
  • ¿Cuánta gente podría estar en peligro en un terremoto?

Antes, esto era imposible de hacer para todo el mundo de forma rápida y barata. Ahora, con GeoFormer, tenemos un "mapa 3D" global, gratuito y actualizable que ayuda a los gobiernos y científicos a tomar mejores decisiones para proteger a las personas y al planeta.

En resumen: GeoFormer es un pequeño detective digital, muy inteligente y eficiente, que usa gafas gratuitas desde el espacio para dibujar un mapa 3D de nuestras ciudades, ayudándonos a vivir en un mundo más seguro y preparado. 🌆🛰️🏙️

Resumen técnico

1. Planteamiento del Problema

La estimación precisa de la altura de los edificios (BH) y su huella o superficie construida (BF) es fundamental para la modelización climática, la evaluación de riesgos de desastres y la cartografía poblacional. Sin embargo, existen limitaciones críticas en la disponibilidad de datos globales consistentes:

• Escasez de datos globales: La información de alta resolución 3D es limitada, especialmente en el Sur Global.
• Costo y cobertura: Los métodos existentes que logran alta precisión (usando LiDAR aéreo o imágenes ópticas de muy alta resolución) son costosos, tienen cobertura espacial limitada y ciclos de actualización infrecuentes.
• Limitaciones de los modelos actuales: Muchos modelos basados en Sentinel (datos abiertos) se entrenan en ciudades individuales, lo que limita su transferibilidad a otras morfologías urbanas. Además, a menudo dependen de datos auxiliares propietarios (como mapas de uso de suelo o huellas catastrales) que no están disponibles globalmente.
• Desafío de resolución: Trabajar a resolución de píxel (10 m) con imágenes Sentinel introduce ruido debido a la mezcla de espectros (edificios, sombras, vegetación) y efectos de dispersión en SAR.

2. Metodología Propuesta: GeoFormer

El autores proponen GeoFormer, un marco de aprendizaje multitarea ligero basado en Swin Transformer diseñado para estimar simultáneamente BH y BF a una resolución de cuadrícula de 100 metros.

A. Datos de Entrada

El modelo utiliza exclusivamente datos de acceso abierto y globales:

• Sentinel-1 SAR: Datos de radar de apertura sintética (VV y VH).
• Sentinel-2 MSI: Imágenes ópticas multiespectrales (B2, B3, B4, B8).
• DEM (SRTM): Modelo digital de elevación.
• Etiquetas de referencia: Derivadas del conjunto de datos SHAFTS, que utiliza un análisis de "Fishnet" para agregar inventarios de edificios vectoriales a una cuadrícula regular de 100 m x 100 m, calculando la altura media ponderada por área y la fracción de huella.

B. Arquitectura del Modelo

• Base: Utiliza un Swin Transformer como columna vertebral (backbone), que emplea mecanismos de atención auto-atención en ventanas desplazadas (Shifted Window Attention). Esto permite capturar dependencias espaciales locales y globales de manera eficiente.
• Entrada: Un tensor unificado de 8 canales (SAR, Óptico, DEM) más una máscara binaria para indicar regiones válidas.
• Contexto: El modelo procesa parches de contexto (ventanas de 3x3, 5x5 o 9x9 píxeles, correspondientes a 300m, 500m y 900m de área) para inferir las propiedades del parche central (100 m).
• Salida: Dos cabezas de predicción (MLP) independientes:
  • Una para Altura (BH) con activación ReLU.
  • Otra para Huella (BF) con activación Sigmoid (para mantener el valor entre 0 y 1).
• Función de Pérdida: Utiliza una pérdida de regresión multitarea ponderada por incertidumbre, combinando la Pérdida Huber Adaptativa para ambos objetivos, lo que la hace robusta ante valores atípicos.

C. Estrategia de División de Datos (GeoSplit)

Para evitar el "fuga de datos" (data leakage) común en la división aleatoria cuando se usan ventanas de contexto, los autores implementan una estrategia GeoSplit:

• Dividen cada ciudad en 10 sectores radiales centrados en el núcleo urbano.
• Asignan estos sectores a los conjuntos de entrenamiento, validación y prueba (8:1:1) de manera equilibrada.
• Esto garantiza una independencia espacial estricta entre entrenamiento y prueba, evitando que el modelo "vea" partes de la región de prueba durante el entrenamiento debido a las ventanas de contexto superpuestas.

3. Contribuciones Clave

1. Desarrollo de GeoFormer: Un marco compacto (solo 0.32 M de parámetros) que supera a las mejores arquitecturas CNN (como UNet) en precisión y eficiencia.
2. Superioridad de la Atención Local: Demuestran que la atención local en ventanas (Swin Transformer) es más efectiva que la convolución global para la recuperación de parámetros a nivel de escena, requiriendo 35 veces menos parámetros que ResNet-18.
3. Análisis de Ablación Sistemático:
   • Identifican que una ventana de contexto de 5x5 (500 m) es óptima.
   • Confirman que el DEM es indispensable para la estimación de altura.
   • Establecen que la reflectancia multiespectral (Sentinel-2) es la señal predictiva dominante.
4. Reproducibilidad Global: Liberan todo el código, los pesos del modelo y el producto global resultante de 100 m.

4. Resultados Experimentales

El modelo se evaluó en 54 ciudades con morfologías diversas en cuatro continentes.

• Precisión: GeoFormer (5x5) logró un RMSE de 3.19 m para la altura de edificios, superando al mejor baseline CNN (UNet) en un 7.5% (UNet: 3.45 m). Para la huella, logró un RMSE de 0.050.
• Eficiencia: Con solo 0.32 M de parámetros, es significativamente más ligero que ResNet-18 (11.19 M) y ConvNeXt-T (27.83 M), manteniendo tiempos de inferencia competitivos.
• Análisis de Ablación:
  • Sin DEM: El RMSE de altura aumentó un 15% (3.19 m a 3.67 m), confirmando la importancia crítica de la topografía para la altura.
  • Sin Óptico: El rendimiento colapsó (RMSE de altura subió a 4.40 m, +37.9%), demostrando que la reflectancia es la fuente principal de información.
  • Sin SAR: La degradación fue moderada (+6.0%), indicando que el SAR aporta información complementaria sobre la densidad estructural.
• Generalización (Transferencia):
  • Suwon (Corea del Sur): Probado en una ciudad no vista durante el entrenamiento, logró un RMSE de 3.57 m, demostrando robustez ante cambios de morfología urbana.
  • Kahramanmaraş (Turquía): En un caso de estudio "zero-shot" tras el terremoto de 2023, el modelo detectó cualitativamente la reducción de huellas y alturas sin ajuste fino, mostrando potencial para la evaluación de daños post-desastre.

5. Significado e Impacto

El trabajo de GeoFormer representa un avance significativo en la cartografía urbana global por varias razones:

• Accesibilidad: Elimina la dependencia de datos propietarios o costosos, permitiendo una reproducibilidad global total utilizando solo datos de Sentinel y SRTM.
• Estandarización: La resolución de 100 m se alinea directamente con los productos operativos globales existentes (como WUDAPT, WorldPop, GHS-POP) y modelos meteorológicos, evitando la necesidad de reagrupar datos de mayor resolución.
• Eficiencia Computacional: Su arquitectura ligera permite actualizaciones rutinarias a escala global, algo prohibitivo para modelos más pesados.
• Aplicaciones Críticas: Facilita la modelización del clima urbano, la evaluación de riesgos de inundación y terremotos, y la planificación de la densidad poblacional en regiones donde los datos 3D son escasos.

En resumen, GeoFormer establece un nuevo estándar para la estimación de parámetros urbanos a escala global, demostrando que los modelos de atención ligera, combinados con una estrategia de división de datos espacialmente consciente y fusión de sensores abiertos, pueden superar a las arquitecturas convolucionales tradicionales con una fracción de los recursos computacionales.