Building Change Detection in Earthquake: A Multi-Scale Interaction Network and A Change Detection Dataset

Resumen Técnico: Detección de Cambios en Edificaciones en Terremotos: Una Red de Interacción Multiescala y un Conjunto de Datos de Detección de Cambios

Planteamiento del Problema
Los terremotos causan colapsos masivos de edificios y víctimas humanas, lo que requiere una evaluación de daños rápida y fiable para las operaciones de rescate de emergencia. La detección de cambios (CD, por sus siglas en inglés) mediante imágenes de teledetección (RS) multitemporales es una herramienta crítica para este propósito. Aunque los métodos basados en redes neuronales profundas (DNN) han logrado un rendimiento impresionante en tareas generales de CD, enfrentan limitaciones significativas cuando se aplican a escenarios post-terremoto con intervalos de imagen cortos. Específicamente, cuando las imágenes post-evento se adquieren poco después de un desastre (por ejemplo, en cuestión de días), los ángulos de captura variables entre las imágenes pre y post-evento provocan problemas de "visión lateral" (side-looking). Estos desajustes geométricos, particularmente en áreas con edificios de gran altura, causan desalineaciones espaciales que degradan la precisión de los métodos de CD existentes. Además, la falta de conjuntos de datos especializados con intervalos de adquisición cortos dificulta el desarrollo y la evaluación de métodos adaptados para la asistencia inmediata tras un desastre.

Metodología: MSI-Net
Para abordar estos desafíos, los autores proponen una Red de Interacción de Características Multiescala con Calibración de Desplazamiento (MSI-Net). La arquitectura se basa en un codificador siameso de pesos compartidos (basado en ResNet-18) para extraer características multiescala de imágenes de RS bi-temporales. La red integra tres módulos novedosos:

1. Módulo de Atención Conjunta Cruzada (JCA): Diseñado para facilitar una interacción suficiente entre las características bi-temporales en diferentes escalas. Consta de dos sub-bloques:

   • Atención Cruzada de Canales (CCA): Mejora el intercambio de información entre las imágenes temporales mediante el cálculo de mapas de atención cruzada temporal, haciendo que las distribuciones de características sean más similares.
   • Atención Conjunta Espacial (SJA): Utiliza mecanismos tanto de atención cruzada como de autoatención para explorar las distribuciones de detalles espaciales y capturar dependencias de largo alcance. Concatena consultas (queries) de ambas imágenes temporales para lograr simultáneamente la autoatención y la atención cruzada, modelando eficazmente las relaciones espaciales globales.
   • Nota: Las características superficiales (shallow features), que contienen menos información semántica, omiten el módulo JCA y se alimentan directamente al módulo de calibración.

2. Módulo de Calibración de Desplazamiento Multiescala (MOC): Este módulo se dirige específicamente al problema de desajuste por visión lateral. Estima un campo de desplazamiento entre las características bi-temporales mediante la convolución y concatenación de las mismas. Utilizando este campo de desplazamiento, el módulo realiza una alineación adaptativa mediante interpolación bilineal para corregir las desalineaciones espaciales causadas por diferentes ángulos de captura. Esta calibración mitiga el impacto negativo de los problemas de visión lateral en la precisión de la detección de cambios.

3. Módulo de Integración de Características (FeI): Este módulo fusiona las características calibradas del módulo MOC con las características multiescala del módulo JCA. Emplea un mecanismo de proyección para reducir los desajustes antes de concatenar las características para la predicción final del mapa de cambios.

La red se optimiza utilizando una función de pérdida de entropía cruzada ponderada para abordar el desequilibrio de clases entre los píxeles cambiados y los no cambiados.

Contribuciones Clave
El artículo presenta tres contribuciones primordiales:

1. Dataset TUE-CD: Los autores construyeron un nuevo conjunto de datos de detección de cambios, el dataset de detección de cambios del terremoto de Turquía (TUE-CD), diseñado específicamente para evaluar los daños en edificios a corto plazo tras un terremoto. Contiene 1,656 pares de imágenes de RS bi-temporales de 256×256 capturadas por el satélite WorldView-2 dentro de los 5 días posteriores al terremoto de magnitud 7.8 del 6 de febrero de 2023 en Turquía. El dataset incluye explícitamente muestras con desajustes de visión lateral, proporcionando un punto de referencia para la evaluación de desastres en periodos cortos.
2. Arquitectura MSI-Net: La propuesta de una red diseñada específicamente para suprimir el impacto de los problemas de visión lateral mediante la integración de los módulos JCA, MOC y FeI, permitiendo una mejor alineación de las características de las imágenes de RS de diferentes tiempos.
3. Diseño de Módulos Novedosos: El diseño del módulo JCA (que combina la atención conjunta espacial y la atención cruzada de canales) para una interacción de características suficiente, y el módulo MOC para la calibración espacial precisa de las características bi-temporales para mitigar los desajustes espaciales.

Resultados Experimentales
Los autores realizaron experimentos extensos en tres conjuntos de datos: WHU-CD (cambios en edificios), CLCD (cambios en cultivos) y el recién construido TUE-CD. Se comparó MSI-Net contra nueve métodos de CD basados en DNN de última generación (incluyendo FC-EF, BIT, GAS-Net y HANet).

• WHU-CD: MSI-Net alcanzó el mejor rendimiento en Precisión (96.66%), mF1 (95.58%), mIoU (91.81%) y Exactitud Global (99.27%).
• CLCD: MSI-Net obtuvo las puntuaciones más altas en Recall, mF1, mIoU y OA, superando al segundo mejor método (HANet) por un 0.6% en mF1.
• TUE-CD: En el desafiante escenario de terremoto con severos problemas de visión lateral, MSI-Net logró el mejor mF1 (78.02%), mIoU (68.48%) y OA (96.16%). Demostró una mejora de 1.13% y 1.24% en mF1 y mIoU, respectivamente, sobre el segundo mejor método (AMTNet).
• Estudios de Ablación: Los experimentos confirmaron que eliminar cualquiera de los módulos JCA, MOC o FeI provocaba una degradación del rendimiento. Específicamente, eliminar el módulo MOC resultó en bordes difusos y regiones de cambio incompletas debido a los desajustes de visión lateral no corregidos, mientras que eliminar JCA condujo a la estimación incorrecta de áreas irrelevantes.

Significado y Reivindicaciones
El artículo afirma que MSI-Net proporciona una solución más efectiva para la evaluación de daños en edificios post-terremoto en comparación con los métodos existentes de última generación, particularmente en escenarios que involucran intervalos de imagen cortos donde los desajustes de visión lateral son prevalentes. Al introducir el dataset TUE-CD, los autores pretenden llenar el vacío en la disponibilidad de datos para la respuesta ante desastres a corto plazo. La capacidad de la red propuesta para interactuar eficientemente con las características bi-temporales y calibrar los desplazajes espaciales le permite generar información de bordes más completa y reducir los falsos positivos en escenarios de desastres complejos. Los resultados sugieren que MSI-Net es una herramienta robusta para los esfuerzos de socorro inmediato tras terremotos.