Building Damage Detection using Satellite Images and Patch-Based Transformer Methods

Resumen Técnico: Detección de Daños en Edificaciones mediante Imágenes Satelitales y Métodos de Transformers Basados en Parches

Planteamiento del Problema
La evaluación rápida de los daños en edificaciones tras desastres naturales es crítica para una respuesta eficaz tras un desastre. Si bien las imágenes satelitales ofrecen un método escalable para la conciencia situacional, el desarrollo de clasificadores de daños fiables se ve obstaculizado por desafíos significativos de datos. Específicamente, los conjuntos de datos satelitales suelen sufrir un severo desequilibrio de clases (una fuerte inclinación hacia las etiquetas de "sin daños") y ruido en las etiquetas. Además, las distinciones visuales entre las categorías de daños —particularmente entre "daño menor", "daño mayor" y "destruido"— son a menudo sutiles. El conjunto de datos xBD, un estándar de referencia para daños a nivel de edificio en diversas geografías, ejemplifica estos problemas, presentándose como un banco de pruebas difícil para los modelos de aprendizaje automático.

Metodología
El estudio evalúa el rendimiento de las arquitecturas de Vision Transformer (ViT) en el conjunto de datos xBD, centrándose específicamente en DeiT-Tiny y DINOv2-small. La investigación emplea un novedoso pipeline de preprocesamiento dirigido y estrategias específicas de ajuste fino (fine-tuning) para abordar las limitaciones de datos dentro de entornos computacionales restringidos (Google Colab Pro/Pro+).

• Preprocesamiento Basado en Parches: Para mitigar el ruido de fondo (p. ej., nubes, carreteras) e aislar las características estructurales, los autores diseñaron un pipeline personalizado. Este proceso filtra las imágenes para retener solo aquellas que contienen edificios con etiquetas de daño específicas. Luego, extrae parches aleatorios centrados en los centroides de los edificios. Un paso crítico consiste en calcular una "relación de vacío" (la proporción de píxeles transparentes o negros); los parches que superan un umbral de 0.01 se vuelven a recortar para asegurar que el edificio siga siendo el foco principal. Esto reduce el tamaño del conjunto de datos aproximadamente en un 50%, pero aumenta la densidad de la señal.
• Arquitecturas de Modelos:
  • DeiT-Tiny: Un modelo de 5 millones de parámetros preentrenado en ImageNet, que utiliza un enfoque de destilación de profesor-alumno con un token [CLS] y un token de destilación distintivo.
  • DINOv2-small: Un modelo de 22 millones de parámetros preentrenado de manera autosupervisada en el conjunto de datos LVD-142M. Utiliza Unidades Lineales con Compuerta Swish (SwiGLUs) y un token [CLS], pero omite el token de destilación utilizado en DeiT.
• Estrategias de Entrenamiento: Los autores compararon dos enfoques de entrenamiento:
  1. Ajuste Fino de Extremo a Extremo (End-to-End): Entrenamiento completo del modelo con búsquedas de cuadrícula de hiperparámetros (tasas de aprendizaje, tamaños de lote) limitadas por la memoria de la GPU y los límites de tiempo.
  2. Ajuste Fino de Cabezal Congelado (Frozen-Head): Solo se entrenó el cabezal del clasificador mientras los pesos del backbone permanecieron congelados, una estrategia adoptada para gestionar los costes computacionales.
• Evaluación: Los modelos fueron evaluados utilizando precisión (accuracy), precisión (precision), exhaustividad (recall) y puntuación F1 promediada por macroclase. Para mitigar los efectos del desequilibrio de clases durante la evaluación, el proceso de prueba se repitió a través de cinco ejecuciones independientes.

Contribuciones Clave

1. Pipeline de Preprocesamiento Dirigido: La introducción de un método basado en parches que aisla las estructuras de los edificios y minimiza el ruido de fondo, diseñado específicamente para manejar la naturaleza ruidosa e imbalanced del conjunto de datos xBD.
2. Benchmarking de Transformers: Una evaluación comparativa de DINOv2-small y DeiT para la clasificación de daños en edificios multiclase, proporcionando evidencia empírica de su rendimiento en datos de desastres altamente desequilibrados.
3. Optimización de Recursos Restringidos: Un análisis de las estrategias de ajuste fino (Extremo a Extremo vs. Cabezal Congelado) adaptadas específicamente para entornos con recursos computacionales limitados, como Google Colab.

Resultos
El estudio encontró que las pequeñas arquitecturas ViT, cuando se combinan con el preprocesamiento y los métodos de entrenamiento propuestos, logran un rendimiento competitivo frente a las bases de comparación de Redes Neuronales Convolucionales (CNN).

• Métricas de Rendimiento: El modelo DeiT (End-to-End) logró el mayor rendimiento general con una precisión de 0.782 y una puntuación F1 promediada por macroclase de 0.599. El modelo DINOv2 (End-to-End) le siguió con una puntuación F1 de 0.565.
• Comparación con Baselines:
  • Ambos modelos de transformer superaron al baseline original de ResNet (Gupta et al., 2019), que reportó un F1 de 0.320.
  • El modelo DeiT (E2E) fue ligeramente inferior al baseline de pocos disparos (few-shot) (Koukouraki et al., 2021), que alcanzó un F1 de 0.638, pero se mantuvo competitivo.
  • En comparación con el método UNet Encoder + ResNet18 (Chen, 2020), los modelos de transformer mostraron métricas macro-promediadas generales más bajas, pero demostraron un rendimiento individual superior por clase para "Sin daños" (0.90 vs 0.88), "Daño mayor" (0.73 vs 0.53) y "Destruido" (0.73 vs 0.55).
• Desafíos Específicos de Clase: Los modelos tuvieron dificultades significativas con la clase "Daño menor" (puntuación F1 de 0.14), donde las pistas visuales son más sutiles. Por el contrario, el rendimiento fue sólido para las clases "Sin daños", "Daño mayor" y "Destruido".

Significancia y Afirmaciones
El artículo afirma que las pequeñas arquitecturas ViT, cuando se asocian con un pipeline de preprocesamiento basado en parches dirigido, pueden manejar eficazmente los datos ruidosos y desequilibrados típicos de los escenarios de respuesta ante desastres. Los autores sostienen que su enfoque logra puntuaciones F1 macro-promediadas competitivas en relación con los baselines de CNN previos, mejorando particularmente la detección de las categorías de daños severos.

Los autores mantienen la modestia respecto a la clasificación de "Daño menor", reconociendo que las diferencias visuales sutiles entre el daño menor y la ausencia de daño siguen siendo un desafío. Sugieren que el trabajo futuro podría abordar esto mediante el reequilibrio explícito del conjunto de datos (por ejemplo, reduciendo las muestras de "sin daños" o utilizando IA generativa para el aumento de datos), modelando contextos de escena más amplios en lugar de recortes de un solo edificio, y potencialmente simplificando el espacio de etiquetas para alinearse mejor con los protocolos de triaje humano. El estudio concluye que estos pasos podrían establecer aún más a los modelos basados en transformers como referentes sólidos para una clasificación de desastres fiable.