PolyBuild: An End-to-End Method for Polygonal Building Contour Extraction from High-Resolution Remote Sensing Images

Resumen Técnico: PolyBuild

Declaración del Problema
La extracción de contornos de polígonos de edificios vectorizados a partir de imágenes de teledetección de alta resolución es crítica para la cartografía, el modelado urbano y la reconstrucción. Sin embargo, esta tarea enfrenta desafíos significativos debido a las variaciones en las condiciones de captura, estructuras de edificios complejas y obstrucciones como árboles y sombras. Los enfoques convencionales suelen depender de la segmentación semántica a nivel de píxel seguida de un post-procesamiento de vectorización. Estos métodos suelen producir contornos rugosos y dentados, tienen dificultades con las oclusiones y no logran proporcionar información vectorial directa. Aunque los métodos basados en contornos ofrecen un enfoque más directo mediante la regresión de vértices de contorno, las soluciones existentes sufren de limitaciones: algunas utilizan contornos iniciales excesivamente simplistas (por ejemplo, cajas delimitadoras o elipses) que están lejos del objetivo real, mientras que otras dependen de características de puntos centrales limitadas que conducen a una acumulación de errores a medida que aumenta la distancia de regresión. Además, muchos métodos carecen de la capacidad de capturar relaciones espaciales globales entre los vértices del contorno, lo que resulta en desplazamientos de regresión inexactos.

Metodología
El artículo propone PolyBuild, un marco de trabajo de extremo a extremo (end-to-end) que extrae directamente polígonos vectoriales de edificios sin requerir post-procesamiento. La arquitectura consta de dos módulos principales:

1. Módulo de Generación de Contorno Inicial (ICGM):

   • En lugar de depender de un único punto central del edificio, el ICGM primero predice una caja delimitadora (bbox) para cada instancia de edificio y la divide en cuatro subregiones (superior-izquierda, superior-derecha, inferior-izquierda, inferior-derecha).
   • Extrae características de los centros de estas cuatro subregiones y las concatena.
   • Estas características acopladas se utilizan para regredir un conjunto de desplazamientos de vértices. Los desplazamientos se suman a los respectivos puntos centrales de las subregiones para generar el contorno inicial.
   • Este enfoque aprovecha información de edificios más rica y reduce la distancia de regresión en comparación con los métodos de centro único, lo que resulta en un contorno inicial más estable y preciso.
   • El módulo utiliza una red base DLA-34, una cabeza de predicción de centro (entrenada con Focal Loss), una cabeza de predicción de parámetros de bbox (entrenada con Smooth L1 Loss) y una cabeza de predicción de desplazamientos.

2. Módulo de Optimización de Contorno (COM):

   • Los contornos iniciales generados por el ICGM suelen ser toscos y requieren refinamiento. El COM emplea una arquitectura híbrida CNN-Transformer para optimizar iterativamente el contorno a lo largo de tres iteraciones.
   • Ajuste Grueso: Se realiza un ajuste global preliminar utilizando características concatenadas de los vértices del contorno y los centros de las subregiones.
   • Optimización Fina: El núcleo del COM utiliza un decodificador Transformer. Toma características locales del contorno (extraídas mediante convolución circular) e información de posición de los vértices como entrada. El mecanismo de auto-atención del Transformer permite al modelo consultar vértices globales y establecer dependencias entre vértices en diferentes posiciones, capturando relaciones espaciales tanto locales como globales.
   • Funciones de Pérdida: Las dos primeras iteraciones de optimización se supervisan mediante la pérdida Smooth L1. La tercera iteración utiliza la Pérdida de Emparejamiento Dinámico (DML), que alinea los vértices predichos con los puntos de frontera reales más cercanos y se dirige específicamente a los vértices de las esquinas para asegurar la precisión topológica.

Contribuciones Clave

• Marco de Extremo a Extremo: PolyBuild permite la implementación paralela de la detección de edificios y la extracción de contornos, eliminando la necesidad de pasos de post-procesamiento separados.
• Nueva Generación de Contorno Inicial: El artículo introduce el ICGM, que utiliza características de centros de subregiones acopladas en lugar de un único punto central. Esta estrategia proporciona información de contorno más rica y reduce significativamente la complejidad de la optimización posterior.
• Integración CNN-Transformer: El Módulo de Optimización de Contorno (COM) integra innovadoramente CNN para la extracción de características locales y Transformers para el modelado de dependencias globales. Esto permite que la red consulte e indexe automáticamente los vértices asociados, corrigiendo los errores de contorno de manera más precisa que los métodos que dependen únicamente de núcleos de convolución fijos o RNNs.
• Rendimiento de Vanguardia: Experimentos extensos demuestran que PolyBuild supera a los métodos existentes basados en máscaras y en contornos en múltiples conjuntos de datos.

Resultados Experimentales
Los autores evaluaron PolyBuild en tres conjuntos de datos: el conjunto de edificios aéreos WHU, el conjunto de edificios WHU-Mix (Vector) y el conjunto Crowd AI.

• Conjunto de Datos Aéreo WHU: PolyBuild logró una Precisión Media (AP) del 74.0% y una Recuperación Media (AR) del 80.7%, superando al segundo mejor método basado en contornos (Line2Poly, 73.8% AP) y superando significativamente a los métodos basados en máscaras como Mask R-CNN (65.3% AP).
• Conjunto de Datos WHU-Mix: En el desafiante y diverso conjunto de datos WHU-Mix, PolyBuild alcanzó 53.5 mAP y 62.2 mAR, superando al mejor método basado en máscaras por 0.6 AP y al mejor método basado en contornos por 0.9 mAP. Mantuvo una alta precisión en el Conjunto de Prueba II (geográficamente disjunto del de entrenamiento), demostrando una fuerte generalización.
• Conjunto de Datos Crowd AI: PolyBuild alcanzó un 60.6% AP, superando a otros métodos incluyendo PolyMapper (55.7% AP).
• Estudios de Ablación: Los resultados confirmaron que la estrategia ICGM (concatenación de las características de cuatro subregiones) produce los contornos iniciales más precisos. Además, la inclusión del módulo COM mejoró significativamente la precisión final del contorno, mostrando el modelo completo un aumento de 2.0% en AP sobre la línea base.
• Eficiencia: A pesar de la compleja arquitectura, PolyBuild tiene un recuento de parámetros de solo 30.3M y logra una velocidad de inferencia de 30.46 FPS en imágenes de 512×512 usando una GPU RTX 2080 Ti.

Significancia y Reivindicaciones
El artículo afirma que PolyBuild aborda las limitaciones fundamentales de los métodos actuales de extracción de edificios al proporcionar una solución directa de extremo a extremo para la generación de polígonos vectoriales. Al alejarse de la segmentación a nivel de píxel y de la regresión de punto único, el método logra una mayor precisión y robustez, particularmente en el manejo de formas de edificios complejas y oclusiones. Los autores destacan que la integración de arquitecturas CNN y Transformer permite una mejor comprensión de las posiciones de los vértices y sus interdependencias, lo que conduce a una delineación de fronteras de alta calidad. El método se presenta como un avance significativo para aplicaciones de topografía y cartografía descendentes que requieren contornos de edificios precisos a nivel de instancia. Los autores reconocen que, aunque PolyBuild es robusto, su rendimiento sigue dependiendo de la etapa inicial de detección de objetos, y el trabajo futuro podría explorar la integración de RNNs con Transformers para mejorar aún más la reconstrucción de regiones fuertemente ocluidas con topologías complejas.