Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery

Resumen Técnico: Inspección de Edificios Multimodal mediante Fusión Perceiver IO de Imágenes Satelitales y de Nivel de Calle

Enunciado del Problema
Mantener y asegurar el entorno construido a escala nacional requiere un conocimiento detallado de los atributos individuales de los edificios, como los materiales de los techos y los elementos estructurales. Las inspecciones manuales tradicionales son costosas, lentas y generan emisiones significativas de carbono. Aunque la teledetección ofrece una alternativa escalable, confiar únicamente en imágenes satelitales limita el análisis a los atributos visibles desde arriba, omitiendo detalles críticos a nivel de fachada. Por el contrario, las imágenes de nivel de calle ofrecen vistas de cerca de las fachadas y materiales, pero sufren de oclusión, cobertura variable y ángulos de cámara inconsistentes. El desafío central radica en fusionar estas modalidades heterogéneas —imágenes satelitales y de nivel de calle— en un marco unificado que pueda manejar números variables de entradas de nivel de calle por edificio, aislar la estructura objetivo de sus alrededores sin perder señales contextuales y predecir conjuntamente atributos de techos con múltiples etiquetas.

Metodología
Los autores proponen un marco de clasificación multimodal centrado en una arquitectura Perceiver IO que opera sobre tokens de parches espaciales derivados de una columna vertebral DINOv2 compartida.

• Construcción del Conjunto de Datos: Se construyó un conjunto de datos a gran escala que comprende 32.135 edificios (61.672 segmentos de techo) en diez países. Cada segmento se empareja con una única imagen satelital y un número variable de vistas de nivel de calle (un promedio de 4,54 por segmento, hasta 8 muestreados durante el entrenamiento). El conjunto de datos soporta dos tareas de múltiples etiquetas: identificar seis elementos de techo (por ejemplo, paneles solares, buhardillas) y siete materiales de techo (por ejemplo, pizarra, betún).
• Estrategias de Enmascaramiento: Para aislar el edificio objetivo, se evaluaron cuatro estrategias: (1) imagen completa, (2) recorte duro (poniendo a cero el fondo), (3) recorte invertido (poniendo a cero el edificio) y (4) RGB-M, donde la máscara binaria de la huella del edificio se adjunta como un cuarto canal de entrada. Se encontró que la estrategia RGB-M proporciona un "prior espacial suave", permitiendo que el modelo se enfoque en el edificio mientras retiene el contexto ambiental, superando al recorte duro que interrumpe las estadísticas de parches preentrenados.
• Columna Vertebral y Ajuste Fino: El estudio compara ResNet-50 y DINOv2-S. Los resultados indican que el ajuste fino completo de DINOv2-S supera significativamente al sondeo lineal y al ajuste fino parcial, lo que sugiere que el cambio de dominio de imágenes naturales a imágenes de edificios aéreas/de nivel de calle requiere actualizar las capas tempranas de características.
• Arquitectura de Fusión: Se compararon tres estrategias de fusión:
  1. Concatenación: Fusionar vectores de características globales de las vistas satelitales y de nivel de calle con máximo pooling.
  2. Transformador de Vectores de Características: Procesar una secuencia de vectores globales con un codificador transformador.
  3. Perceiver IO: El método propuesto procesa tokens de parches espaciales crudos de ambas modalidades. Utiliza atención cruzada para comprimir una secuencia de longitud variable de tokens (de una imagen satelital y $N$ imágenes de nivel de calle) en una representación latente de tamaño fijo. Esto preserva la información detallada a nivel de parche y maneja naturalmente cantidades de entrada variables sin relleno ni truncamiento.

Resultados Clave

• Enmascaramiento: La estrategia RGB-M produjo consistentemente el mejor rendimiento en ambas modalidades y columnas vertebrales, logrando 0,939 mAP para elementos de techo y 0,729 para materiales de techo en imágenes satelitales con DINOv2-S.
• Rendimiento de Fusión: El modelo de fusión Perceiver IO superó tanto a las líneas base de concatenación como a las de Transformador de Vectores de Características. Si bien la línea base solo satelital mantuvo una ligera ventaja en el mAP promediado macro (debido a que clases como tragaluces y betún se ven mejor desde arriba), el modelo Perceiver IO entregó ganancias sustanciales por clase para atributos visibles desde la calle. Mejoras notables incluyeron +11,3 AP para pizarra, +4,5 AP para vidrio y +1,3 AP para buhardillas.
• Sensibilidad de la Arquitectura: Se encontró que el rendimiento de Perceiver IO es más sensible a la dimensionalidad latente ($D_z$) que al número de vectores latentes ($N_z$). Una configuración de $N_z=128$ y $D_z=512$ proporcionó el mejor equilibrio.
• Análisis de Atención: Las visualizaciones Grad-CAM confirmaron que la estrategia RGB-M produce patrones de atención equilibrados, enfocándose en el edificio mientras utiliza el contexto de los límites. Por el contrario, para clases como chimeneas, la atención a veces fue difusa, lo que sugiere que el modelo podría depender de atajos contextuales en lugar de una localización directa.

Significado y Afirmaciones
El artículo establece una arquitectura escalable y flexible para la inspección de edificios multimodal capaz de acomodar entradas heterogéneas y múltiples tareas de salida. Los autores afirman que su trabajo difiere de la tecnología anterior al fusionar a nivel de token espacial en lugar de a nivel de vector de características, preservando así detalles finos. Además, el uso de Perceiver IO permite el manejo natural de números variables de vistas de nivel de calle sin degradación del rendimiento.

El estudio concluye que la fusión multimodal es más valiosa cuando las modalidades proporcionan vistas genuinamente complementarias. Si bien el modelo solo satelital sigue siendo superior en métricas promediadas macro debido a la prevalencia de clases visibles de arriba hacia abajo, el enfoque de fusión mejora significativamente la detección de atributos específicos de nivel de calle. Los autores sugieren que el trabajo futuro podría involucrar codificar metadatos de la cámara como incrustaciones geométricas, utilizar la arquitectura basada en tokens para enmascaramiento a nivel de parche y extender el marco al aprendizaje multitarea (segmentación y regresión).