Beyond Segmentation: Structurally Informed Facade Parsing from Imperfect Images

Resumen Técnico

1. El Problema

La reconstrucción de la estructura arquitectónica de fachadas a partir de una sola imagen es fundamental para aplicaciones como gemelos digitales y flujos de trabajo de escaneo a CAD. Sin embargo, existe un cuello de botella crítico:

• Incoherencia Estructural: Los detectores de objetos modernos (como YOLOv8 o Mask R-CNN) están optimizados para pistas de apariencia local y tratan los elementos arquitectónicos (ventanas, puertas) de forma independiente.
• Consecuencias: Esto genera resultados visualmente plausibles pero estructuralmente inconsistentes, caracterizados por:
  • Jitter (temblor) en los límites de elementos repetidos.
  • Brechas bajo oclusiones.
  • Desviaciones sistemáticas debido a efectos de perspectiva o relieve.
• Impacto en Modelado Procedural: Cuando estas detecciones se utilizan como entrada para métodos de modelado inverso (como FaçAID), la inconsistencia obliga al modelo downstream a absorber el ruido, aumentando la ambigüedad y la complejidad de la estructura inferida.

2. Metodología

Los autores proponen abordar el problema "aguas arriba", en el nivel del detector, en lugar de corregir los resultados después. Su enfoque consiste en enriquecer el objetivo de entrenamiento de YOLOv8 con una función de pérdida personalizada.

• Base: Se utiliza YOLOv8 (un detector de una sola etapa anchor-free) como punto de partida.
• Pérdida de Alineación (Alignment Loss): Se introduce un término de regularización ligero que se suma a la función de pérdida base de YOLOv8 (que incluye CIoU, BCE y DFL).
  • Objetivo: Fomentar arreglos de cajas delimitadoras consistentes con una cuadrícula (grid) durante el entrenamiento, inyectando priors geométricos sin alterar la inferencia estándar.
  • Mecanismo: La pérdida opera sobre pares de cajas delimitadoras positivas seleccionadas por el asignador de YOLO. Un par se considera candidato para alineación si:
    1. Son de la misma clase.
    2. No se superponen (IoU ≈ 0).
    3. La diferencia absoluta entre sus coordenadas $x_1$ (o $y_1$) y $x_2$ (o $y_2$) está por debajo de un umbral $T$ (hiperparámetro en píxeles).
  • Cálculo: Si se cumplen las condiciones, la pérdida penaliza la diferencia entre las coordenadas de los bordes de las cajas ($|x_{1i} - x_{1j}| + |x_{2i} - x_{2j}|$). Esto fuerza a las cajas espacialmente cercanas a alinearse en un eje común.
• Control: Un parámetro de peso ($W$) equilibra la compensación entre la precisión de detección estándar y la regularidad estructural.

3. Contribuciones Clave

1. Objetivo de Entrenamiento Específico: Una función de pérdida que inyecta regularidad geométrica específica de fachadas en las predicciones de cajas delimitadoras mediante un término de alineación par a par.
2. Integración Transparente: Se integra en la tubería de entrenamiento estándar de YOLOv8, preservando el procedimiento de inferencia original (no se requiere cambiar el modelo en tiempo de ejecución).
3. Compensación Controlable: La introducción de un parámetro de peso ($W$) que permite a los usuarios ajustar el equilibrio entre la precisión de detección (mAP) y la regularidad estructural según las necesidades de la aplicación.

4. Resultados y Evaluación

El método se evaluó en el conjunto de datos CMP (689 imágenes de fachadas).

• Métricas:
  • mAP@0.5: Precisión estándar de detección.
  • Regularidad basada en SVD: Una métrica propuesta por los autores (basada en la descomposición de valores singulares) que cuantifica la coherencia estructural. Un puntaje más bajo indica una estructura más regular (mejor aproximación de rango bajo).
• Hallazgos Cuantitativos:
  • La adición de la pérdida de alineación reduce significativamente la métrica basada en SVD (mayor regularidad).
  • Existe una compensación: aumentar el peso $W$ mejora la regularidad pero puede reducir ligeramente el mAP. Sin embargo, con valores moderados de $W$, se logra una mejora sustancial en la regularidad con una caída mínima en la precisión de detección.
  • El umbral $T$ es crítico; valores demasiado bajos (ej. $T=6$) pueden sobre-restringir el modelo y degradar el rendimiento, mientras que valores moderados (ej. $T=9, 10, 12$) ofrecen el mejor equilibrio.
• Resultados Cualitativos:
  • Corrección de Perspectiva: El modelo corrige desalineaciones causadas por la perspectiva, alineando ventanas que el modelo base o la verdad fundamental (Ground Truth) tenían desviadas.
  • Reconstrucción de Oclusiones: Capaz de inferir y reconstruir ventanas parcialmente u ocultas (ej. por árboles o balcones) manteniendo la coherencia de la cuadrícula, algo que los detectores estándar fallan en hacer consistentemente.
  • Consistencia de Tamaño: Estima tamaños de ventanas más consistentes en comparación con el modelo base, incluso cuando la verdad fundamental tiene errores o omisiones.

5. Significado y Limitaciones

• Significado: Este trabajo demuestra que es posible mejorar la utilidad de los detectores de objetos para tareas de modelado arquitectónico mediante la inyección de priors geométricos durante el entrenamiento. Proporciona una entrada más limpia y estructurada para pipelines de modelado procedural inverso, facilitando la creación de gemelos digitales y modelos CAD precisos.
• Limitaciones:
  • Compensación Inevitable: Aumentar la regularidad puede degradar la precisión de detección si se prioriza la alineación sobre la evidencia de píxeles.
  • Restricciones de Forma: La pérdida penaliza las discrepancias de bordes, lo que puede llevar a estiramientos o encogimientos no deseados en fachadas con tipos de ventanas mixtos en la misma fila/columna.
  • Dependencia de Detecciones Iniciales: El método requiere que el detector encuentre al menos dos elementos para formar un par; no puede recuperar estructuras en regiones donde el detector no propone candidatos (occlusiones severas).
  • Dependencia de Resolución: El parámetro $T$ se define en píxeles absolutos, lo que hace que el rendimiento dependa de la resolución de la imagen.

En conclusión, el método ofrece un mecanismo ligero y eficiente para producir detecciones de fachadas más consistentes con la cuadrícula, optimizando el flujo de trabajo desde la imagen imperfecta hasta la reconstrucción procedural.