Beyond Segmentation: Structurally Informed Facade Parsing from Imperfect Images

1. O Problema

A reconstrução da estrutura de fachadas arquitetônicas a partir de uma única imagem é fundamental para modelagem urbana, gêmeos digitais e fluxos de trabalho de CAD. Embora métodos recentes de modelagem procedural inversa (como o FaçAID) possam converter segmentações em programas editáveis, eles enfrentam um gargalo crítico: a incoerência estrutural das detecções de entrada.

Detectores modernos de objetos (ex: YOLOv8, Mask R-CNN) são otimizados para pistas de aparência local e tratam elementos arquitetônicos (janelas, portas) de forma independente. Isso resulta em saídas visualmente plausíveis, mas estruturalmente inconsistentes, caracterizadas por:

• "Jitter" (tremulação) de limites em elementos repetidos.
• Lacunas sob oclusão.
• Desvios sistemáticos devido a distorções de perspectiva ou efeitos de relevo (ex: varandas).

Essas inconsistências forçam os modelos de reconstrução downstream a absorver ruído, aumentando a ambiguidade e a complexidade da estrutura inferida.

2. Metodologia

Os autores propõem uma solução no nível do detector, modificando o processo de treinamento sem alterar o pipeline de inferência padrão.

• Base: O método utiliza o YOLOv8, um detector de objetos de estágio único anchor-free.
• Nova Função de Perda (Loss): Além das funções de perda padrão do YOLOv8 (CIoU, BCE e DFL), os autores introduzem um termo de regularização de alinhamento em pares (pairwise alignment regularizer).
• Mecanismo de Funcionamento:
  • O termo de perda opera nas caixas delimitadoras positivas selecionadas pelo assigner do YOLO durante o treinamento.
  • Identifica pares de caixas da mesma classe que não se sobrepõem e cujas coordenadas (início e fim) estão dentro de um limiar de distância $T$ (em pixels).
  • Calcula uma penalidade baseada na diferença absoluta entre as coordenadas desses pares, incentivando-os a alinhar-se a uma grade comum (eixo X e Y).
  • A perda total de alinhamento é somada à perda base do YOLO, ponderada por um hiperparâmetro $W$.
• Objetivo: Injetar priors geométricos (regularidade de grade) durante o treinamento para corrigir erros causados por imperfeições da imagem, mantendo a inferência inalterada.

3. Principais Contribuições

1. Objetivo de Treinamento Específico para Fachadas: Uma função de perda que injeta regularidade geométrica específica para fachadas nas previsões de caixas delimitadoras através de um termo de alinhamento em pares.
2. Integração Transparente: A metodologia integra-se ao pipeline de treinamento padrão do YOLOv8, preservando o procedimento de inferência original (sem necessidade de pós-processamento complexo).
3. Controle de Trade-off: A introdução de um parâmetro de peso ($W$) que permite aos usuários controlar o equilíbrio entre a precisão da detecção (mAP) e a regularidade estrutural.

4. Resultados e Avaliação

Os experimentos foram realizados no conjunto de dados CMP (689 imagens de fachadas).

• Métricas de Avaliação:
  • mAP@0.5: Precisão padrão de detecção.
  • Regularidade baseada em SVD: Uma métrica proposta por trabalhos anteriores que mede a coerência estrutural. Uma fachada altamente regular pode ser aproximada por poucos componentes de valor singular (baixo rank). Quanto menor a pontuação de erro (MSE) na aproximação de rank-$k$, maior a regularidade.
• Resultados Quantitativos:
  • A adição do termo de perda reduz significativamente a métrica baseada em SVD, indicando maior regularidade estrutural.
  • Existe um trade-off controlável: valores moderados de $W$ melhoram drasticamente a regularidade com uma queda mínima no mAP.
  • Valores extremos de $W$ ou limiares de distância $T$ muito pequenos podem levar a uma queda acentuada no mAP ou a super-constrição (perda de detecções válidas).
• Resultados Qualitativos:
  • O modelo corrigiu alinhamentos distorcidos por perspectiva, alinhou janelas que estavam deslocadas e recuperou parcialmente janelas ocluídas por árvores ou varandas.
  • O modelo foi capaz de inferir tamanhos consistentes para elementos parcialmente obstruídos, onde o baseline e as anotações do conjunto de dados falhavam.

5. Significado e Limitações

Significado:
O trabalho demonstra que é possível melhorar a qualidade estrutural de detecções para modelagem procedural sem sacrificar a eficiência do runtime. Ao corrigir a entrada "suja" (com ruído de perspectiva/oclusão) antes de ela chegar ao modelador procedural, o sistema downstream torna-se mais robusto e capaz de gerar programas procedurais mais limpos e editáveis.

Limitações:

• Trade-off Inerente: Aumentar a regularidade pode degradar a precisão de detecção (mAP), especialmente se o modelo priorizar o alinhamento em detrimento de evidências de pixels.
• Dependência de Pares: O método requer que pelo menos dois elementos sejam detectados para formar um par de alinhamento; elementos únicos ou muito esparsos não se beneficiam.
• Oclusão Severa: Se o detector falhar em propor candidatos em uma região ocluída, a perda de alinhamento não pode recuperar a estrutura faltante.
• Resolução: O parâmetro de limiar $T$ é definido em pixels absolutos, tornando o desempenho dependente da resolução da imagem.

Em conclusão, o artigo oferece uma estratégia de regularização leve e eficaz para produzir detecções de fachadas consistentes com uma grade, facilitando a reconstrução procedural inversa a partir de imagens imperfeitas.