Resumo Técnico: WireframeDETR para S23DR 2026

Definição do Problema

O desafio S23DR 2026 foca na reconstrução de wireframe de edifícios em 3D a partir de nuvens de pontos COLMAP esparsas e multi-visão. Os dados de entrada incluem cores RGB por ponto, mapas de segmentação semântica Gestalt (73 classes) e ADE20K (107 classes), além de estimativas de profundidade monocromática. O objetivo é prever um conjunto de vértices 3D e arestas conectoras que representam a estrutura do telhado do edifício.

O desempenho é avaliado usando o Hybrid Structure Score (HSS), definido como a média harmônica do F1 de vértices e do IoU volumétrico de arestas:
$$\text{HSS} = \text{média harmônica}(\text{F1}(v_{gt}, \hat{v}), \text{IoU}(e_{gt}, \hat{e}))$$

Os principais desafios identificados incluem a esparsidade das reconstruções COLMAP em superfícies sem textura, a inconsistência dos parâmetros de câmera causando desalinhamento entre pose e anotação, e a dificuldade de fundir nuvens de pontos 3D com rótulos semânticos 2D.

Metodologia: WireframeDETR

Os autores propõem o WireframeDETR, um modelo end-to-end que reformula a predição de wireframe como um problema direto de predição de conjunto (set prediction) sobre nuvens de pontos 3D, eliminando estágios intermediários de detecção de vértices e o NMS (Non-Maximum Suppression) pós-hoc.

Visão Geral da Arquitetura

O modelo processa um conjunto não ordenado de $N$ pontos 3D (amostrados da nuvem de pontos) através de um pipeline baseado em Transformer:

1. Processamento de Entrada: Características RGB 3D são projetadas para uma dimensão de embedding $d=384$. Codificações posicionais 3D senoidais são adicionadas a cada token.
2. Encoder: Um encoder Transformer de 4 camadas processa os tokens.
3. Memória Multi-Escala: Em vez de passar apenas a saída da última camada, o modelo agrega as últimas $K=3$ saídas das camadas do encoder usando pesos escalares aprendidos. Isso permite que o decoder acesse tanto a geometria local quanto características estruturais abstratas.
4. Decoder: Um decoder Transformer de 5 camadas utiliza $Q=128$ queries de aresta aprendidas. Cada query prevê um par de coordenadas 6D $(x_1, y_1, z_1, x_2, y_2, z_2)$ representando uma aresta.
5. Cabeça (Head): Cabeças separadas de classificação e regressão de coordenadas produzem o conjunto de arestas final.

Principais Contribuições Técnicas

O artigo identifica três inovações técnicas específicas que estabilizam o treinamento e melhoram o desempenho:

1. Treinamento de Denoising Contrastivo (CDN):
   Abordando a instabilidade do emparelhamento de Hungarian nas fases iniciais do treinamento (onde as queries podem ser pareadas com diferentes alvos de ground-truth em diferentes iterações), os autores adaptam a abordagem CDN do DN-DETR.

   • Mecanismo: Para cada aresta de ground-truth, o modelo gera queries de denoising positivas (coordenadas GT perturbadas) e queries negativas (background).
   • Restrição: Uma máscara de atenção garante que as queries de denoising e as queries aprendidas atendam apenas dentro de seus próprios grupos, mantendo os caminhos de gradiente independentes.
   • Efeito: Isso fornece um sinal de gradiente limpo desde a época 0, estabilizando a convergência.

2. Agregação de Encoder Multi-Escala:
   O modelo computa uma soma ponderada aprendida das últimas três saídas das camadas do encoder ($H_{L-2}, H_{L-1}, H_L$). Isso permite que o decoder aproveite representações intermediárias que capturam detalhes geométricos locais junto com características estruturais de alto nível, com overhead de parâmetros mínimo.

3. Pesagem Auxiliar Progressiva de Perda:
   Saídas auxiliares são geradas a partir de camadas intermediárias do decoder. Os autores observam que a qualidade da predição melhora conforme a profundidade do decoder aumenta. Consequentemente, eles aplicam um peso que aumenta linearmente para as perdas auxiliares ($w_{aux}$), variando de 0,6 para a primeira camada auxiliar até 1,0 para a penúltima camada. Isso concentra os sinais de gradiente nas camadas que mais se beneficiam da supervisão.

Dados e Estratégia de Treinamento

• Amostragem Guiada por Gestalt: Pontos são amostrados com base na importância estrutural. Classes de vértices (ex: ápice, beiral) são ponderadas em 100x, classes de arestas em 10x e background em 1x. Isso concentra as amostras próximas a características estruturais sem codificar rótulos semânticos diretamente nas características do modelo.
• Normalização de Coordenadas: As coordenadas são normalizadas para $[0, 1]^3$ por cena usando o intervalo de percentil 5–95%.
• Configuração de Treinamento: Treinado por 200 épocas em uma única GPU NVIDIA A100 usando AdamW com um cronograma de taxa de aprendimento de ciclo único (one-cycle). O clipping de gradiente ($\ell_2$ norm < 0.1) é usado para estabilizar o treinamento de CDN.
• Inferência: As arestas preditas são filtradas pelo score de classificação (>0.9). Vértices são desduplicados através da fusão de pontos dentro de 0.5m. Aumentos de tempo de teste (4 rotações no eixo Y) estão disponíveis, mas desativados por padrão na submissão.

Resultados Experimentais

O modelo foi avaliado no dataset S23DR 2026 (aprox. 22.000 cenas).

• Desempenho: O WireframeDETR alcançou um HSS de teste público de 0.575 (Vértice F1 = 0.664, Edge IoU = 0.516). No split de validação limpo, alcançou um melhor HSS de 0.534.

• Comparação:

  • Superou o baseline oficial Perceiver (HSS 0.350) e o baseline manual (HSS 0.391).
  • Superou significativamente um pipeline PointNet de dois estágios (Caminho B), que teve dificuldades com a precisão das arestas (F1 = 0.289) apesar do alto recall de vértices.
  • O Caminho A (fine-tuning do Perceiver) resultou em esquecimento catastrófico, derrubando o HSS para abaixo de 0.26.

• Dinâmica de Treinamento: A perda de coordenadas do CDN diminuiu de forma constante de ~2.07 para ~1.25 nas primeiras 15 épocas, confirmando que o caminho de denoising converge de forma confiável e fornece gradientes mais limpos do que o emparelhamento de Hungarian padrão.

Significância e Alegações

O artigo afirma que o WireframeDETR demonstra com sucesso que a predição de conjuntos no estilo DETR pode ser aplicada diretamente a nuvens de pontos 3D esparsas para reconstrução de geometria estruturada, evitando a necessidade de propagação de erro em cascata encontrada em pipelines de dois estágios.

Os autores enfatizam que sua abordagem lida com wireframes de cardinalidade variável sem NMS pós-hoc e estabiliza o treinamento na presença de emparelhamento ruidoso via denoising contrastivo. Embora o método seja aproximadamente duas vezes mais lento para treinar do que o baseline Perceiver (devido a comprimentos de sequência variáveis que impedem o torch.compile), o ganho substancial em HSS valida o paradigma de predição de conjunto end-to-end para wireframes de edifícios externos.

O trabalho baseia-se no sucesso do RoomFormer [11] em plantas de interiores, estendendo o paradigma para o domínio mais complexo e esparso de telhados de edifícios externos. Os autores observam que trabalhos futuros poderiam explorar a predição conjunta de vértices e arestas com perdas de vértice contrastivas e fusão de vértices guiada por características.