Resumen Técnico: WireframeDETR para S23DR 2026

Definición del Problema

El desafío S23DR 2026 se centra en la reconstrucción de esqueletos (wireframe) de edificios en 3D a partir de nubes de puntos COLMAP dispersas y multivista. Los datos de entrada incluyen colores RGB por punto, mapas de segmentación semántica Gestalt (73 clases) y ADE20K (107 clases), además de estimaciones de profundidad monocular. El objetivo es predecir un conjunto de vértices 3D y aristas que conectan la estructura del tejado del edificio.

El rendimiento se evalúa mediante la Puntuación de Estructura Híbrida (HSS), definida como la media armónica de la F1 de vértices y el IoU volumétrico de las aristas:
$$\text{HSS} = \text{media armónica}(\text{F1}(v_{gt}, \hat{v}), \text{IoU}(e_{gt}, \hat{e}))$$

Los desafíos clave identificados incluyen la escasez de las reconstrucciones de COLMAP en superficies sin textura, la inconsistencia de los parámetros de cámara que causa desalineación entre la pose y la anotación, y la dificultad de fusionar nubes de puntos 3D con etiquetas semánticas 2D.

Metodología: WireframeDETR

Los autores proponen WireframeDETR, un modelo de extremo a extremo que reformula la predicción de esqueletos como un problema directo de predicción de conjuntos sobre nubes de puntos 3D, eliminando las etapas intermedias de detección de vértices y el post-procesamiento de Supresión de No Máximos (NMS).

Descripción de la Arquitectura

El modelo procesa un conjunto desordenado de $N$ puntos 3D (muestreados de la nube de puntos) a través de un flujo de trabajo basado en Transformers:

1. Procesamiento de Entrada: Las características RGB 3D se proyectan a una dimensión de incrustación $d=384$. Se añaden codificaciones posicionales 3D sinusoidales a cada token.
2. Codificador (Encoder): Un codificador Transformer de 4 capas procesa los tokens.
3. Memoria Multiescala: En lugar de pasar solo la salida de la última capa, el modelo agrega las últimas $K=3$ salidas de las capas del codificador utilizando pesos escalares aprendidos. Esto permite al decodificador acceder tanto a la geometría local como a las características estructurales abstractas.
4. Decodificador (Decoder): Un decodificador Transformer de 5 capas utiliza $Q=128$ consultas de aristas aprendidas. Cada consulta predice un par de coordenadas 6D $(x_1, y_1, z_1, x_2, y_2, z_2)$ que representa una arista.
5. Cabezal (Head): Cabezales separados de clasificación y regresión de coordenadas emiten el conjunto de aristas final.

Principales Contribuciones Técnicas

El artículo identifica tres innovaciones técnicas específicas que estabilizan el entrenamiento y mejoran el rendimiento:

1. Entrenamiento de Denoisado Contrastivo (CDN):
   Para abordar la inestabilidad del emparejamiento húngaro en las primeras épocas de entrenamiento (donde las consultas pueden emparejarse con diferentes objetivos de verdad de campo a lo largo de las iteraciones), los autores adaptan el enfoque CDN de DN-DETR.

   • Mecanismo: Para cada arista de verdad de campo (ground-truth), el modelo genera consultas de denoisado positivas (coordenadas de GT perturbadas) y consultas negativas (fondo).
   • Restricción: Una máscara de atención asegura que las consultas de denoisado y las consultas aprendidas atiendan solo dentro de sus propios grupos, manteniendo independientes las rutas de gradiente.
   • Efecto: Esto proporciona una señal de gradiente limpia desde la época 0, estabilizando la convergencia.

2. Agregación de Codificador Multiescala:
   El modelo calcula una suma ponderada aprendida de las últimas tres salidas de las capas del codificador ($H_{L-2}, H_{L-1}, H_L$). Esto permite al decodificador aprovechar representaciones intermedias que capturan detalles geométricos locales junto con características estructurales de alto nivel, con un gasto mínimo de parámetros.

3. Ponderación Auxiliar Progresiva de Pérdida:
   Se generan salidas auxiliares a partir de las capas intermedias del decodificador. Los autores observan que la calidad de la predicción mejora a medida que aumenta la profundidad del decodificador. Por consiguiente, aplican un peso que aumenta linealmente a las pérdidas auxiliares ($w_{aux}$), variando de 0.6 para la primera capa auxiliar a 1.0 para la penúltima capa. Esto concentra las señales de gradiente en las capas que más se benefician de la supervisión.

Datos y Estrategia de Entrenamiento

• Muestreo Guiado por Gestalt: Los puntos se muestrean basándose en su importancia estructural. Las clases de vértices (ej. ápice, alero) tienen un peso de 100x, las clases de aristas 10x y el fondo 1x. Esto concentra las muestras cerca de las características estructurales sin codificar directamente las etiquetas semánticas en las características del modelo.
• Normalización de Coordenadas: Las coordenadas se normalizan al rango $[0, 1]^3$ por escena utilizando el rango de percentiles 5–95%.
• Configuración de Entrenamiento: Entrenado durante 200 épocas en una única GPU NVIDIA A100 usando AdamW con un esquema de tasa de aprendizaje de un ciclo (one-cycle). Se utiliza recorte de gradiente ($\ell_2$ norm < 0.1) para estabilizar el entrenamiento de CDN.
• Inferencia: Las aristas predichas se filtran por puntuación de clasificación (>0.9). Los vértices se desduplican fusionando puntos dentro de un radio de 0.5 m. El aumento de datos en tiempo de prueba (4 rotaciones en el eje Y) está disponible pero desactivado por defecto en la entrega.

Resultados Experimentales

El modelo fue evaluado en el conjunto de datos S23DR 2026 (aprox. 22,000 escenas).

• Rendimiento: WireframeDETR logró un HSS de prueba público de 0.575 (F1 de Vértice = 0.664, IoU de Arista = 0.516). En el conjunto de validación limpio, alcanzó un HSS óptimo de 0.534.

• Comparación:

  • Superó al baseline oficial Perceiver (HSS 0.350) y al baseline artesanal (HSS 0.391).
  • Superó significativamente a un pipeline de dos etapas de PointNet (Path B), que tuvo dificultades con la precisión de las aristas (F1 = 0.289) a pesar de tener un alto recall de vértices.
  • Path A (ajuste fino de Perceiver) resultó en un olvido catastrófico, reduciendo el HSS por debajo de 0.26.

• Dinámica de Entrenamiento: La pérdida de coordenadas de CDN disminuyó de forma constante de ~2.07 a ~1.25 durante las primeras 15 épocas, confirmando que la ruta de denoisado converge de manera fiable y proporciona gradientes más limpios que el emparejamiento húngaro estándar.

Significado y Reivindicaciones

El artículo afirma que WireframeDETR demuestra con éxito que la predicción de conjuntos estilo DETR puede aplicarse directamente a nubes de puntos 3D dispersas para la reconstrucción de geometrías estructuradas, evitando la necesidad de procesos en cascada de propagación de errores presentes en los pipelines de dos etapas.

Los autores enfatizan que su enfoque maneja esqueletos de cardinalidad variable sin NMS post-hoc y estabiliza el entrenamiento ante emparejamientos ruidosos mediante el denoisado contrastivo. Aunque el método es aproximadamente el doble de lento de entrenar que el baseline Perceiver (debido a que las longitudes de secuencia variables impiden el uso de torch.compile), la ganancia sustancial en HSS valida el paradigma de predicción de conjuntos de extremo a extremo para esqueletos de edificios exteriores.

El trabajo se basa en el éxito de RoomFormer [11] en plantas de interiores, extendiendo el paradigma al dominio más complejo y disperso de los tejados de edificios exteriores. Los autores señalan que trabajos futuros podrían explorar la predicción conjunta de vértices y aristas con pérdidas de vértices contrastivas y fusión de vértices guiada por características.