기술 요약: S23DR 2026을 위한 WireframeDETR

문제 정의

S23DR 2026 챌린지는 희소한 멀티뷰 COLMAP 포인트 클라우드로부터 3D 건물 와이어프레임 재구성에 초점을 맞춥니다. 입력 데이터에는 포인트별 RGB 색상, Gestalt(73개 클래스) 및 ADE20K(107개 클래스) 시맨틱 세그멘테이션 맵, 그리고 단안 깊이(monocular depth) 추정치가 포함됩니다. 목표는 건물의 지붕 구조를 나타내는 3D 정점(vertex) 집합과 이를 연결하는 에지(edge)를 예측하는 것입니다.

성능은 정점 F1 점수와 에지 체적 IoU의 조화 평균으로 정의되는 **하이브리드 구조 점수(HSS)**를 사용하여 평가됩니다:
$$\text{HSS} = \text{harmonic mean}(\text{F1}(v_{gt}, \hat{v}), \text{IoU}(e_{gt}, \hat{e}))$$

확인된 주요 과제로는 질감이 없는 표면에서의 COLMAP 재구성의 희소성, 카메라 파라미터 불일치로 인한 포즈-어노테이션 정렬 오류, 그리고 3D 포인트 클라우드와 2D 시맨틱 레이블 간의 융합 난이도 등이 있습니다.

방법론: WireframeDETR

저자들은 WireframeDETR을 제안하며, 이는 와이어프레임 예측을 3D 포인트 클라우드 상의 직접적인 집합 예측(set prediction) 문제로 재정의하여, 중간 정점 탐지 단계와 사후 비최대 억제(NMS) 과정을 제거한 엔드 투 엔드(end-to-end) 모델입니다.

아키텍처 개요

이 모델은 (포인트 클라우드에서 샘플링된) $N$개의 순서 없는 3D 포인트 집합을 트랜스포머 기반 파이프라인을 통해 처리합니다:

1. 입력 처리: 3D RGB 특징을 임베딩 차원 $d=384$로 투영합니다. 각 토큰에는 사인 함수 기반(sinusoidal) 3D 위치 인코딩이 추가됩니다.
2. 인코더: 4계층 트랜스포머 인코더가 토큰을 처리합니다.
3. 멀티 스케일 메모리: 마지막 레이어의 출력만을 전달하는 대신, 모델은 학습된 스칼라 가중치를 사용하여 마지막 $K=3$개 인코더 레이어의 출력을 결합합니다. 이를 통해 디코더는 국부적 기하 구조와 추상적 구조 특징 모두에 접근할 수 있습니다.
4. 디코더: 5계층 트랜스포머 디코더는 $Q=128$개의 학습된 에지 쿼리(edge queries)를 사용합니다. 각 쿼리는 에지를 나타내는 6차원 좌표 쌍 $(x_1, y_1, z_1, x_2, y_2, z_2)$를 예측합니다.
5. 헤드(Head): 별도의 분류 및 좌표 회귀 헤드가 최종 에지 집합을 출력합니다.

핵심 기술적 기여

논문은 훈련을 안정화하고 성능을 향상시키는 세 가지 구체적인 기술적 혁신을 식별했습니다:

1. 대조적 디노이징(Contrastive Denoising, CDN) 훈련:
   초기 훈련 에포크에서 쿼리가 반복 시마다 서로 다른 정답(GT) 타겟에 매칭될 수 있는 헝가리안 매칭(Hungarian matching)의 불안정성을 해결하기 위해, 저자들은 DN-DETR의 CDN 방식을 채택했습니다.

   • 메커니즘: 각 정답 에지에 대해 모델은 양의 디노이징 쿼리(섭동이 가해진 GT 좌표)와 음의 쿼리(배경)를 생성합니다.
   • 제약 조건: 어텐션 마스크는 디노이징 쿼리와 학습된 쿼리가 각각 자신의 그룹 내에서만 어텐션을 수행하도록 하여 그래디언트 경로를 독립적으로 유지합니다.
   • 효과: 이는 에포크 0부터 깨끗한 그래디언트 신호를 제공하여 수렴을 안정화합니다.

2. 멀티 스케일 인코더 집계:
   모델은 마지막 3개 인코더 레이어 출력($H_{L-2}, H_{L-1}, H_L$)의 학습된 가중 합을 계산합니다. 이를 통해 디코더는 최소한의 파라미터 오버헤드로 고수준의 구조적 특징과 함께 국부적인 기하학적 세부 사항을 포착하는 중간 표현을 활용할 수 있습니다.

3. 점진적 보조 손실 가중치 적용(Progressive Auxiliary Loss Weighting):
   중간 디코더 레이어로부터 보조 출력들이 생성됩니다. 저자들은 디코더 깊이가 깊어질수록 예측 품질이 향mathcal진다는 점을 관찰했습니다. 따라서 첫 번째 보조 레이어의 0.6부터 마지막 전 레이어의 1.0까지 선형적으로 증가하는 가중치($w_{aux}$)를 보조 손실에 적용합니다. 이는 감독(supervision)으로부터 가장 많은 이득을 얻는 레이어에 그래디언트 신호를 집중시킵니다.

데이터 및 훈련 전략

• Gestalt 유도 샘플링: 구조적 중요도에 따라 포인트가 샘플링됩니다. 정점 클래스(예: 꼭짓점, 처마)는 100배, 에지 클래스는 10배, 배경은 1배의 가중치를 가집니다. 이는 시맨틱 레이블을 모델 특징에 직접 인코딩하지 않고도 구조적 특징 근처에 샘플을 집중시킵니다.
• 좌표 정규화: 5~95% 백분위 범위를 사용하여 씬(scene)당 좌표를 $[0, 1]^3$로 정규화합니다.
• 훈련 설정: 단일 NVIDIA A100 GPU에서 AdamW와 원 사이클(one-cycle) 학습률 스케줄을 사용하여 200 에포크 동안 훈련되었습니다. CDN 훈련을 안정화하기 위해 그래디언트 클리핑($\ell_2$ norm < 0.1)이 사용되었습니다.
• 추론: 예측된 에지는 분류 점수(>0.9)에 의해 필터링됩니다. 정점은 0.5m 이내의 포인트를 병합하여 중복을 제거합니다. 테스트 타임 증강(4회 Y축 회전)이 가능하지만 제출 시에는 기본적으로 비활성화됩니다.

실험 결과

모델은 S23DR 2026 데이터셋(약 22,000개 씬)에 대해 평가되었습니다.

• 성능: WireframeDETR은 공개 테스트 HSS 0.575(Vertex F1 = 0.664, Edge IoU = 0.516)를 달성했습니다. 정제된 검증 세트에서는 최고 HSS 0.534를 기록했습니다.

• 비교:

  • 공식 Perceiver 베이스라인(HSS 0.350)과 수작업 베이스라인(HSS 0.391)을 능가했습니다.
  • 높은 정점 재현율(recall)에도 불구하고 에지 정밀도(F1 = 0.289)에서 어려움을 겪은 2단계 PointNet 파이프라인(Path B)을 크게 앞질렀습니다.
  • Path A(Perceiver 미세 조정)는 HSS가 0.26 미만으로 떨어지는 치명적 망각(catastrophic forgetting) 현상을 보였습니다.

• 훈련 역학: CDN 좌표 손실이 첫 15 에포크 동안 약 2.07에서 1.25로 꾸준히 감소하였으며, 이는 디노이징 경로가 안정적으로 수렴하고 표준 헝가리안 매칭보다 더 깨끗한 그래디언트를 제공함을 확인시켜 줍니다.

의의 및 주장

본 논문은 WireframeDETR이 2단계 파이프라인에서 발견되는 계단식 오류 전파를 우회하여, 희소한 3D 포인트 클라우드에 DETR 방식의 집합 예측을 직접 적용할 수 있음을 성공적으로 입증했다고 주장합니다.

저자들은 이 방식이 사후 NMS 없이 가변 카디널리티(variable-cardinality) 와이어프레임을 처리하며, 대조적 디노이징을 통해 노이즈가 있는 매칭 상황에서도 훈련을 안정화한다고 강조합니다. 비록 이 방법이 torch.compile을 방해하는 가변 시퀀스 길이로 인해 Perceiver 베이스라인보다 훈련 속도가 약 2배 느리지만, 상당한 HSS 향상은 실외 건물 와이어프레임에 대한 엔드 투 엔드 집합 예측 패러다임의 유효성을 입증합니다.

이 연구는 실내 평면도에서의 RoomFormer [11]의 성공을 바탕으로, 이 패러다임을 더 복잡하고 희소한 영역인 실외 건물 지붕으로 확장한 것입니다. 저자들은 향후 연구에서 대조적 정점 손실과 특징 가이드 정점 병합을 결합한 공동 정점-에지 예측을 탐구할 수 있다고 언급했습니다.