기술 요약: ProjFormer

문제 정의

포인트 클라우드 완성(Point cloud completion)은 부분적인 관측의 심각한 희소성과 모호성으로 인해 본질적으로 부적정 문제(ill-posed task)입니다. 최근의 다중 뷰(multi-view) 방법들은 2D 시맨틱을 통합하여 이를 완화하려고 시도하지만, 명시적인 기하학적 일관성과 적응성이 부족한 학습된 어텐션 메커니즘 및 고정된 융합 전략에 의존하는 경우가 많습니다. 기존 방식들은 세 가지 주요 한계점에 직면해 있습니다:

1. 국소적 대응 관계의 결측: 좌표 일관성이 있는 표현(예: Canonical Coordinate Maps)을 사용하더라도, 표현 수준의 일관성이 명시적인 점-픽셀(point-to-pixel) 대응을 보장하지는 않습니다. 이는 관측된 3D 포인트와 다중 뷰 특징 사이의 공간적 정렬을 약화시킵니다.
2. 계산 비효율성: 미세한 점-뷰(point-to-view) 연관성을 위한 밀집 어텐션(Dense attention) 메커니즘은 뷰의 개수와 공간 토큰의 수에 따라 확장성이 떨어지며, 학습된 가중치는 알려진 투영 기하학을 명시적으로 인코딩하지 못합니다.
3. 최적화되지 않은 융합: 이종 특징(구조적 사전 정보, 국소 기하, 뷰 조건부 단서)은 일반적으로 연결(concatenation)이나 학습된 어텐션을 통해 융합되는데, 이는 특히 결손 정도가 다양한 영역에서 구조적 사전 정보와 관측 기반 특징 사이의 균형을 점 단위(point-wise)로 명시적으로 조절하는 데 실패합니다.

방법론

저자들은 명시적인 투영과 적응형 특징 라우팅을 통해 기하학적으로 일관된 2D–3D 상호작용을 강제하는 교차 모달 프레임워크인 ProjFormer를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. Canonical Coordinate Maps (CCMs)

GeoFormer를 계승하여, ProjFormer는 부분적인 3D 기하 구조를 다중 뷰 맵으로 인코딩합니다. 포인트들은 정규화된 정준 좌표계(canonical coordinate system)로 변환된 후 미리 정의된 시점(viewpoints)으로 투영됩니다. 이 과정은 메트릭 좌표 정보를 보존하면서 성숙한 2D 인코더를 사용할 수 있도록 하는 CCM을 생성합니다.

2. Projective Guided View Attention (PGVA)

국소적 대응 관계의 결측과 계산 비효율성을 해결하기 위해, ProjFormer는 PGVA를 도입합니다. 표준 크로스 어텐션과 달리, PGVA는 **결정론적 투영(deterministic projection)**을 사용하여 3D 포인트를 다중 뷰 특징과 정렬합니다.

• 메커니즘: 각 관측된 3D 포인트에 대해, 이 모듈은 여러 CCM 뷰로 투영되어 해당 래스터 위치(raster locations)에서의 국소 특징을 검색합니다.
• 기하학 인식 가중치 부여: 이 모듈은 깊이 게이팅(depth-gated) 어텐션 메커니즘을 채택합니다. 어텐션 가중치는 투영된 포인트의 정준 좌표와 집계된 CCM 좌표 사이의 일관성, 그리고 정규화된 깊이 사전 정보에 의해 조절됩니다. 이를 통해 기하학적으로 신뢰할 수 있는 관측값만이 특징 집계에 유의미하게 기여하도록 보장합니다.
• 복잡도: 이 접근 방식은 다중 뷰 특징 집계의 복잡도를 $O(V \cdot N \cdot HW)$ (밀집 어텐션)에서 $O(V \cdot N)$으로 줄입니다 (여기서 $N$은 관측된 포인트의 수, $V$는 뷰의 수).

3. Geometry-Aware Routing Refinement

이종 특징의 통합을 처리하기 위해, 저자들은 **점 단위 적응형 라우팅(point-wise adaptive routing)**을 수행하는 점진적 정밀화 모듈을 제안합니다.

• 특징 분해: 이 모듈은 입력을 세 가지 경로로 분리합니다:
  1. 구조적 경로 (Structural Pathway): 셀프 어텐션을 통해 전역적 의존성을 포착합니다.
  2. 국소 기하 경로 (Local Geometric Pathway): 크로스 어텐션을 통해 부분 입력으로부터 미세한 디테일을 보존합니다.
  3. 이미지 가이드 경로 (Image Guidance Pathway): PGVA에 의해 생성된 점-정렬 이미지 토큰을 활용합니다.
• 적응형 게이팅: 학습 가능한 게이트가 구조적 경로와 관측 조건부 경로(국소 및 이미지 특징의 조합) 사이의 균형을 동적으로 조절합니다. 이를 통해 모델은 심하게 결손된 영역에서는 구조적 사전 정보에 더 의존하고, 잘 관측된 영역에서는 관측 기반 특징을 강조할 수 있습니다.
• 점진적 정밀화: 융합된 특징들은 계단식(cascaded) 방식으로 잔차 좌표 오프셋(residual coordinate offsets)으로 디코딩되어, 거친 토폴로지와 미세한 기하 구조를 점진적으로 복구합니다.

주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

1. ProjFormer 프레임워크: 외부 RGB 이미지를 필요로 하지 않고 국소적인 점-뷰 정렬을 개선하기 위해 명시적인 2D–3D 투영을 활용하는 기하학 인식 프레임워크입니다.
2. PGVA 모듈: 결정론적 투영과 깊이 게이팅 가중치를 사용하여 $O(VN)$ 복잡도로 점-정렬 뷰 집계를 달성하는 새로운 어텐션 메커니즘입니다.
3. Routing Refinement: 사전 정보 기반의 구조적 완성(structural completion)과 관측 조건부 기하 정밀화(geometric refinement) 사이에서 점 단위 적응형 라우팅을 수행하는 기하 인식 라우팅 정밀화 모듈입니다.
4. 성능 및 효율성: 기존의 교차 모달 방법들에 비해 현저히 낮은 추론 지연 시간을 유지하면서도 경쟁력 있는 정확도를 보여주는 광범리한 실험 결과입니다.

실험 결과

저자들은 PCN, ShapeNet-55/34, KITTI 데이터셋에서 ProjFormer를 평가했습니다.

• PCN 데이터셋: ProjFormer는 평균 Chamfer Distance ($CD_{L1}$) 6.34를 달성하여, GeoFormer (6.42) 및 SVDFormer (6.55)와 같은 최신 기술(SOTA) 모델들을 능가했습니다. 또한, 2D 이미지를 렌더링하는 오버헤드를 고려하더라도 GeoFormer (26.37 ms) 대비 약 40% 감소된 추론 지연 시간(15.85 ms)을 보여주었습니다.
• ShapeNet-55/34: 단순(simple), 보통(moderate), 어려움(hard) 난이도 수준을 포함한 모든 카테고리(seen 및 unseen)에서 가장 낮은 $CD_{L2}$ 점수를 기록했습니다.
• KITTI (실세계): 실제 정답(ground truth)을 사용할 수 없으므로 현실성을 나타내는 지표로 Minimum Matching Distance (MMD)를 사용했을 때, ProjFormer는 가장 낮은 MMD (0.48)를 달-성하여 예측값이 실제 자동차 기하 구조의 매니폴드에 더 가깝음을 입증했습니다.
• Ablation Studies: CCM, 점-정렬 토큰, 깊이 게이팅 또는 PGVA 모듈을 개별적으로 제거했을 때 성능 저하가 발생하였으며, 이는 각 구성 요소의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 ProjFormer를 다중 모달 포인트 클라우드 완성에서 기하학적 일관성과 계산 효율성 사이의 간극을 메우는 솔루션으로 포지셔닝합니다. 저자들은 명시적 기하 투영과 적응형 라우팅을 통해 다음과 같은 성과를 달성했다고 주장합니다:

• 개선된 구조적 완전성: 전역 융합 방식에 비해 아티팩트가 적고 토폴로지적 정확도가 높습니다.
• 효율성: 경쟁력 있는 정확도를 유지하면서 추론 지연 시간을 크게 낮추는 경량 설계입니다.
• 해석 가능성: 결정론적 투영의 사용은 학습된 어텐션 가중치가 갖지 못한 기하학적 해석 가능성을 제공합니다.

이 연구는 특히 외부 RGB 데이터가 없고 자가 뷰(self-view) 완성이 필요한 시나리오에서, 더 효율적이고 기하학적으로 근거가 있는 3D 재구성을 향한 단계로 제시됩니다.