Point-based Instance Completion with Scene Constraints

이 논문은 기존 방법의 한계를 극복하고 장면 내 객체의 불완전한 스캔을 정밀하게 복원하기 위해 장면 제약 조건을 통합한 새로운 포인트 클라우드 기반 인스턴스 완성 모델과 이를 평가하기 위한 새로운 데이터셋 ScanWCF 를 제안합니다.

핵심

이 논문은 **"반쯤 보이는 물건을 보고, 그 전체 모양을 완벽하게 상상해내는 AI"**에 대한 이야기입니다.

로봇이나 VR 기기가 세상을 볼 때, 카메라나 센서는 물체의 앞면만 보여줄 뿐, 뒤쪽이나 가려진 부분은 볼 수 없습니다. 마치 눈앞에 책상 한쪽 모서리만 보이고 나머지는 안개 속에 가려진 것처럼 말이죠. 기존 기술들은 이 '가려진 부분'을 채우는 데서 두 가지 큰 문제를 겪었습니다.

이 논문은 그 문제를 해결하기 위해 세 가지 핵심 아이디어를 제안합니다.

1. "정해진 자세"에서 벗어나게 하기 (자유로운 춤추기)

기존의 물건 완성 기술들은 마치 연극 배우가 무대 중앙에 딱 정해진 자세로 서 있어야만 연기를 할 수 있는 것처럼 작동했습니다. 물체가 비스듬히 기울어져 있거나 크기가 다르면 AI 가 당황해서 제대로 된 모양을 만들어내지 못했습니다.

하지만 이 새로운 기술은 어떤 자세로 있든, 어떤 크기든 상관없이 물체의 전체 모습을 상상할 수 있습니다. 마치 유연한 춤꾼처럼, 물체가 어떤 방향으로 기울어져 있든 그 흐름을 따라가며 "아, 이건 의자구나, 저 부분이 다리가 있겠구나"라고 자연스럽게 추론합니다.

2. "주변 환경"을 고려하기 (다른 사람과 부딪히지 않기)

기존 기술들은 물체 하나만 보고 채우다 보니, 주변의 다른 물건이나 벽과 부딪히는 엉뚱한 모양을 만들어내곤 했습니다. 예를 들어, 의자 다리를 채우는데 그 다리가 바로 옆에 있는 테이블을 뚫고 지나가거나, 벽을 관통하는 식이죠.

이 연구팀은 AI 에게 **"주변의 지도"**를 제공했습니다.

• "여기는 빈 공간이야 (자유 공간)": 물체가 이쪽으로 자라지 말아야 해.
• "여기는 이미 다른 물건이 있어 (가려진 공간)": 이쪽으로 뻗어 나가면 충돌해.

이를 통해 AI 는 마치 조심스러운 건축가처럼, 주변 환경을 고려하며 물건을 채워 넣습니다. "아, 여기는 벽이 있으니 의자 다리는 벽 쪽으로 뻗지 않고 안쪽으로 구부려야겠구나"라고 판단하는 것입니다.

3. "새로운 시험지" 만들기 (ScanWCF)

기존의 연구 자료 (데이터셋) 는 마치 정답이 틀린 시험지처럼 문제가 많았습니다. 실제 사진과 정답 (3D 모델) 이 딱 맞지 않거나, 정답 자체에 다른 물건과 부딪히는 오류가 있었습니다.

연구팀은 **"완벽하게 정리된 새로운 시험지 (ScanWCF)"**를 직접 만들었습니다.

• 물방울처럼 밀폐된 (Watertight): 구멍이 없는 완벽한 3D 모델.
• 부딪힘 없는 (Collision Free): 물건들이 서로 겹치지 않고 자연스럽게 배치된 상태.

이 깨끗한 데이터로 AI 를 훈련시켰기 때문에, AI 는 훨씬 더 정확한 답을 내놓을 수 있게 되었습니다.

---

🎨 비유로 이해하기: "조각난 퍼즐을 맞추는 명장"

이 기술을 한 마디로 비유하자면, **"반쯤 보이는 퍼즐 조각을 보고, 주변 벽과 다른 조각들을 고려하며 온전한 그림을 완성하는 명장"**입니다.

• 기존 기술: 퍼즐 조각을 보자마자 "이건 고양이 머리구나!"라고 외치고, 고양이 모양을 그렸는데 벽을 뚫고 나가거나 다른 고양이의 귀와 겹쳐버리는 실수를 저질렀습니다.
• 이 새로운 기술: "이 조각은 고양이 머리네. 근데 오른쪽은 벽이 있고, 왼쪽은 다른 고양이가 있구나. 그럼 고양이는 벽을 뚫지 않고, 다른 고양이와 부딪히지 않게 이쪽으로 몸을 살짝 비틀어서 그려야겠다"라고 주변 상황을 고려하며 완벽하게 완성합니다.

🏆 결론: 왜 중요한가요?

이 기술이 발전하면 로봇이 집안일을 하거나, 자율주행차가 복잡한 도시를 주행할 때 훨씬 더 안전하고 똑똑해질 수 있습니다. 로봇이 "저기 가려진 의자 다리가 어디까지 있는지 모르면 넘어질까 봐 두려워"하는 대신, 주변 환경을 정확히 파악하고 가려진 부분까지 완벽하게 상상해내기 때문입니다.

요약하자면, 이 논문은 **"AI 가 세상을 볼 때, 보이는 부분뿐만 아니라 보이지 않는 부분과 주변 상황까지 함께 생각하게 만들어, 더 현실적이고 안전한 3D 모델을 만든다"**는 혁신적인 성과를 담고 있습니다.

기술 요약

이 논문은 ICLR 2025 에 게재된 **"POINT-BASED INSTANCE COMPLETION WITH SCENE CONSTRAINTS"**로, 실내 장면 (indoor scenes) 내에서 부분적으로 관측된 객체들의 누락된 기하학적 구조를 완성하는 인스턴스 장면 완성 (Instance Scene Completion) 문제를 다룹니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 포인트 클라우드 기반 객체 완성 (Object Completion) 방법들은 부분적으로 관측된 객체의 누락된 부분을 복원하는 데 탁월한 성능을 보이지만, 실제 장면 내에서 객체를 완성할 때는 다음과 같은 한계가 있었습니다.

• 장면 제약 (Scene Constraints) 부재: 완성 과정에서 다른 관측된 표면이나 자유 공간 (free space) 과의 충돌을 고려하지 않아, 완성된 객체가 다른 객체나 벽과 겹치는 비현실적인 결과가 발생합니다.
• 정규화된 좌표계 의존: 대부분의 기존 방법은 객체를 표준 좌표계 (canonical coordinate system, 중심 0, 크기 1, 특정 방향 정렬) 로 변환한 후 학습합니다. 하지만 실제 장면 내 객체는 임의의 위치, 자세, 크기를 가지므로 이 가정이 성립하지 않습니다.
• 기존 장면 완성 방법의 한계: 인스턴스 장면 완성 (Instance Scene Completion) 을 수행하는 기존 방법들은 완성 품질이 낮고, 여전히 장면 제약 조건을 고려하지 못합니다.

2. 방법론 (Methodology)

저자들은 임의의 자세와 크기를 가진 객체를 장면 컨텍스트 내에서 충돌 없이 완성할 수 있는 새로운 프레임워크를 제안합니다.

• 아키텍처 개요:
  1. 인스턴스 분할 (Instance Segmentation): 입력된 부분 스캔을 Mask3D 와 같은 최신 3D 인스턴스 분할 모델을 사용하여 개별 객체로 분해합니다.
  2. 부분 인코더 (Partial Encoder): 각 객체의 부분 점군과 표면 법선을 인코딩합니다. 기존 PointConv 대신 VI-PointConv를 사용하여 회전 및 스케일 불변성을 강화하고, 법선 정보를 추가로 활용합니다.
  3. 새로운 시드 생성기 (Seed Generator):
     • 기존 방법처럼 시드 좌표를 직접 회귀 (regress) 하는 대신, 먼저 **객체 중심 (Object Center)**을 예측하고, 그 중심으로부터의 **시드 오프셋 (Seed Offsets)**을 예측하는 방식을 채택합니다. 이는 임의의 자세에 대해 더 강건합니다.
     • **크로스 어텐션 (Cross-Attention)**을 통해 장면 제약 조건을 통합합니다.
  4. 장면 제약 조건 (Scene Constraints):
     • 밀집된 TSDF 대신, 희소 점군 (Sparse Point Clouds) 형태의 제약 조건을 사용합니다.
     • 관측된 표면에서 법선을 따라 이동하여 **자유 공간 (Free Space)**과 **가려진 공간 (Occluded Space)**의 경계를 나타내는 두 개의 바운딩 쉘 (Bounding Shells) 을 생성합니다.
     • 이 제약 조건들을 시드 생성기의 크로스 어텐션 메커니즘에 입력하여, 모델이 관측된 공간이나 다른 객체 영역에 점을 생성하지 않도록 유도합니다.
  5. ** coarse-to-fine 디코더:** 생성된 시드 (Patch Seeds) 를 글로벌 어텐션과 로컬 어텐션을 결합한 업샘플링 레이어를 통해 고해상도 점군으로 변환합니다.
  6. 메쉬 재구성: 완성된 점군과 함께 학습된 법선 추정 모듈을 통해 표면 법선을 예측하고, NKSR 을 사용하여 물리적으로 타당한 메쉬를 재구성합니다.

3. 주요 기여 (Key Contributions)

1. 강건한 객체 완성 모델: 표준 좌표계 정렬 없이도 장면 내 임의의 자세와 크기를 가진 객체를 완성할 수 있는 새로운 모델 아키텍처를 제안했습니다.
2. 장면 제약 통합: 관측된 표면, 자유 공간, 가려진 공간을 희소 점군으로 인코딩하여 모델에 통합함으로써, 완성된 객체가 장면 내에서 충돌하지 않고 타당성을 갖도록 했습니다.
3. 새로운 데이터셋 (ScanWCF): 기존 데이터셋 (Scan2CAD, ScanARCW) 의 정렬 불일치 및 충돌 문제 (Ground Truth 에 충돌이 존재) 를 해결한 새로운 데이터셋 ScanWCF를 구축했습니다. 이 데이터셋은 정렬되고 레이블이 지정되었으며, 완전 밀폐 (Watertight) 이고 충돌이 없는 (Collision-Free) Ground Truth 메쉬를 제공합니다.

4. 실험 결과 (Results)

ScanWCF 데이터셋을 사용하여 기존 방법 (RfD-Net, DIMR) 과 비교 실험을 수행했습니다.

• 성능 향상: 인스턴스 장면 완성 태스크에서 IoU, Chamfer Distance (CD), Light Field Distance (LFD) 등 모든 메트릭에서 기존 SOTA 방법들을 압도적으로 능가했습니다. 특히 어려운 임계값 (threshold) 에서도 성능 저하가 적어 미세한 기하학적 구조를 잘 복원함을 보였습니다.
• 충돌 감소: 제안된 방법의 완성된 객체는 다른 객체나 배경과 충돌하는 비율 (%COL) 이 기존 방법보다 약 2~3 배 낮았습니다. 이는 장면 제약 조건이 충돌 방지에 효과적임을 입증합니다.
• 부분 스캔 충실도: 관측된 부분 스캔을 훼손하지 않고 완성하는 능력 (One-sided CD, UHD) 에서도 기존 방법보다 월등히 우수한 성능을 보였습니다.
• Ablation Study:
  • VI-PointConv 와 법선 입력이 부분 재구성 품질을 향상시킵니다.
  • 객체 중심 예측과 오프셋 기반 시드 생성이 임의 자세에서의 성능을 크게 개선합니다.
  • 장면 제약 조건을 추가하면 완성 품질 (CD) 은 7%, 충돌 깊이 (COL) 는 29% 개선되었습니다.

5. 의의 (Significance)

이 연구는 로봇 상호작용, 내비게이션, 그립 계획 등 하류 작업에 필수적인 3D 장면 이해의 핵심 과제를 해결합니다.

• 실용성: 실제 로봇이 센서 데이터를 바탕으로 물체의 전체 형태를 추론할 때, 물리적 충돌을 피하고 관측된 정보를 정확히 존중하는 완성 모델을 제공합니다.
• 데이터셋 기여: 기존 데이터셋의 한계를 극복하고 신뢰할 수 있는 평가가 가능한 ScanWCF 데이터셋을 공개함으로써, 향후 인스턴스 장면 완성 연구의 표준 벤치마크를 제시했습니다.
• 기술적 발전: 포인트 클라우드 기반 완성 기술에 '장면 컨텍스트'를 통합하는 새로운 패러다임을 제시하여, 단순한 객체 복원을 넘어 복잡한 환경 내 객체 이해의 가능성을 확장했습니다.

요약하자면, 이 논문은 장면 제약 조건을 고려한 점 기반 인스턴스 완성 모델을 제안하고, 이를 검증하기 위해 충돌이 없는 고품질 데이터셋을 구축함으로써, 실내 3D 장면 이해 및 로봇 응용 분야에서 중요한 진전을 이루었습니다.