💻 computer science

LaS-Comp: Zero-shot 3D Completion with Latent-Spatial Consistency

이 논문은 3D 기초 모델의 풍부한 기하학적 사전 지식을 활용하여 학습 없이 다양한 부분 관측에 대해 3D 형상 완성을 가능하게 하는 제로샷 접근법인 LaS-Comp 와 이를 평가하기 위한 새로운 벤치마크 Omni-Comp 를 제안합니다.

원저자: Weilong Yan, Haipeng Li, Hao Xu, Nianjin Ye, Yihao Ai, Shuaicheng Liu, Jingyu Hu

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weilong Yan, Haipeng Li, Hao Xu, Nianjin Ye, Yihao Ai, Shuaicheng Liu, Jingyu Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 핵심 아이디어: "눈에 보이는 부분 vs 머릿속의 상상"

기존의 AI 들은 3D 물체를 만들 때, 마치 눈을 감고 점토를 빚는 것과 같았습니다. "이건 의자야"라고 말해주면, AI 는 머릿속에 있는 의자 이미지를 바탕으로 전체를 만들어냈습니다. 하지만 문제는, 실제 눈앞에 있는 의자의 다리가 하나만 있는데 AI 가 그 다리를 무시하고 완전히 다른 모양의 다리를 만들어버리는 경우가 많았다는 것입니다.

LaS-Comp는 이 문제를 해결하기 위해 두 가지 단계를 거칩니다.

1 단계: "눈에 보이는 건 그대로 붙여라!" (명시적 교체)

AI 가 점토를 빚을 때, 실제 눈앞에 있는 부분 (파편) 은 절대 건드리지 않고 그대로 붙여놓는 단계입니다.

비유: 마치 퍼즐을 풀 때, 이미 맞춰진 조각들은 절대 떼어내지 않고 그 자리에 딱 붙여놓는 것과 같습니다. AI 가 "내가 상상한 대로 다리를 바꿔볼까?"라고 생각할 때, "아니야, 여기 있는 다리는 원래 모양 그대로야!"라고 강하게 제지하는 것입니다.

2 단계: "조금만 다듬어서 자연스럽게 이어지게 해라" (암시적 정렬)

그런데 이렇게 딱 붙이면, 붙인 부분과 AI 가 새로 만든 부분 사이에 계단처럼 딱딱한 경계가 생길 수 있습니다.

비유: 이때는 세밀하게 다듬는 (연마하는) 단계를 거칩니다. AI 가 새로 만든 부분과 기존에 붙인 부분이 매끄럽게 이어지도록, 마치 흠집을 고치듯 미세하게 조정합니다.

이 두 단계를 반복하면서, AI 는 실제 데이터의 정확성과 상상력의 유연함을 동시에 잡게 됩니다.

2. 왜 이 기술이 특별한가요? (훈련 없이 바로 작동!)

기존의 많은 AI 는 수만 개의 '부서진 사진'과 '완전한 사진'을 짝지어 공부해야 했습니다. 하지만 세상에 있는 모든 물체 (의자, 자동차, 동물 등) 를 다 공부할 수는 없죠.

LaS-Comp는 훈련 (학습) 이 전혀 필요 없습니다.

비유: 마치 유능한 요리사가 새로운 재료를 보고도 "이건 생선 같으니, 생선 요리를 만들 수 있겠네"라고 바로 요리하는 것과 같습니다. 이전에 이 특정 생선을 본 적이 없어도, AI 가 이미 가지고 있는 '3D 에 대한 풍부한 지식 (기초 모델)'을 활용하기 때문입니다.
장점: 어떤 물체든, 어떤 모양으로 잘려 있든 (한쪽 면만 보이는 경우, 일부가 잘린 경우) 즉시 완벽하게 완성해냅니다.

3. 새로운 시험장: "옴니 - 컴 (Omni-Comp)"

연구팀은 기존에 있던 시험 문제들이 너무 쉬워서 실제 상황을 반영하지 못한다고 생각했습니다. 그래서 **새로운 시험장 (벤치마크)**을 만들었습니다.

기존 시험: "의자 한 면만 보여줘도 의자를 만들어줘" (너무 단순함)
새로운 시험 (옴니 - 컴): "의자의 다리만 보여줘도 만들어줘", "의자를 무작위로 잘라낸 조각을 보여줘도 만들어줘", "의자의 등받이만 보여줘도 만들어줘" (매우 다양하고 어려움)

이 새로운 시험에서 LaS-Comp 는 다른 어떤 방법보다도 더 빠르고, 더 정확하게, 더 다양한 물체를 성공적으로 완성했습니다.

요약: 이 기술이 우리 삶에 어떤 변화를 줄까?

로봇의 눈: 로봇이 물건을 잡을 때, 물체의 일부만 보더라도 나머지 부분을 완벽하게 이해해서 안전하게 잡을 수 있습니다.
자율 주행: 안개나 장애물로 차의 일부만 보여도, AI 가 차 전체의 모양을 예측해서 안전한 주행을 돕습니다.
가상 현실 (VR/AR): 게임이나 영화에서 캐릭터나 배경이 깨져 있더라도, AI 가 순식간에 원래 모습으로 복구해줍니다.

한 줄 요약:

"LaS-Comp 는 AI 가 눈앞에 있는 조각만 보고도, 머릿속의 풍부한 지식을 활용해 물체의 나머지 부분을 정확하고 자연스럽게, 마치 마법처럼 완성해내는 기술입니다."

1. 문제 정의 (Problem)

3D 형상 완성 (Shape Completion) 은 부분적인 관측 데이터 (Partial Observations) 로부터 완전한 3D 형상을 재구성하는 작업으로, 로봇 공학, 자율 주행, AR/VR 등 다양한 분야에서 필수적입니다. 기존 방법들은 다음과 같은 한계를 가지고 있습니다.

지도 학습의 한계: 기존 방법들은 부분 - 완전 쌍 (Partial-Complete Pairs) 이 필요한 대규모 데이터셋에 의존하여, 보지 못한 카테고리 (Unseen Categories) 나 새로운 부분 패턴 (Partial Patterns) 에 대해 일반화하기 어렵습니다.
생성적 사전 지식 (Generative Priors) 의 활용 부족: 최근 대규모 3D 기반 모델 (Foundation Models) 은 강력한 생성 능력을 가지고 있으나, 기존 완성 방법들은 이 모델들의 잠재 공간 (Latent Space) 과 실제 공간 (Spatial Space) 간의 불일치를 해결하지 못했습니다.
잠재 공간 불일치 (Latent-Spatial Gap): 부분 입력과 완전한 형상이 겹치는 영역에서 기하학적 구조는 동일하지만, VAE 인코더를 통해 추출된 잠재 코드 (Latent Codes) 는 크게 다를 수 있습니다. 이를 해결하지 않고 잠재 공간에서 직접 완성 작업을 수행하면 입력의 기하학적 정보를 왜곡하거나 신뢰할 수 없는 결과가 나옵니다.
평가 기준의 부재: 기존 벤치마크는 주로 단일 뷰 스캔에 국한되어 있어, 실제 세계의 다양한 가려짐 (Occlusion) 과 불완전한 패턴을 충분히 평가하지 못했습니다.

2. 방법론 (Methodology)

저자들은 LaS-Comp (Latent-Spatial Consistency Completion) 라는 제로샷 (Zero-shot) 및 카테고리 무관 (Category-agnostic) 프레임워크를 제안합니다. 이 방법은 사전 훈련된 3D 기반 모델의 강력한 기하학적 사전 지식을 활용하면서도, 입력 데이터의 기하학적 충실도를 유지하기 위해 두 단계의 보완적 설계를 사용합니다.

A. 명시적 교체 단계 (Explicit Replacement Stage, ERS)

목적: 입력된 부분 형상의 기하학적 정보를 잠재 표현에 명시적으로 주입하여 충실도 (Fidelity) 를 보장합니다.
작동 원리:
1. 생성 모델이 예측한 완전한 형상과 입력된 부분 형상 ( $S_p$ ) 을 공간 도메인 (Spatial Domain) 에서 비교합니다.
2. 입력된 부분 영역에 해당하는 마스킹 ( $M$ ) 을 사용하여, 생성된 형상의 해당 부분을 실제 관측된 부분 형상으로 명시적으로 교체합니다.
3. 이를 통해 잠재 공간의 불일치 문제를 우회하고, 관측된 영역이 왜곡되지 않도록 합니다.
4. 부분 인식 노이즈 스케줄 (Partial-aware Noise Schedule, PNS): 관측된 영역은 안정성을 유지하도록 노이즈를 최소화하고, 누락된 영역은 다양한 완성을 탐색할 수 있도록 높은 확률적 변동성을 부여하는 노이즈 스케줄을 적용합니다.

B. 암시적 정렬 단계 (Implicit Alignment Stage, IAS)

목적: ERS 를 통해 교체된 영역과 생성된 영역 사이의 경계에서 발생하는 불연속성 (Discontinuities) 을 해결하고 매끄러운 연결을 보장합니다.
작동 원리:
1. ERS 를 거친 잠재 특징을 기반으로 기하학적 정렬 손실 (Geometry-alignment Loss) 을 계산합니다. 이는 관측된 영역에서의 예측 점유율 (Occupancy) 과 실제 입력 간의 차이를 최소화합니다.
2. 모델 파라미터를 업데이트하는 것이 아니라, 잠재 특징 (Latent Feature) 자체에 대해 1 단계의 경사 하강 (Gradient Descent) 을 수행하여 손실을 줄이는 방향으로 잠재 코드를 미세 조정합니다.
3. 이를 통해 생성된 형상과 입력 형상 사이의 경계가 자연스럽게 정렬되도록 합니다.

C. 전체 파이프라인

Gaussian 노이즈에서 시작하여, 각 디노이징 (Denoising) 스텝마다 ERS 와 IAS 를 순차적으로 적용하며 잠재 특징을 점진적으로 정제합니다.
최종적으로 디코더를 통해 완성된 3D 형상을 출력합니다.
특징: 학습이 필요 없으며 (Training-free), 텍스트 가이드 또는 무조건적 (Unconditional) 완성을 모두 지원합니다.

3. 주요 기여 (Key Contributions)

LaS-Comp 프레임워크: 잠재 공간과 공간 도메인 간의 간극을 해소하는 두 단계 (ERS, IAS) 설계로, 제로샷 및 카테고리 무관 3D 형상 완성을 가능하게 했습니다.
효율성과 호환성: 별도의 학습 없이 다양한 3D 기반 모델 (TRELLIS, Direct3D-S2 등) 과 호환되며, 형상당 약 20 초 만에 완성이 가능합니다 (기존 제로샷 방법 대비 3 배 이상 빠름).
Omni-Comp 벤치마크 도입: 기존 벤치마크의 한계를 극복하기 위해, 실제 스캔 (Redwood, YCB) 과 합성 데이터를 결합하고, 단일 뷰, 무작위 컷 (Random Crop), 의미론적 부분 (Semantic Part) 등 다양하고 도전적인 부분 패턴을 포함하는 새로운 평가 기준을 제시했습니다.

4. 실험 결과 (Results)

성능: Redwood, Synthetic, KITTI, ScanNet 등 기존 벤치마크와 새로 제안된 Omni-Comp 에서 기존 최첨단 (SOTA) 방법들 (Supervised, Unsupervised, Generative Prior 기반) 을 압도적으로 능가했습니다.
- 정확도: Redwood 데이터셋에서 ComPC 대비 CD(Chamfer Distance) 27.2%, EMD 29.0% 개선.
- 다양한 패턴: Omni-Comp 에서 단일 뷰뿐만 아니라 무작위 컷 및 의미론적 부분 패턴에서도 강력한 성능을 보이며, 기존 방법들이 실패하는 복잡한 입력에서도 견고한 성능을 입증했습니다.
- 다양성 (Diversity): MMD 와 TMD 지표를 통해 단일 입력에 대해 다양하면서도 타당한 여러 완성 형태를 생성할 수 있음을 확인했습니다.
가시화: 관측된 영역의 기하학적 왜곡 없이, 누락된 부분의 표면 기하학과 위상 구조가 정밀하게 복원되는 것을 시각적으로 확인했습니다.

5. 의의 및 중요성 (Significance)

실용적 적용 가능성: 학습 데이터에 의존하지 않고 (Zero-shot), 다양한 실제 환경 (실제 스캔, 노이즈, 다양한 가려짐) 에서 즉시 배포 가능한 3D 완성 솔루션을 제공합니다.
기하학적 일관성 확보: 잠재 공간의 불일치 문제를 공간 도메인의 명시적 교체와 암시적 정렬을 통해 해결함으로써, 생성 모델의 강력한 생성 능력과 입력 데이터의 정확성을 동시에 달성했습니다.
새로운 평가 표준: Omni-Comp 를 통해 3D 완성 연구가 단일 뷰 스캔을 넘어 실제 세계의 복잡한 부분 패턴을 어떻게 처리해야 하는지에 대한 새로운 기준을 제시했습니다.

이 논문은 3D 생성 모델의 잠재 공간 특성을 깊이 이해하고, 이를 실제 3D 완성 작업에 효과적으로 적용하기 위한 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.