🤖 machine learning

3D-DLP: Self-Supervised 3D Object-Centric Scene Representation Learning

이 논문은 RGB-D 또는 복셀 장면을 별개의 객체를 나타내는 해석 가능한 3D 잠재 입자로 분해하여 제어 가능한 장면 생성을 가능하게 하고, 객체 중심의 구조가 결여된 베이스라인 모델들에 비해 로봇 조작 성능을 향상시키는 자기 지도 학습 모델인 3D-DLP를 소개한다.

원저자: Ellina Zhang, Madhaven Iyengar, Amir Zadeh, Chuan Li, Deepak Pathak, David Held, Tal Daniel

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ellina Zhang, Madhaven Iyengar, Amir Zadeh, Chuan Li, Deepak Pathak, David Held, Tal Daniel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

장난감, 책, 가구들로 가득 찬 어지러운 방을 보고 있다고 상상해 보세요. 만약 당신이 사진을 찍는다면, 표준적인 컴퓨터 비전 시스템은 거대하고 뒤섞인 픽셀 덩어리를 보게 됩니다. 이 시스템은 어디에서 하나의 물체가 끝나고 다른 물체가 시작되는지, 혹은 빨간색 블록이 바로 옆에 있는 파란색 블록과 별개의 '개체'라는 것을 이해하는 데 어려움을 겪습니다.

이 논문은 컴퓨터가 세상을 바라보는 새로운 방법인 3D-DLP를 소개합니다. 3D-DLP는 컴퓨터가 단순히 어지러운 픽셀 더미를 보는 대신, 세상을 개별적이고 떠다니는 3D "입자(particles)"들의 집합으로 보도록 가르칩니다.

작동 원리를 쉬운 개념으로 나누어 설명하면 다음과 같습니다.

1. "레고 브릭" 비유

3D 장면을 단단한 찰흙 덩어리가 아니라 레고 브릭 상자라고 생각해 보세요.

기존 방식: 전통적인 방식은 방 전체를 하나의 거대하고 밀도 높은 데이터 구름으로 모델링하려고 합니다. 이는 마치 공중에 떠 있는 아주 작은 먼지 한 점 한 점의 색깔까지 모두 나열하여 레고 성을 설명하려는 것과 같습니다. 이는 무겁고, 느리며, 이해하기 어렵습니다.
3D-DLP 방식: 이 모델은 장면을 별개의 레고 브릭들로 분해합니다. 모델 내의 각 "입자"는 하나의 특정 물체(예: 컵, 망치, 또는 블록)를 나타냅니다.
- 각 입자는 자신의 3D 위치(공간 상의 어디에 있는지)를 알고 있습니다.
- 자신의 크기(얼마나 큰지)를 압니다.
- 자신의 색상(어떻게 보이는지)을 압니다.
- 자신의 투명도(거기에 존재하는지 아니면 없는지)를 압니다.

2. 스승 없이 배우기 (자기 지도 학습)

보통 컴퓨터에게 물체를 인식하도록 가르치려면, 인간이 수천 장의 사진 속 모든 물체에 박스를 그려주어야 합니다(마치 선생님이 숙제를 채점하는 것과 같습니다). 이는 비용이 많이 들고 시간이 오래 걸립니다.

3D-DLP는 자기 지도 학습(Self-supervised) 방식입니다. 섞여 있는 레고 브릭 상자를 컴퓨터에게 주며 "성(castle)을 다시 만들어봐"라고 말하는 상황을 상상해 보세요. 컴퓨터는 성을 만들려고 시도하고, 자신의 작업물을 살펴보고, 어디서 실수를 했는지 확인한 뒤, 다시 시도합니다. 컴퓨터는 인간으로부터 "저것은 컵이다"라는 말을 들을 필요가 없습니다. 장면을 완벽하게 재구성하려는 시도를 통해, 컴퓨터는 스스로 "컵다움"이 무엇인지 깨닫게 됩니다. 시간이 흐르면서, 특정 데이터 군집들이 항상 함께 움직이며 하나의 뚜렷한 "입자"를 형성한다는 것을 스스로 학습하게 됩니다.

3. "마법 같은 편집" 기능

컴퓨터가 세상을 편집 가능한 별개의 입자로 보기 때문에, 여러분은 그 입자 내부의 숫자만 바꾸는 것으로 장면을 직접 편집할 수 있습니다.

이동: 만약 여러분이 컴퓨터에게 "컵 입자"의 "위치" 숫자를 바꾸라고 명령하면, 재구성된 장면 속에서 컵이 실제로 움직입니다.
크기 조절: 만약 "크기" 숫자를 바꾸면, 컵이 커지거나 작아집니다.
제거: 만약 "투명도"를 끄면, 컵이 사라집니다.

이는 컴퓨터가 단순히 사진을 암기하는 것이 아니라, 물체의 구조를 이해하고 있음을 증명합니다.

4. 로봇에게 이것이 중요한 이유

이 논문은 로봇이 물체를 집거나 옮겨야 하는 작업(로봇 조작)에 대해 테스트를 진행했습니다.

문제점: 로봇은 종종 혼란스러운 상황(clutter)에 빠지곤 합니다. 만약 로봇이 밀도 높은 3D 점 구름을 본다면, 특정 물체를 잡기 위해 어디를 잡아야 할지 계산하는 과정에서 과부하가 걸릴 수 있습니다.
해결책: 3D-DLP를 사용하면, 로봇은 상호작용할 수 있는 깔끔하고 정리된 "물체" 목록을 얻게 됩니다. 안개 낀 3D 구름 속을 헤매는 대신, 명확하게 구분된 물체 목록을 따라 움직이게 됩니다.
결과: 테스트 결과, 3D-DLP를 사용하는 로봇은 물체를 분리하지 못하거나 구조화되지 않은 무거운 데이터에 의존하는 기존 방식의 로봇보다 작업(블록 쌓기나 머그컵 치우기 등)을 더 잘 수행했습니다.

요요약

3D-DLP는 로봇에게 혼란스럽고 어지러운 방을 깔끔하게 라벨이 붙은 떠다니는 3D 물체 목록으로 바꿔 보여주는 안경을 씌워주는 것과 같습니다. 컴퓨터는 장면을 반복해서 재구성하는 과정을 통해 스스로 이를 학습합니다. 이는 로봇이 세상을 더 쉽게 이해하고, 머릿속에서 장면을 편집하며, 적절한 물체를 성공적으로 잡고 움직일 수 있도록 만들어 줍니다.

기술 요약: 3D-DLP: 자기지도 학습 기반 3D 객체 중심 장면 표현 학습

문제 정의

로봇의 의사결정, 특히 조작(manipulation) 작업은 공간적 관계를 보존하고 실제 기하학적 구조를 포착해야 하므로, 2D 투영이 실패할 수 있는 부분을 보완하기 위해 3D 표현 방식에 점점 더 의존하고 있습니다. 그러나 가공되지 않은 3D 센서 데이터(RGB-D 이미지, 포인트 클라우드, 복셀)는 노이즈가 많고, 희소하며, 고차원적이고, 명시적인 객체 구조가 부족하다는 상당한 과제를 안고 있습니다. 기존의 3D 객체 중심 접근 방식에는 한계가 있습니다. 일부는 GROOT와 같이 지도 학습된 주석(annotation)에 의존하여 확장성을 저해하고, 다른 방식은 색상이 없는 데이터를 사용하거나, 메모리 집약적인 반복 파이프라인을 사용하거나, 하위 정책 학습을 위한 실용적인 저차원 표현을 생성하지 못하는 역렌더링 및 뉴럴 필드에 의존합니다. 또한, 기존의 자기지도 객체 중심 방법들은 주로 2D 입력에 국한되어 있어 가려진 영역을 복구하거나 접촉이 빈번한 작업에 필수적인 정밀한 3D 기하학을 모델링할 수 없습니다.

방법론

저자들은 실세계의 3D 관측치를 직접 처리할 수 있도록 Deep Latent Particles (DLP) 모델을 확장한 자기지도 프레임워크인 **3D-DLP (3D Deep Latent Particles)**를 소개합니다. 핵심 목표는 장면 수준의 RGB-D 또는 복셀 관측치를 각각 분리된 속성을 가진 개별 엔티티를 나타내는 $M$ 개의 3D 잠재 입자(latent particles) 세트로 분해하는 것입니다.

아키텍처 및 변형

이 모델은 Prior(사전 확률), Encoder(인코더), **Decoder(디코더)**의 3단계 파이프라인을 갖춘 변이형 오토인코더(VAE)로 작동합니다. 세 가지 입력 모달리티를 지원합니다:

3D-DLP-D: RGB-D 이미지( $4 \times H \times W$ )를 처리합니다.
3D-DLP-V: 점유 복셀 그리드( $1 \times D \times H \times W$ )를 처리합니다.
3D-DLP-VC: 가장 일반적인 기여를 나타내는 컬러 RGB 복셀 그리드( $3 \times D \times H \times W$ )를 처리합니다.

주요 구성 요소

잠재 입자 표현 (Latent Particle Representation): 각 전경 입자 $z_{fg}$ $z_{f g}$ 는 다음을 인코딩합니다:
- 3D 키포인트 위치 ( $z_p$ ): 명시적인 3D 좌표.
- 바운딩 박스 크기 ( $z_s$ ): 스케일 속성.
- 외관 특징 ( $z_f$ ): 국소 영역의 시각적 특성.
- 투명도 ( $z_t$ ): 입자의 존재 여부를 제어.
  (참고: 2D DLP에서 사용되는 구성 순서 $z_c$ 는 3D 변형에서는 생략되는데, 이는 3D 볼륨 렌더링이 자연스럽게 폐색(occlusion) 문제를 해결하기 때문입니다.)
외관 인식 K-평균 사전 확률 (Appearance-Aware K-Means Prior): 밀집된 특징 맵에 Spatial Softmax(SSM)를 사용하는 2D DLP와 달리, 3D-DLP는 입력 복셀에 K-평균 클러스터링 사전 확률을 사용합니다. RGB 복셀의 경우, 이 클러스터링은 밝기 가중치가 적용된 CIELAB 색상과 정규화된 3D 위치를 사용하는 결합된 **외관-기하학 공간(appearance-geometry space)**에서 수행됩니다. 이는 SSM이 실패하는 복셀 그리드의 희소성과 불연속성 문제를 해결하며, 입자 중심이 객체의 표면 및 색상 경계와 일치하도록 보장합니다.
인코더 및 디코더: 인코더는 삼선형 샘플링(trilinear sampling)을 사용하는 3D Spatial Transformer Networks(STN)를 통해 추출된 국소 크롭(local crops)으로부터 입자 속성을 추론합니다. 디코더는 각 입자를 정형화된 큐빅 RGBA 패치로 렌더링한 후, 볼륨 합성(RGB에 대한 알파 블렌딩, 점유율에 대한 noisy-OR)을 사용하여 전역 그리드에 합성합니다.
손실 함수 (Loss Functions): 모델은 ELBO(Evidence Lower Bound)를 최대화하도록 학습됩니다.
- 재구성 손실 (Reconstruction Loss): MSE(평균 제곱 오차)와 점유된 복셀에만 적용되는 Chroma Loss(휘도와 채도를 분리)를 결합합니다. 이는 모델이 실제 색조 대신 회색을 예측함으로써 MSE를 최소화하려는 "그레이 콜랩스(gray collapse)" 현상을 방지합니다.
- KL 발산 (KL Divergence): 고정된 사전 확률에 대해 입자 잠재 변수를 정규화합니다.
- 객체 희소성 손실 (Object Sparsity Loss): 입자의 희소한 사용을 장려합니다.

주요 기여

최초의 자기지도 3D 객체 중심 분해: 본 논문은 컬러 3D 복셀에서 직접 작동하는 최초의 자기지도 객체 중심 장면 표현을 도입했다고 주장하며, RGB-D, 점유, RGB-복셀 입력을 위한 통합 프레임워크를 제공합니다.
밀집 복셀을 위한 방법론적 혁신: 저자들은 3D-DLP가 밀집된 복셀 장면에서 작동하게 만드는 두 가지 핵심 구성 요소를 식별하고 검증했습니다:
- Sparse한 그리드에서 Spatial Softmax보다 성능이 우수한 외관 인식 K-means 키포인트 사전 확률.
- 색상 충실도를 보장하고 그레이 콜랩스를 방지하는 Chroma 재구성 손실.
제어 가능성 및 해석 가능성: 학습된 잠재 공간은 제어가 가능한 것으로 입증되었습니다. 입자의 위치와 스케일을 조작하면 감독 없이도 직관적인 장면 편집(이동 및 크기 조정)으로 직접 연결됩니다.
하위 로봇 성능: 저자들은 엔티티 중심 확산 정책(EC-Diffuser)을 적용하여, 3D-DLP 입자가 2D 입자 및 복셀 전용 베이스라인에 비해 로봇 조작 작업에서 일관된 성능 향상을 보임을 입증했습니다.

실험 결과

저자들은 Synthetic 데이터셋(GenericShapes, ShapeNetScenes), 로봇 시뮬레이션 데이터셋(MimicGen), 그리고 실제 벤치마크(UW RGB-D Scenes Dataset v2)에서 3D-DLP를 평가했습니다.

장면 재구성: 3D-DLP-VC는 RGB 복셀에 대한 Masked PSNR 측에서 비객체 중심 베이스라인(결정론적 AE 및 VAE)을 실질적으로 능가합니다. IoU 점수는 경쟁적인 수준이지만, 객체 중심 접근 방식은 약간의 재구성 선명도를 희생하는 대신 더 분리되고 의미론적으로 구조화된 잠재 공간을 제공합니다.
절제 연구 (Ablation Studies):
- K-means 사전 확률을 Spatial Softmax(SSM)로 교체하면 희소한 복셀 볼륨에서 성능이 크게 저하됩니다.
- Chroma loss를 제거하면 모델이 실제 색상을 재현하지 못하고 "그레이 콜랩스"가 발생합니다.
- 입자 수를 특정 임계값(예: MimicGen의 경우 24개) 이상으로 늘려도 모델이 중복된 입자를 자연스럽게 무시하기 때문에 수익 체감 현상이 나타납니다.
모방 학습 (로봇 조작):
- MimicGen: 12개의 다중 객체 작업에서 3D-DLP + EC-Diffuser는 2D-DLP 변형 및 밀집 복셀 전용 베이스라인(EquiDiff)보다 높은 평균 성공률(48.1%)을 달성했습니다. 12개 작업 중 6개에서 승리했습니다.
- RLBench: 10개의 언어 조건부 작업에서 3D-DLP는 매칭된 컴퓨팅 자원을 사용하는 베이스라인들을 상대로 10개 중 9개 작업에서 승리했으며, 공개된 PerACT(언어 조건부 복셀) 베이스라인을 10개 중 7개 작업에서 앞질렀습니다.
- 학습된 분해 과정에서 객체가 깔끔하게 격리되지 않은 작업(예: 커피 준비)에서는 실패 모드가 관찰되었습니다.

의의 및 주장

본 논문은 3D-DLP를 자기지도 3D 장면 분해와 하위 로봇 제어 사이의 실질적인 가교로 포지셔닝합니다. 감독 없이 컴팩트한 객체 중심 3D 잠재 입자를 학습함으로써, 이 방법은 밀집한 3D 입력의 한계(메모리 집약성)와 2D 표현의 한계(기하학적 정보 부족)를 해결합니다. 저자들은 이 접근 방식이 다음과 같은 기능을 가능하게 한다고 주장합니다:

해석 가능한 장면 이해: 객체와 그 3D 속성을 명시적으로 발견.
제어 가능한 잠재 편집: 입자 속성을 조작하여 새로운 장면 구성을 생성하는 능력.
정책 학습 개선: 명시적인 3D 객체 구조가 없거나 밀집한 입력을 사용하는 베이스라인에 비해 복잡한 다중 객체 조작 작업에서 입증된 성능 향상.

저자들은 복셀화가 포인트 클라우드보다 높은 메모리 요구를 유발한다는 점과, 현재 방법이 반복되는 객체 유형 및 정적인 배경이 있는 데이터셋에서는 뛰어나지만 매우 역동적이고 다양한 실제 장면으로 확장하는 데는 여전히 과제가 남아 있다는 점을 인정하며 한계를 언급했습니다. 이들은 향s후 연구 과제로 3D-DLP를 역동성(dynamics) 및 월드 모델링(world modeling)으로 확장하는 것을 제안합니다.