UniPR: Unified Object-level Real-to-Sim Perception and Reconstruction from a Single Stereo Pair

이 논문은 기존 모듈식 파이프라인의 비효율성과 누적 오차 문제를 해결하기 위해 단일 스테레오 이미지 쌍으로부터 모든 객체를 병렬로 감지하고 물리적 비율을 보존하는 재구성을 수행하는 최초의 엔드투엔드 프레임워크인 UniPR 과 대규모 데이터셋 LVS6D 를 제안합니다.

핵심

이 논문은 **'UniPR'**이라는 새로운 기술을 소개합니다. 이 기술은 로봇이 우리 눈앞의 사물을 보고, 그 모양과 크기를 정확히 3D 공간으로 재현할 수 있게 해줍니다.

이 복잡한 기술을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

1. 기존 방식의 문제점: "조립식 장난감"의 비효율

기존에 로봇이 사물을 인식하고 3D로 만드는 과정은 마치 조립식 장난감을 만드는 과정과 비슷했습니다.

1. 먼저 사물을 찾고 (탐지),
2. 사물의 윤곽을 가위로 오리고 (분할),
3. 그 모양을 추측해서 3D 로 만들고 (재구성),
4. 마지막으로 어디에 있는지 위치를 잡는 (포즈 추정)
   과정을 거쳤습니다.

문제점: 이 과정은 각 단계마다 실수가 쌓입니다. 가위로 오를 때 조금만 잘못 잘려도, 그 다음 단계인 3D 모델링이 망가집니다. 또한, 각 단계가 따로따로 돌아가서 시간이 매우 오래 걸리고, 특히 사물의 실제 크기 비율이 왜곡되기 쉽습니다. (예: 컵이 너무 길쭉하거나, 공이 납작해지는 등)

2. UniPR 의 혁신: "한 번에 뚝딱!" (엔드 투 엔드)

UniPR 은 이 복잡한 조립 과정을 없애고, 한 번의 작업으로 모든 것을 해결합니다.

• 비유: 기존 방식이 레고 블록을 하나하나 찾아서 조립하는 거라면, UniPR 은 마법 같은 3D 프린터처럼 한 번에 통째로 출력해냅니다.
• 작동 원리: 카메라로 찍은 **두 장의 사진 (스테레오 이미지)**만 입력하면, 로봇은 동시에 사물을 찾고, 모양을 만들고, 위치를 파악합니다.
• 효과: 기존 방식보다 최대 100 배 빠르며, 사물의 실제 크기 비율을 정확하게 유지합니다.

3. 핵심 기술 3 가지 (왜 UniPR 이 특별한가?)

① "양안 시력"을 이용한 정확한 크기 측정 (스테레오 비전)

• 비유: 우리 눈이 두 개여서 사물의 깊이를 알 수 있듯이, UniPR 도 두 개의 카메라를 사용합니다.
• 이유: 한 눈 (단안 카메라) 으로만 보면 사물이 얼마나 멀리 있는지, 실제 크기가 얼마인지 알기 어렵습니다. 하지만 두 눈 (스테레오) 으로 보면 기하학적 제약을 통해 사물의 실제 크기를 정확히 계산할 수 있습니다. 덕분에 로봇이 사물을 잡을 때 크기를 잘못 판단하는 실수가 사라집니다.

② "회전하는 구슬" 아이디어 (구형 볼륨 공간)

• 비유: 사물을 정육면체 (상자) 안에 넣어서 회전시키면, 모서리가 튀어나와서 상자가 커져야 합니다. 하지만 UniPR 은 사물을 구 (공) 모양 안에 넣습니다.
• 이유: 공은 어떤 방향으로 돌려도 크기가 변하지 않습니다. 이 방식을 통해 사물이 비스듬히 놓여 있거나 회전되어 있어도 모양과 크기의 비율이 깨지지 않고 정확하게 재현됩니다.

③ "한 번에 여러 명" (병렬 처리)

• 비유: 기존 방식은 사물 하나하나를 불러와서 일일이 처리하는 1 대 1 상담이었다면, UniPR 은 대규모 회의처럼 한 번에 모든 사물을 동시에 인식합니다.
• 이유: 책상 위에 사과, 컵, 펜이 여러 개 있어도, 하나씩 처리할 필요 없이 한 번에 다 인식하고 3D 모델을 만듭니다.

4. 새로운 데이터셋: "LVS6D" (거대한 사물 도서관)

이 기술을 가르치기 위해 연구진은 6,300 개가 넘는 다양한 사물로 구성된 새로운 데이터셋 (LVS6D) 을 만들었습니다.

• 비유: 기존에는 '컵'이나 '의자'처럼 몇 가지 종류만 가르쳤다면, UniPR 은 일상생활의 거의 모든 물건 (과일, 공구, 장난감 등 192 가지 카테고리) 을 학습했습니다.
• 효과: 로봇이 처음 보는 낯선 사물이라도 UniPR 을 통해 그 모양과 크기를 잘 이해할 수 있게 되었습니다.

5. 결론: 로봇의 눈과 손이 하나로 연결되다

이 연구의 가장 큰 의의는 로봇이 현실 세계의 사물을 보고, 시뮬레이션 (가상 공간) 에서 똑같은 크기와 모양으로 재현할 수 있게 했다는 점입니다.

• 기존: "아, 저게 컵인 것 같아. 대충 모양을 만들어볼까?" (크기 불일치, 느림)
• UniPR: "저건 15cm 크기의 컵이야. 여기 위치하고, 이 모양이야. 바로 잡을 수 있어!" (정확함, 빠름)

이 기술이 발전하면, 로봇이 우리 집 부엌이나 공장에서 실제 사물을 보고도 망설임 없이 정확하게 잡거나 조립할 수 있는 시대가 열릴 것입니다. 마치 로봇이 인간의 눈과 손의 감각을 완벽하게 모방하는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

로봇 조작 (Robot Manipulation) 및 시뮬레이션 (Real-to-Sim) 전이 작업에서는 실제 세계의 객체를 정밀하게 인식하고, 물리적 크기와 비율이 보존된 3D 형태로 재구성하는 것이 필수적입니다. 그러나 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 모듈식 파이프라인의 비효율성: 기존 접근법은 검출 (Detection), 분할 (Segmentation), 형상 재구성 (Shape Reconstruction), 포즈 추정 (Pose Estimation) 을 별도의 모듈로 분리하여 순차적으로 수행합니다. 이로 인해 각 단계에서 발생하는 오차가 누적되고 (Error Propagation), 전역적 컨텍스트가 손실되며, 계산 효율성이 낮아집니다.
• 형태 비율 (Shape Proportion) 왜곡: 최근의 이미지-to-3D 생성 모델 (예: Hunyuan3D, Trellis) 은 시각적 충실도는 높지만, 단일 이미지 (Monocular) 입력의 특성상 깊이 정보가 부족하여 객체의 실제 물리적 크기 비율 (Scale ambiguity) 을 보존하지 못합니다. 이는 로봇이 실제 물체를 조작할 때 실패를 초래합니다.
• 범용성 부족: 기존 카테고리 기반 방법들은 사전 정의된 정규화 공간 (Canonical Space) 에 의존하여 특정 카테고리 (보통 6 개 미만) 에만 제한적으로 작동하며, 새로운 객체에 대한 일반화가 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 한계를 해결하기 위해 UniPR이라는 단일 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안했습니다. 이 프레임워크는 스테레오 이미지 한 쌍을 입력받아 모든 객체의 위치, 크기, 포즈를 인식된 3D 형상과 함께 병렬로 재구성합니다.

핵심 구성 요소:

1. Pose-Aware Shape Representation (PASR):

   • 기존 방법들이 사용하는 카테고리별 정규화 공간 (Canonical Space) 을 제거합니다.
   • 대신, 관측 공간 (Observation Space) 에서 객체의 포즈와 기하학적 형상을 결합하여 인코딩합니다.
   • 구형 볼륨 공간 (Spherical Voxel Space): 회전된 객체를 큐브 (Cubic) 볼륨 공간에 정규화할 때 발생하는 스케일 모호성을 해결하기 위해, 단위 구 (Unit Sphere) 를 기반으로 한 볼륨 공간을 사용하여 회전 불변성을 보장합니다.
   • Pose-Aware Shape VAE: 객체 표면 포인트 클라우드를 경량화된 잠재 벡터 (Latent Embedding) 로 인코딩하고, 이를 통해 회전된 객체의 점유율 (Occupancy) 을 디코딩하는 변이 오토인코더 (VAE) 를 설계했습니다.

2. Triplane Encoder & Transformer Decoder:

   • 스테레오 특징 추출: DINOv2 를 활용하여 스테레오 이미지 쌍에서 특징을 추출합니다.
   • Triplane-View (TPV) Feature: 스테레오 정보를 전역 좌표계로 통합하기 위해 3 개의 평면 (U-V, U-D, V-D) 으로 구성된 Triplane 특징을 생성합니다. 이를 통해 깊이 (Depth) 정보를 명시적으로 활용합니다.
   • 병렬 객체 처리: DETR 아키텍처를 기반으로 한 Transformer 디코더를 사용하여, 객체 쿼리 (Object Queries) 를 통해 장면 내 모든 객체를 단일 순전파 (Single Forward Pass) 로 동시에 감지하고 재구성합니다.

3. 엔드 - 투 - 엔드 파이프라인:

   • 검출, 분할, 포즈 추정, 형상 재구성을 하나의 네트워크로 통합하여 중간 모듈을 제거하고 오차 누적을 방지합니다.
   • 분류 헤드를 제거하고, CLIP 모델을 활용하여 2D 바운딩 박스를 기반으로 카테고리 라벨을 할당함으로써 분류 오차를 줄였습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 엔드 - 투 - 엔드 Real-to-Sim 프레임워크: 검출, 분할, 재구성을 통합하여 단일 스테레오 이미지 쌍으로부터 물리적으로 정확한 3D 객체를 생성하는 최초의 방법입니다.
2. Pose-Aware Shape Representation (PASR): 사전 정의된 카테고리별 정규화 공간 없이도 수백 개의 객체 카테고리에 확장 가능하며, 실제 물리적 비율과 공간 관계를 정확히 보존합니다.
3. 고효율 병렬 처리: 기존 순차적 처리 방식 대비 최대 100 배 빠른 생성 속도를 달성하며, 복잡한 다중 객체 장면에서도 실시간 처리가 가능합니다.
4. 대규모 스테레오 데이터셋 (LVS6D): 192 개의 카테고리, 6,300 개 이상의 객체를 포함하는 대규모 스테레오 데이터셋을 구축하여, 사전 정의된 정규화 공간 없이도 대규모 연구가 가능하도록 했습니다.

4. 실험 결과 (Results)

• 재구성 정확도: Hunyuan2.1, Trellis 등 최신 이미지-to-3D 생성 모델과 비교했을 때, Chamfer Distance (CD) 와 Shape Proportion Error (SPE) 에서 압도적인 성능을 보였습니다. 특히 SPE(형태 비율 오차) 는 기존 모델 대비 3 배 이상 개선되었습니다.
• 효율성: 단일 객체 처리가 아닌 전체 장면 처리 시, 기존 방법 대비 100 배 이상의 속도 향상을 기록했습니다.
• LVS6D 데이터셋 성능: Coders (기존 스테레오 기반 SOTA) 와 비교하여 Easy, Medium, Hard 모든 난이도 구간에서 평균 정밀도 (AP) 와 위치/형상 오차 (APE, ACD) 에서 우위를 점했습니다. 특히 복잡한 기하학적 구조를 가진 Hard 카테고리에서 PASR 의 효과가 두드러졌습니다.
• 실제 로봇 적용: 예측된 메트릭 스케일 (Metric Scale) 의 포즈와 형상을 기반으로 실제 로봇이 다양한 물체를 성공적으로 그랩 (Grasp) 하는 실험을 통해 실용성을 입증했습니다.

5. 의의 및 중요성 (Significance)

UniPR 은 로봇 공학 및 시뮬레이션 분야에서 **실제 세계와 가상 세계 간의 정밀한 매핑 (Real-to-Sim Transfer)**을 가능하게 하는 획기적인 기술입니다.

• 물리적 정확성 보장: 스테레오 비전의 기하학적 제약을 활용하여 깊이 정보의 모호성을 해결함으로써, 로봇이 실제 물체의 크기와 비율을 정확히 인식하고 조작할 수 있는 기반을 마련했습니다.
• 확장성: 카테고리별 정규화 공간에 의존하지 않아, 학습되지 않은 새로운 객체 (Unseen Objects) 나 복잡한 형태에도 유연하게 대응할 수 있습니다.
• 실시간성: 병렬 처리를 통한 고속 추론은 로봇의 실시간 환경 인식 및 의사결정 시스템에 직접 적용 가능한 수준으로 끌어올렸습니다.

결론적으로, UniPR 은 기존 모듈식 파이프라인의 비효율성과 생성 모델의 물리적 불일치 문제를 동시에 해결하여, 차세대 지능형 로봇의 환경 이해 및 조작 능력을 혁신할 수 있는 핵심 기술로 평가됩니다.