💻 computer science

Single-View 3D Shape and Pose Estimation of Transparent Objects Using Statistical Shape Models

본 논문은 YOLO11을 활용한 초기 탐지와 기존 깊이 센서의 한계를 극복하기 위한 범주별 통계적 형상 모델의 반복적 최적화를 통해, 단일 RGB-D 이미지로부터 투명 객체의 완전한 3D 형상과 포즈를 추정하는 방법을 제안한다.

원저자: Toshiro Nakano, Kaihei Okada, Tokuo Tsuji, Hiroaki Seki, Toshihiro Nishimura, Yosuke Suzuki, Tetsuyou Watanabe

게시일 2026-08-03

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Toshiro Nakano, Kaihei Okada, Tokuo Tsuji, Hiroaki Seki, Toshihiro Nishimura, Yosuke Suzuki, Tetsuyou Watanabe

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

표준적인 깊이 카메라(depth camera)를 사용하여 유리잔이나 크리스털 꽃병의 완벽한 3D 사진을 찍으려고 시도한다고 상상해 보십시오. 그것은 마치 유령을 지도화하려는 것과 같습니다. 빛이 유리에 반사되거나, 유리를 통과하며 굴절되거나, 혹은 그대로 통과해 버리기 때문에 카메라는 혼란에 빠지고 결과물은 구멍이 뚫리거나 결함이 가득한 이미지가 됩니다. 이는 로봇에게 매우 큰 문제입니다. 로봇 팔이 유리병을 집어 올리려면, 병이 정확히 어디에 있는지, 어떻게 기울어져 있는지, 그리고 보이지 않는 부분까지 포함한 전체 형상이 어떤지를 알아야 합니다. 그것 없이는 로봇이 허공을 잡으려 하거나 물체를 찌그러뜨릴 수도 있습니다. 과학자들은 화려하고 새로운 카메라를 사용하거나 모든 각도에서 수백 장의 사진을 찍는 방식으로 이를 해결하려 노력해 왔지만, 그러한 솔루션들은 로봇이 실시간으로 사용하기에는 너무 느리거나, 너무 비싸거나, 혹은 너무 복잡한 경우가 많습니다.

이 논문은 로봇이 단 한 번의 빠른 스냅샷만으로 투명한 물체의 전체 형상을 "추측"하도록 가르침으로써 이 난해한 문제를 해결합니다. 저자들은 "통계적 형상 모델(Statistical Shape Model, SSM)"이라는 영리한 기법을 사용합니다. SSM을 디지털 점토 틀이라고 생각하면 쉽습니다. 이 틀은 와인 잔과 같은 특정 범주의 평균적인 형태를 학습한 상태입니다. 즉, 와인 잔은 보통 줄기(stem), 볼(bowl), 그리고 테두리(rim)를 가지고 있으며, 이러한 부분들이 어떻게 늘어나거나 줄어들며 다양한 형태의 잔이 될 수 있는지를 알고 있습니다. 이 "기억(이미 알고 있는 형태)"을 단 한 장의 사진 및 깊이 스캔(유리가 놓여 있는 테이블을 보여주는 데이터)과 결합함으로써, 이 방식은 누락된 구멍들을 채우고 물체의 정확한 위치와 방향을 파악할 수 있습니다. 연구진은 이 접근 방식이 이전 방법들보다 숨겨진 부분을 추측하는 데 훨씬 더 정확할 뿐만 아니라 훨씬 더 빠르다는 것을 발견했으며, 이는 로봇이 투명하고 섬세한 물체를 다루는 데 있어 유망한 단계가 될 수 있음을 보여줍니다.

이 연구의 핵심은 단 하나의 RGB-D 이미지(색상 정보와 깊이 데이터를 모두 포함하는 사진)를 사용하여 투명한 물체의 완전한 3D 형상과 포즈(위치 및 방향)를 추정하는 새로운 방법입니다. 저자들은 기존 솔루션들에 상당한 결함이 있다고 주장합니다. 어떤 것들은 값비싼 특수 카메라를 필요로 하고, 어떤 것들은 수십 장의 사진을 다른 각도에서 찍어야 해서 시간이 너무 오래 걸리며, 누락된 깊이 정보를 "채우려고" 시도하는 많은 딥러닝 모델들은 조명이나 배경이 바뀔 때 실패하는 경우가 많습니다. 본 논문은 표준적인 깊이 센서만으로는 투명한 물체를 신뢰성 있게 측정할 수 없다는 점을 명시하며, 반사와 굴절이 "누락되거나 잘못된 깊이 값"을 생성한다고 지적합니다. 제안된 방법은 깨진 깊이 데이터를 직접 수정하려고 노력하는 대신, 수학적으로 생성된 스마트한 모델로 그 깨진 데이터를 대체합니다.

이 과정은 3D 퍼즐을 가지고 하는 "뜨겁다 차갑다(Hot and Cold)" 게임과 같습니다. 먼저, 시스템은 YOLO11이라는 도구를 사용하여 컬러 사진을 살펴보고 물체가 무엇인지(예: 병), 어느 방향을 향하고 있는지, 그리고 그 윤곽선이 무엇인지 식관별합니다. 또한 깊이 이미지를 살펴 물체가 놓여 있는 평평한 표면(테이블)을 찾습니다. 이 정보와 함께 시스템은 데이터베이스에서 "통계적 형상 모델(SSM)"을 불러옵니다. 이 모델은 실제 사례들을 많이 스캔하여 구축된 유연한 3D 템플릿입니다. 시스템은 이 디지털 템플릿을 장면 속 물체가 있어야 할 대략적인 위치에 배치합니다.

그다음, 진짜 마법이 일어납니다. 시스템은 디지털 템플릿의 윤곽선(화면에 투영된 모습)과 사진에서 보이는 실제 물체의 윤곽선을 비교합니다. 만약 둘이 일치하지 않으면, 시스템은 템플릿의 모양, 회전, 크기를 미세하게 조정하고 다시 확인합니다. 시스템은 경사 하강법(gradient descent)이라는 수학적 기법을 사용하여 템플릿의 그림자가 실제 물체의 실루엣과 완벽하게 일치할 때까지 천천히 밀어 넣으며 이 과정을 반복합니다. 결정적으로, 시스템은 테이블 표면을 기준으로 템플릿의 위치를 교정하여 물체가 제대로 놓여 있도록 합니다. 이 반복적인 과정을 통해 로봇은 카메라에 보이지 않거나 숨겨진 물체의 부분을 "볼" 수 있으며, 뒷면을 포함한 전체 3D 형상을 재구성할 수 있습니다.

저자들은 플라스틱 병, 와인 잔, 컵을 포함한 데이터셋을 사용하여 이 방법을 테스트했으며, 물체가 똑바로 서 있거나, 옆으로 누워 있거나, 심지어 거꾸로 뒤집혀 있는 시나리오까지 포함했습니다. 또한 물체들이 서로의 뒤에 부분적으로 가려져 있는 상황에서도 테스트했습니다. 결과에 따르면, 이 방법은 ClearGrasp와 TDCNet이라는 두 가지 인기 있는 방법보다 깊이 추정 오차가 현저히 작았습니다. 연구진의 자체 데이터셋에서 이 방법의 평균 절대 오차(MAE)는 14.5mm였던 반면, ClearGrasp는 74.9mm, TDCNet은 39.2mm였습니다. 이는 SSM 접근 방식이 다른 방법들과 달리 카메라나 조명 조건이 변할 때 훨씬 더 견고하다는 것을 시사합니다. 다른 방법들은 특정 학습 데이터에서 벗어날 때 어려움을 겪는 것처럼 보였습니다.

나아가, 본 연구는 이 방법이 이전 버전의 SSM 기술보다 더 빠르다는 것을 입증했습니다. 기존 방법은 물체당 평균 4.32초가 걸렸던 반면, 새로운 방법은 이를 0.506초로 단축했습니다. 이러한 속도 향상은 시스템이 형상 변화를 계산하는 방식을 최적화하고, 그래픽 카드(GPU)를 사용하여 병렬로 무거운 연산을 처리함으로써 달성되었습니다. 또한 연구진은 SSM을 구축하는 데 더 많은 학습 모델을 사용할수록 최종 3D 형상의 정확도가 향상된다는 것을 발견했습니다. 4개의 모델을 사용했을 때 재구성된 형상의 오차가 평균 4.16mm였던 것에 비해, 8개의 학습 모델을 사용했을 때는 2.77mm로 떨어졌습니다.

하지만 논문은 한계점 또한 주의 깊게 언급하고 있습니다. 이 방법은 물체의 범주를 사전에 알고 있어야 한다는 것에 의존합니다. 즉, 이전에 본 적이 없거나 미리 만들어진 모델이 없는 투명한 물체의 형상은 추측할 수 없습니다. 또한 물체가 감지 가능한 평평한 표면에 놓여 있다고 가정합니다. 만약 테이블이 고르지 않거나 물체가 떠 있다면 이 방법은 어려움을 겪을 수 있습니다. 아울러, 시스템은 단일 뷰를 바탕으로 형상을 추측하기 때문에 SSM에 저장된 "사전 지식"에 크게 의존합니다. 만약 실제 물체가 학습된 평균적인 형상과 매우 다르다면, 특히 보는 방향에 따른 물체의 두께에 대해 추측이 약간 어긋날 수 있습니다.

결론적으로, 이 논문은 단일 뷰와 통계적 모델을 사용하여 투명한 물체의 완전한 3D 형상과 포즈를 성공적으로 추정하는 방법을 제시합니다. 이는 시각적 윤곽선과 전형적인 형상에 대한 "기억"을 결합함으로써 로봇이 표준적인 깊이 카메라의 한계를 극복할 수 있음을 시사합니다. 연구 결과는 이 접근 방식이 다양한 방향의 물체나 부분적으로 가려진 물체를 다룰 때 현재의 대안들보다 더 정확하고 빠르며, 로봇이 투명하고 섬세한 물체를 자신 있게 조작할 수 있는 실질적인 경로를 제공한다는 것을 보여줍니다.

기술 요약: 통계적 형상 모델을 이용한 투명 물체의 단일 뷰 3D 형상 및 포즈 추정

문제 정의

유리나 플라스틱으로 제작된 투명한 물체는 로봇의 인지 및 조작에 있어 상당한 어려움을 초ellig합니다. 기존의 RGB-D 센서는 빛의 반사, 굴절, 투과 현상으로 인해 투명한 영역에서 결측치나 잘못된 깊이 값을 생성하므로 투명 물체를 정확하게 측정하는 데 어려움을 겪습니다. 이러한 불확실성은 로봇 핸들에 장착된 카메라로부터의 단일 뷰 관찰에 의존하는 안정적인 로봇 파지(grasping)를 방해합니다.

기존 솔루션들은 다음과 같은 몇 가지 한계점을 가집니다:

특수 하드웨어: 편광 또는 라이트 필드 카메라를 사용하는 방식은 표준적이지 않은 전용 이미징 장치를 필요로 합니다.
다중 뷰 요구 사항: Neural Radiance Fields(NeRFs)와 같은 기술은 높은 정확도를 제공하지만, 여러 장의 이미지와 카메라 포즈가 필요하여 실시간 단일 뷰 로봇 작업에는 부적합합니다.
학습 기반 깊이 보완(Depth Completion): 딥러닝 기반 방법(예: ClearGrasp, TDCNet)은 단일 RGB-D 이미지에서 누락된 깊이를 추론할 수 있지만, 성능이 학습 조건에 크게 의존합니다. 이들은 비용이 많이 드는 재학습 과정 없이는 서로 다른 카메라, 조명 또는 물체 배치에 일반화되지 못하는 경우가 많습니다. 또한, 이들은 일반적으로 가시적인 표면 깊이만을 출력할 뿐 완전한 3D 기하 구조를 출력하지 않으므로, 파지 계획(grasp planning)에 활용하기에는 한계가 있습니다.
생성 모델: 대규모 생성 모델은 단일 이미지로부터 3D 형상을 생성할 수 있지만, 물리적 측정 정확도가 부족하고 추론 비용이 높으며, 누락된 깊이나 지지 평면과 같은 투명 물체의 단서들을 명시적으로 활용하지 못합니다.

방법론

저자들은 범주별 통계적 형상 모델(Statistical Shape Model, SSM)을 사용하여 단일 뷰 RGB-D 이미지로부터 투명 물체의 완전한 3D 형상과 포즈(위치 및 방향)를 추정하는 방법을 제안합니다. 이 접근 방식은 형상 사전 지식(shape priors)과 기하학적 제약을 활용함으로써 투명 영역 내의 불안정한 깊이 측정에 대한 의존을 피합니다.

1. 오프라인 준비

SSM 구축: 특정 물체 범주(병, 컵, 와인잔)에 대해 여러 3D 학습 모델로부터 SSM을 구축합니다. 이 모델들은 정점 대응(vertex correspondence)을 보장하기 위해 슈링크 랩(shrink-wrap) 기술을 사용하여 정렬됩니다. SSM은 주성분 분석(PCA)을 통해 형상 변화를 표현하며, 이를 통해 가중치 파라미터를 변화시켜 새로운 3D 형상을 생성할 수 있습니다.
인스턴스 분할 학습: YOLO11 기반 모델을 학습시켜 RGB 이미지로부터 대상 범주, 방향 및 인스턴스 마스크를 검출합니다.

2. 온라인 추론

추론 파이프라인은 초기화와 최적화의 두 가지 주요 단계로 구성됩니다.

관측 데이터 추출:
- RGB 이미지: YOLO11을 통해 물체의 범주, 방향 및 인스턴스 마스크를 추출합니다. Canny 에지 검출을 통해 대상 윤곽선( $C_{tgt}$ )을 생성합니다.
- 깊이 이미지: 깊이 이미지를 포인트 클라우드로 역투영하여 RANSAC을 이용해 지지 평면(물체가 놓여 있는 표면)을 추정합니다.
초기화:
- 검출된 범주와 방향을 기반으로 SSM을 초기화합니다.
- 옆으로 누워 있거나 뒤집힌 물체의 경우, 지지 평면에 투영된 대상 윤곽선의 주성분 벡터를 분석하여 초기 "옆방향"을 결정합니다.
- 초기 포즈는 대상 참조점과 추정된 지지 평면의 교차점을 통해 정밀하게 조정됩니다.
최적화 루프:
- 목표: 관측된 대상 윤곽선( $C_{tgt}$ )과 투영된 SSM 윤곽선( $C_{ssm}$ ) 사이의 영역 오차( $e$ )를 최소화합니다. 이 오차 메트릭은 전경 폐쇄(foreground occlusion)를 마스킹하여 처리함으로써 부분적인 가려짐을 고려합니다.
- 파라미터 업데이트: 경사 하강법 알고리즘을 사용하여 SSM 형상 파라미터( $b$ ), 회전 파라미터( $\theta, \phi, \psi$ ), 그리고 스케일 인자( $s$ )를 최적화합니다.
- 위치 보정: 최적화 과정 중, SSM 위치는 지지 평면 및 대상 윤곽선과 일치하도록 반복적으로 보정됩니다. 부분적인 가려짐이 발생할 경우, 영역 오차를 최소 최소화하기 위해 수평 위치 보정이 별도로 적용됩니다.
- 가속화: 이전 연구에서 사용된 순차적 CPU 기반 프로세스를 가속하기 위해 변형(deformation) 및 투영 단계를 GPU에서 병렬로 처리합니다.

주요 기여

완전한 3D 형상 및 포즈 추정: 본 방법은 범주별 SSM을 활용하여 단일 RGB-D 이미지로부터 투명 물체의 전체 3D 기하 구조(보이지 않는 후면 표면 포함)와 포즈를 추정합니다.
이미징 조건에 대한 강건성: 학습 기반의 깊이 보완 방법과 달리, 제안된 방식은 서로 다른 카메라나 환경을 위해 재학습할 필요가 없습니다. 기하학적 사전 지식과 지지 평면에 의존하므로 다양한 이미징 조건에 적응할 수 있습니다.
확장된 기능:
- 다양한 방향 대응: 직립 상태의 물체로 제한되었던 기존 SSM 기반 방식과 달리, 본 방법은 옆으로 누워 있거나 뒤집힌 구성도 처리할 수 있습니다.
- 부분적 가려짐 대응: 인스턴스 수준의 윤곽선 정보를 사용함으로써, 다른 투명 물체에 의해 일부가 가려진 상황에서도 형상을 추정할 수 있습니다.
- 효율성: GPU 병렬 처리와 효율적인 경사 기반 최적화를 통해 이전의 SSM 기반 방식보다 처리 시간을 크게 단축했습니다.

실험 결과

본 방법은 커스텀 RGB-D 데이터셋(Ours-normal 및 Ours-occluded)과 공개 데이터셋(ClearGrasp subset 및 TransCG)을 통해 평가되었습니다.

깊이 추정 정확도:
- 커스텀 데이터셋에서 제안된 방법은 MAE 14.5 mm, RMSE 52.2 mm를 달성하여 ClearGrasp(MAE 74.9 mm) 및 TDCNet(MAE 39.2 mm)보다 우수한 성능을 보였습니다.
- ClearGrasp 서브셋에 대해서도 제안된 방법은 ClearGrasp(31.4 mm) 및 TDCNet(40.0 mm)에 비해 우수한 정확도(MAE 11.2 mm)를 유지했습니다.
- 본 방법은 다양한 물체 범주와 방향(직립, 옆으로 누움, 뒤집힘)에 걸쳐 일관된 성능을 보여준 반면, 학습 기반 방법들은 다른 분포의 데이터셋으로 전이될 때 성능이 크게 저하되었습니다.
완전한 3D 형상 정확도:
- 실제 3D 스캔 데이터와 비교했을 때, 본 방법은 평균 완전 형상 RMSE 2.77 mm를 달성했습니다.
- 모든 범주의 직립 물체에 대해 이전 SSM 기반 방법(Okada 등)보다 우수한 성능을 보였습니다 (예: 평균 RMSE 2.39 mm vs 3.41 mm).
- 부분적인 가려짐이 있는 상황에서도 평균 RMSE 3.36 mm로 성공적으로 형상을 추정했습니다.
처리 시간:
- 제안된 방법은 물체당 0.506초를 소요하여, 이전 SSM 방법(4.32초)보다 훨씬 빨랐습니다.
- TDCNet(이미지당 0.0173초)보다는 느리지만, TDCNet이 제공하지 못하는 로봇 조작에 필수적인 완전한 3D 모델을 제공합니다.

의의 및 주장

본 논문은 제안된 방법이 단일 뷰의 효율성과 완전한 3D 기하학적 정확도 사이의 간극을 메움으로써 투명 물체의 로봇 인지를 위한 실질적인 솔루션을 제공한다고 주장합니다. 통계적 형상 모델을 활용함으로써 특수 센서, 다중 뷰 획득 또는 환경별 재학습의 필요성을 우회합니다.

저자들은 카메라에 보이지 않는 표면을 포함한 완전한 3D 기하 구조를 제공하는 것이, 기존의 깊이 센서나 학습 기반 보완 방법이 제공하는 가시적 표면 깊이만으로는 신뢰성 있게 수행할 수 없는 파지 계획 및 접촉 상태 추정과 같은 로봇 조작 작업에 매우 중요하다고 강조합니다. 다양한 방향과 부분적 가려짐을 처리할 수 있는 능력은 복잡한 실제 로봇 시나리오에 대한 적용 가능성을 더욱 확장합니다.