💻 computer science

Kitchen Robotic Manipulation utilizing Foundation Models

본 논문은 견고한 6D 포즈 추정과 파지 계획을 달성하기 위해 여러 파운데이션 모델을 통합하여 주방 로봇 조작을 위한 모듈형 인지 파이프라인을 제시하며, 혼잡한 벤치마크에서 89.12%의 ADI를 입증하고 접시 옮기기 및 컵 쌓기와 같은 작업을 위한 물리적 로봇에서의 성공적인 제로샷 배포를 보여준다.

원저자: Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Myung-Hwan Jeon, Sankalp Yamsani, Joohyung Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 지저집한 주방에서 도움을 주는 법을 가르친다고 상상해 보세요. 단순해 보이지만, 기계에게 주방은 혼돈의 악몽입니다. 모든 도구가 정확히 같은 위치에 놓여 있는 공장과 달리, 주방은 쌓여 있는 접시, 다른 물건 뒤에 숨겨진 물건, 그리고 미끄럽고 반짝이는 표면들로 가득합니다. 로봇이 커피 머그잔을 집어 올리려면, 먼저 머그잔을 명확하게 "보고", 3D 공간에서 그것이 정확히 어디에 있는지 파악하며, 전체 더미를 쓰러뜨리지 않고 어떻게 잡아야 할지 알아야 합니다. 이것이 바로 **로봇 인지(robotic perception)**의 세계입니다. 즉, 기계에게 눈과 뇌를 부여하여 변화무쌍하고 어지러운 세상을 이해하게 만드는 과학입니다.

이를 위해 과학자들은 **파운데이션 모델(Foundation Models)**을 개발해 왔습니다. 이 모델들을 특정 업무를 시작하기 전, 인터넷에 있는 거의 모든 책을 읽고 거의 모든 사진을 살펴본 아주 똑똑한 학생이라고 생각해보세요. 이들은 워낙 많은 것을 보았기 때문에, 새로운 방에 들어갈 때마다 처음부터 다시 배울 필요가 없습니다. 그저 일반적인 지식을 활용해 본 적 없는 특정 컵이라 할지라도 그것이 "컵"임을 인식할 수 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다. 이 강력하고 사전 학습된 "두뇌"를 로봇의 몸에 직접 연결하여, 매번 집집마다 맞춤형 훈련을 거치지 않고도 가사 노동을 처리하게 만들 수 있을까?

주방 로봇의 새로운 "스위스 아미 나이프" 두뇌

이 논문에서 연구진은 로봇 팔이 어지러운 주방 싱크대를 통과하고 접시를 옮길 수 있도록 설계된 로봇 "인지 파이프라인"을 구축했습니다. 하나의 거대하고 경직된, 특정 주방에서만 작동하는 두뇌를 만드는 대신, 그들은 모듈형 시스템을 만들었습니다. 고성능 카메라에서 촬영 대상에 따라 렌즈, 센서, 프로세서를 교체할 수 있는 것과 같습니다. 이 로봇 시스템도 동일하게 작동합니다. 연구자들이 다양한 "파운데이션 모델"을 서로 조합하여, 어떤 조합이 접시를 찾고 잡는 데 가장 적합한지 실험할 수 있게 해줍니다.

로봇의 임무는 접시, 컵, 그릇이 가득 찬 싱크대를 보고, 각 물건이 정확히 어디에 있는지(3D 공간에서의 위치와 각도를 의미하는 6D 포즈), 그리고 이를 안전하게 집어 올릴 방법을 계획하는 것입니다. 연구팀은 엉킨 더미와 숨겨진 물건들이 포함된 20개의 실제 주방 장면 데이터셋을 사용하여 이 시스템을 테스트했습니다.

성공을 위한 레시피

연구진은 단순히 어떤 모델을 사용할지 추측한 것이 아니라, 시각 및 기하학적 모델의 24가지 조합을 체계적으로 테스트했습니다. 그들은 완벽한 맛을 찾기 위해 재료를 바꾸며 요리하는 것처럼 시스템을 다루었습니다.

눈 (시각 모델): 이 모델들은 2D 이미지를 보고 그곳에 어떤 물체가 있는지 인식합니다.
손 (기하학적 모델): 이 모델들은 물체의 3D 형태를 보고 그 구조를 이해합니다.
접착제 (특징 융합): 그들은 단순히 눈이나 손 중 하나만 사용하는 것으로는 충분하지 않다는 것을 발견했습니다. 비결은 2D 이미지 특징과 3D 포인트 클라우드 특징을 **융합(fusing)**하는 것이었습니다. 이는 마치 탐정이 사진을 통해 얼굴을 인식할 뿐만 아니라, 사람의 체형을 이해하여 정확히 어떻게 악수를 해야 할지 아는 것과 같습니다.

수치를 분석한 결과, 연구팀은 "챔피언" 구성을 찾아냈습니다: 물체를 포착하는 LLMDet, 물체를 배경에서 분리하는 SAMv2, 미세한 디테일을 인식하는 DINOv2, 그리고 3D 기하학적 구조를 이해하는 GeoTransformer입니다. 이 네 가지가 함께 작동했을 때, 로봇은 **89.12%의 ADI (구분 불가능한 뷰의 평균 거리)**를 달enc성했습니다. 쉽게 말해, 접시가 부분적으로 가려져 있거나 주변이 어지러운 상황에서도 로봇이 접시의 위치와 각도를 놀라운 정확도로 추정할 수 있었다는 뜻입니다.

현실 세계에서의 증명

가장 놀라운 점은 무엇일까요? 그들은 시뮬레이션에서 멈추지 않았습니다. 이 "챔피언" 구성을 실제 주방에 있는 물리적인 로봇 팔에 적용했습니다. 연구진은 로봇이 다음의 과정을 성공적으로 수행하는 것을 관찰했습니다:

접시를 싱크대에서 식기세洗浄기로 옮기기.
카운터 위에 컵을 쌓기.
지저집한 싱크크에서 물건을 집어 올리기.

로봇은 해당 주방에 대해 별도의 재학습 없이 이 모든 일을 해냈습니다. 그 특정 집의 "컵"이 어떻게 생겼는지 배울 필요 없이, 이미 학습된 파운데이션 지식을 사용한 것입니다. 일련의 실제 테스트에서 로봇은 **87.5%**의 성공률(296회 시도 중 259회 성공)을 기록했습니다.

한계점

이 논문은 시스템이 아직 완벽하지 않은 부분에 대해서도 솔직하게 밝히고 있습니다. 주요 실패 원인은 로봇의 "두뇌"가 물체를 보지 못한 것이 아니라, 로봇의 "손"이 미끄러진 것이었습니다. 로봇은 물건을 부드럽게 잡기 위해 컴플라이언트 그리퍼(부드럽고 적응력이 있는 손)를 사용하지만, 특히 좁고 복잡한 싱크크에서 컵을 쌓을 때 물건이 운반 중에 미끄러지는 경우가 있었습니다. 또한, 탐지가 약간 어긋날 경우 엉뚱한 곳을 잡으려고 시도하기도 했습니다. 그러나 저자들은 이러한 문제들이 인지 시스템의 실패가 아닌, 그리퍼의 물리적인 도전 과제라고 언급했습니다.

이것이 중요한 이유

이 연구는 우리가 모든 집을 위해 새로운 맞춤형 로봇 두뇌를 만들 필요가 없다는 것을 시사합니다. 대신, 작업을 수행하기 위해 최적의 "파운데이션 모델"을 교체할 수 있는 유연하고 모듈화된 시스템을 사용할 수 있습니다. 이는 시각적 지능과 기하학적 지능을 적절히 결합함으로써, 로봇이 매번 모든 과업을 배우는 과정 없이도 인간의 집이라는 무질서하고 예측 불가능한 현실에 적응할 수 있음을 증명합니다. 로봇의 움켜쥐는 힘을 더 강하게 하고 움직임을 더 부드럽게 만드는 작업이 여전히 남아 있지만, 이 파이프라인은 실제로 설거지를 도와줄 수 있는 로봇을 향한 실질적이고 확장 가능한 경로를 제시합니다.

기술 요약: 파운데이션 모델을 활용한 주방 로봇 조작 (Kitchen Robotic Manipulation utilizing Foundation Models)

문제 정의

일상적인 인간의 환경, 특히 주방과 같은 공간에 로봇 시스템을 배치하는 것은 구조화되지 않고, 동적이며, 복잡한 환경 특성으로 인해 상당한 어려움을 수반한다. 전통적인 비전 기반 로봇 시스템은 특정 작업 중심의 데이터셋과 지도 학습에 크게 의존하며, 이는 사전 정의된 환경을 벗어난 일반화 성능이 부족하다는 한계가 있다. 결과적으로, 이러한 시스템은 광범위한 수동 개입이나 재학습 없이 낯선 환경이나 변화하는 물체 배치에 대응할 수 있는 적응력이 부족하다. 최근의 파운데이션 모델들이 다양한 도메인에서 놀라운 일반화 능력을 입증해 왔음에도 불구하고, 고수준의 인식을 구체적인 물리적 조작(예: 6D 포즈 추정 및 파지 계획)의 요구사항과 연결할 수 있는 견고한 인지 파이프라인에 이러한 모델들을 체계적으로 통합하는 데에는 여전히 중요한 격차가 존재한다.

방법론

저자들은 가구 조작 작업, 특히 주방 환경에서의 식기 취급에 초점을 맞춘 모듈형 인지 파이프라인을 제안한다. 이 시스템은 주방 내 물품 목록이 비교적 안정적이며 대상 물체의 3D CAD 모델이 사용 가능하다는 가정하에 작동한다. 파이프라인은 네 가지 주요 단계로 구성된다:

다중 뷰 인스턴스 분할 (Multi-View Instance Segmentation): 시스템은 Open-Vocabulary Object Detection (OVOD)를 사용하여 Segment Anything Model (SAMv2)을 위한 바운딩 박스 프롬프트를 생성한다. 여러 뷰 사이의 일관성을 보장하기 위해, 시스템은 깊이 데이터와 카메라 포즈를 사용하여 마스크를 투영하고, IoU(Intersection over Union) 임계값을 기준으로 일관된 객체 ID를 할당하는 교차 뷰 검증 메커즘을 사용한다.
인스턴스 인식 3D 맵 재구성 (Instance-Aware 3D Map Reconstruction): 파이프라인은 RGB-D 프레임을 융합하여 3D 시맨틱 맵을 구축한다. 특징 매칭(feature matching)에 기반한 거친(coarse) 3D 포인트 클라우드 등록을 수행한 후, 포즈 오차를 수정하기 위해 Iterated Closest Point (ICP) 정밀화를 적용한다. 분할 마스크로부터 추출된 인스턴스 ID가 포인트 클라우드에 할당되어 인스턴스 인식 맵을 생성한다.
2D-3D 특징 융합 및 포즈 추정 (2D-3D Feature Fusion and Pose Estimation): 이는 파이프라인의 핵심 혁신이다. 각 분할된 인스턴스에 대해, 시스템은 시각적 파운데이션 모델( $\Phi$ $Φ$ )과 기하학적 파운데이션 모델( $\Psi$ $Ψ$ )을 사용하여 특징을 추출한다.
- 시각적 특징 (Visual Features): 잘라낸 객체 영역으로부터 추출되어 깊이 및 카메라 포즈를 통해 3D 공간으로 투영되며, 복셀 풀링(voxel pooling)을 통해 집계된다.
- 기하학적 특징 (Geometric Features): 객체 포인트 클라우드에서 직접 계산된다.
- 융합 (Fusion): 이미지와 포인트 특징은 L2-정규화(L2-normalized)된 후 결합되어 통일된 per-point 특징 표현을 형성한다.
- 등록 (Registration): 시스템은 쿼리 특징을 렌더링된 CAD 모델 특징 데이터베이스와 비교하여 객체 후보 제안을 수행한다. 그 후, 융합된 특징 공간에서의 대응 기반 정렬(correspondence-based alignment)을 사용하여 객체 등록을 실행하고, 이어서 ICP 정밀화를 수행한다.
파지 추정 (Grasp Estimation): 추정된 6D 포즈와 사전 정의된 CAD 모델을 사용하여 파지 후보를 생성한다. 이 후보들은 물리적 실행 가능성을 보장하기 위해 운동학적 타당성 검사(역운동학), 충돌 회피(FCL 사용), 그리고 도달 가능성 제약 조건을 통해 필터링된다.

이 아키텍처는 최적의 구성을 식별하기 위해 서로 다른 시각 및 기하학적 파운데이션 모델을 교체할 수 있도록 명시적으로 모듈화되도록 설계되었다.

주요 기여

본 논문은 세 가지 주요 기여를 제시한다:

통합 파이프라인 통합 (Unified Pipeline Integration): 환경 특화된 학습이나 미세 조정 없이 다양한 주방 환경에서 작동하는, 다수의 파운데이션 모델을 통합한 시스템 수준의 6D 포즈 인지 파이프라인을 제시한다.
모듈형 아키텍처 및 체계적 평가 (Modular Architecture and Systematic Evaluation): 각 구성 요소를 교체할 수 있는 유연한 프레임워크를 제공한다. 저자들은 최적의 구성을 식별하기 위해 커스텀 실제 주방 데이터셋에서 24가지의 시각 및 기하학적 파운데이션 모델 조합을 체계적으로 평가하였다.
실제 환경 검증 (Real-World Validation): 물리적 로봇 플랫폼에서 복잡한 주방 작업(싱크대에서 식기세척기로의 이동, 컵 쌓기)을 수행하는 통합 시스템을 시연함으로써 확장성과 실용적 유용성을 입증하였다.

실험 결과

저자들은 다양한 혼잡도, 폐쇄(occlusion), 물체 배치를 포함하는 20개의 실제 주방 장면으로 구성된 커스텀 데이터셋에서 파이프라인을 평가하였다.

최적의 구성: LLMDet(OVOD), SAMv2(Segmentation), DINOv2(Visual Foundation), 그리고 GeoTransformer(Geometric Foundation)의 조합이 가장 높은 성능을 달성했다.
정량적 성능: 이 구성은 20개 장면 벤치마크에서 ICP 정밀화 없이 **88.92%**의 ADI(Average Distance of model points for Indistinguishable views)를 달성했다. ICP 정밀화를 적용했을 때 정확도는 **89.12%**로 향상되었다. 비교 대상으로, 최신 기술인 FoundationPose 방식은 ground-truth 마스크가 제공되었음에도 불구하고 87.32%의 ADI를 기록했으나, 제안된 최적 구성은 이러한 이상적인 입력 없이도 이를 능가했다.
특징 융합의 영향: 연구 결과, 2D 이미지 특징과 3D 기하학적 특징을 융합하는 것이 모든 구성에서 일관되게 성능을 향상시킨다는 점이 확인되었다. GeoTransformer는 전역적 맥락(global context)에 대한 의존성 때문에 단독으로는 성능이 낮았으나, DINOv2의 변별력 있는 이미지 특징과 융합되었을 때 가장 높은 정확도를 기록했다.
실제 성공 사례: 두 가지 서로 다른 주방 환경에서 296회의 시험을 포함한 물리적 시연에서, 시스템은 단순 파지 및 컵 쌓기 작업을 포함하여 **87.50%**의 성공률을 달성했다.
실패 분석: 대부분의 실패는 인지 오류보다는 그리퍼의 유연한 특성으로 인한 그리퍼 미끄러짐이나, 매우 혼잡한 시나리오에서 주변 물체를 실수로 움직이는 것과 같은 물리적 상호작용 문제에서 기인했다.

의의 및 주장

본 논문은 제안된 모듈형 파이프라인이 환경 특화된 재학습 없이도 파운데이션 모델을 효과적으로 통합하여 조작 작업을 처리할 수 있음을 보여줌으로써 가구 로봇 공학을 위한 실질적인 프레임워크를 제공한다고 주장한다. 저자들은 자사의 접근 방식이 다음과 같음을 강조한다:

확장성 제공: 시스템은 추가적인 튜닝 없이 다양한 로봇 시스템과 새로운 환경에 적응한다.
유연성 제공: 모듈형 설계는 사용자가 특정 계산 제약 조건이나 작업 난이도에 맞춰 모델 조합을 맞춤화할 수 있게 한다.
인지와 제어의 연결: 인지와 제어를 하나의 학습된 모델로 묶는 엔드투엔드(end-to-end) 비전-언어-행동 정책과 달리, 이 방식은 클래식한 모션 플래너와 호환되는 명시적인 6D 포즈를 생성하여 다양한 센서 구성 간의 재사용성을 보장한다.

저자들은 CAD 모델에 대한 의존성(알려지지 않은 물체에 대한 적용 제한), 그리퍼 제약으로 인한 간헐적인 파지 실패, 촘촘하게 쌓인 물체를 위한 더 발전된 조작 전략의 필요성 등 한계점을 인정하였다. 또한 향후 연구로서 학습된 궤적 생성기(learned trajectory generators) 및 새로운 물체의 온보딩을 위한 다중 뷰 재구성 방법 등을 제안하였다.