DeLTa: Demonstration and Language-Guided Novel Transparent Object Manipulation

이 논문은 자연어 지시와 단일 시연 기반의 6D 궤적 일반화를 통해 기존 방법의 한계를 극복하고 투명 물체의 정밀한 장기 작업 수행을 가능하게 하는 새로운 프레임워크인 DeLTa 를 제안합니다.

핵심

투명 물건을 다루는 로봇의 새로운 비법: 'DeLTa'

이 논문은 **"투명한 유리잔이나 플라스틱 병 같은 물건을 로봇이 어떻게 정확하게 잡고, 옮기고, 부을 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존 로봇들은 투명한 물건을 보면 "아, 여기 물체가 있네!"라고 생각하지 못했습니다. 카메라가 빛을 반사하거나 통과시켜서 물체의 위치를 제대로 파악하지 못했기 때문이죠. 이 문제를 해결하고, 로봇이 인간처럼 투명한 물건을 정교하게 다루게 만든 새로운 시스템 **'DeLTa'**를 소개합니다.

---

1. 왜 투명한 물건을 로봇이 다루기 힘든가요?

상상해 보세요. 투명한 유리잔 위에 카메라를 비추면, 카메라는 유리를 '보지' 못하거나, 유리에 비친 배경을 유리의 표면으로 착각합니다. 마치 안개 낀 날에 앞을 보는 것과 비슷하죠.
기존 로봇들은 이런 상황에서 물체의 위치를 대충 추측하거나, 미리 정해진 모양 (예: '모든 병은 똑같다') 만 기억하고 있어서, 모양이 조금만 달라도 실패했습니다. 게다가 "유리잔에 물을 부어줘" 같은 복잡한 지시를 듣고 여러 단계로 나누어 행동하는 것도 매우 어려웠습니다.

2. DeLTa 는 어떻게 해결할까요? (세 가지 핵심 비법)

이 시스템은 세 가지 마법 같은 도구를 합쳐서 문제를 해결합니다.

① "투명 물체를 보는 눈" (깊이 추정 기술)

기존 카메라 대신, 투명 물체의 숨겨진 윤곽을 찾아내는 특수 안경을 썼습니다.

• 비유: 안개 낀 날에 등불을 비추면 안개 속의 물체가 희미하게 보이지만, DeLTa 는 마치 안개를 걷어내고 물체의 실제 모양과 깊이를 선명하게 그려내는 3D 스캐너 역할을 합니다. 이를 통해 로봇은 투명한 유리잔의 정확한 위치와 모양을 파악할 수 있습니다.

② "한 번의 시연으로 모든 것을 배우는" (모방 학습)

기존 방식은 로봇에게 "이 유리잔은 이렇게 잡고, 저 유리잔은 저렇게 잡고..."라고 하나하나 가르쳐야 했습니다. 하지만 DeLTa 는 인간이 투명한 물건을 한 번만 보여주고 (시연), 그 동작을 다른 모양의 물건에도 적용할 수 있습니다.

• 비유: 요리사가 "이런 식으로 소스를 붓는 거야"라고 한 번 보여줬을 때, 로봇은 그 동작을 유리잔이든, 플라스틱 병이든, 모양이 달라도 똑같이 따라 할 수 있습니다. 마치 춤을 추는 법을 배우면, 어떤 음악이 흘러도 그 리듬에 맞춰 춤출 수 있는 것과 같습니다.

③ "로봇의 두뇌" (언어 지시와 계획)

"초록색 액체를 컵에 담아줘"라는 말을 들으면, 로봇은 이를 여러 단계로 나누어 실행합니다.

1. 초록색 액체가 든 병을 찾아라.
2. 병을 잡고 들어라.
3. 컵을 찾아라.
4. 병을 기울여 액체를 부어라.

• 비유: 이 과정은 로봇용 GPS 네비게이션과 같습니다. 목적지 (작업 완료) 를 입력하면, 로봇은 "아, 여기엔 장애물이 있네? 그럼 우회해야겠다"라고 스스로 경로를 수정하며, 충돌 없이 안전하게 이동합니다. 특히 로봇이 한 손으로만 작업하거나 카메라가 손에 달려 있는 경우의 제약까지 고려합니다.

3. 실제로 얼마나 잘할까요?

연구진은 실제 실험에서 세 가지 어려운 미션을 수행했습니다.

1. 좁은 선반에서 물건 꺼내기: 빽빽하게 들어찬 선반 사이에서 투명한 병을 정확히 집어내는 작업.
2. 화학 실험 시뮬레이션: 투명한 병에 액체를 정확히 부어 특정 색을 만드는 작업.
3. 마트 진열: 투명한 병들을 일렬로 정렬해서 선반에 진열하는 작업.

기존 방법들은 복잡한 작업 (액체 부어주기, 정렬하기) 에서 대부분 실패했지만, DeLTa 는 80~100% 의 성공률을 보여주며 압도적인 성능을 입증했습니다. 특히 액체를 부을 때 넘치지 않게 정교하게 조절하는 능력은 기존 로봇이 전혀 가지지 못했던 것이었습니다.

4. 결론: 로봇이 우리 집으로 온 날

이 연구는 로봇이 단순히 "물건을 집어 던지는" 기계에서 벗어나, 투명한 유리그릇을 조심스럽게 다루고, 복잡한 지시를 이해하며, 인간처럼 유연하게 행동하는 존재로 진화할 수 있음을 보여줍니다.

앞으로 우리 집 부엌에서 로봇이 투명한 유리잔을 닦아주거나, 약국에서 투명한 약병을 정확히 진열하는 모습을 보게 될지도 모릅니다. DeLTa 는 바로 그 미래를 여는 첫걸음입니다.

기술 요약

1. 문제 정의 (Problem)

투명한 물체 (유리, 플라스틱 용기 등) 는 일상생활과 산업 현장에서 빈번하게 등장하지만, 로봇 조작 분야에서 여전히 해결되지 않은 주요 난제입니다.

• 센서의 한계: 투명한 물체는 적외선 반사 및 굴절로 인해 기존 RGB-D 센서 (예: ZED 카메라) 가 정확한 깊이 (Depth) 정보를 제공하지 못해, 물체의 위치와 형태를 인식하는 데 실패합니다.
• 범용성 부족: 기존 연구들은 대부분 특정 카테고리 (Category-level) 의 물체에 국한되거나, 단순한 잡기 (Grasping) 작업에 집중했습니다. 새로운 물체 (Novel Objects) 에 대한 6 차원 (6D) 자세 추정이나 정밀한 장기 작업 (Long-horizon tasks, 예: 액체 따르기, 진열) 을 수행하는 데는 한계가 있었습니다.
• 자연어 명령의 부재: 인간의 자연어 지시를 받아 복잡한 투명한 물체 조작을 수행하는 통합 프레임워크가 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 DeLTa (Demonstration and Language-Guided Novel Transparent Object Manipulation) 라는 새로운 프레임워크를 제안했습니다. 이는 인간의 비디오 시연 (Demonstration) 과 자연어 지시를 결합하여 새로운 투명한 물체를 정밀하게 조작하는 시스템입니다.

A. 핵심 구성 요소

1. 투명 물체 깊이 추정 및 6D 자세 추정:

   • 깊이 추정: ZED 카메라의 원시 깊이 데이터의 한계를 극복하기 위해 FoundationStereo 기반 모델을 사용하여 투명한 물체의 표면을 재구성하고 정밀한 메트릭 스케일 깊이를 생성합니다.
   • 자세 추정: 재구성된 깊이, 오픈 보카불러리 분할 (Open-vocabulary segmentation), 그리고 사전 구축된 3D 메시 (Mesh) 데이터를 활용하여 새로운 투명한 물체의 6D 자세를 추정합니다.
   • 손 자세 추정: 인간의 시연 영상에서 손의 21 개 키포인트를 추출하고, 이를 로봇의 좌표계로 변환하여 그립 (Grasp) 자세를 계산합니다.

2. 시연 기반 궤적 재타게팅 (Demonstration-Guided Trajectory Retargeting):

   • 단일 시연 일반화: 각 기본 기술 (Pick, Place, Pour) 에 대해 단 하나의 인간 시연만으로도 새로운 물체로 궤적을 전이할 수 있습니다.
   • 메시 기반 적응: 표준화된 (Canonicalized) 물체 메시와 추정된 6D 자세를 기반으로, 시연된 궤적을 새로운 물체의 현재 자세에 맞춰 회전 및 병진 변환하여 재사용합니다. 이를 통해 물체별 추가 시연 없이도 정밀한 조작이 가능합니다.

3. VLM 기반 작업 계획 및 정제 (VLM-guided Task Planning):

   • VLM Planner: 자연어 지시를 입력받아 고수준 작업 계획 (예: "병을 선반에서 가져와 컵에 따르세요") 을 생성합니다.
   • Plan Grounding & Search: 생성된 계획이 로봇의 물리적 제약 (예: 단일 팔, 눈 - 손 - 카메라 구성, 장애물 회피) 을 만족하는지 검증합니다.
     • 검증 및 검색: PDDL 형식으로 변환 후, 로봇의 상태 (State) 를 업데이트하며 전제 조건 (Precondition) 을 검증합니다. 실행 불가능한 단계가 발견되면 역방향 탐색 (Backward BFS) 을 통해 중간 단계 (예: 물체 찾기, 재배치) 를 자동으로 삽입하여 실행 가능한 계획으로 정제합니다.

4. Last-Inch Motion Planner:

   • 전역 경로 계획 후, 시연 기반 궤적의 마지막 단계 (Last-inch) 에서는 충돌 회피와 정밀도를 동시에 확보하기 위해 적응형 정확도 (Adaptive accuracy) 를 가진 QP 기반 역기구학 (IK) 솔버를 사용합니다.

3. 주요 기여 (Key Contributions)

• 최초의 통합 프레임워크: 인간의 비디오 시연과 자연어 지시를 통해 새로운 투명한 물체에 대한 정밀하고 장기적인 (Long-horizon) 조작을 가능하게 한 최초의 프레임워크입니다.
• 단일 시연 일반화: 카테고리 사전 지식이나 추가 학습 없이, 단일 시연으로 다양한 새로운 투명한 물체의 6D 궤적을 일반화하는 방법을 제시했습니다.
• 4D 상호작용 모델링: 투명한 물체 조작을 위해 인간 시연 영상에서 추출된 손 - 물체 상호작용 정보를 4D(공간 + 시간) 로 모델링했습니다.
• 제약 조건을 고려한 계획기: VLM 이 생성한 계획을 로봇의 물리적 제약 (단일 팔, 시야각 제한 등) 에 맞게 검증하고 수정하는 Search-and-Refinement 방식을 도입하여 실행 성공률을 높였습니다.

4. 실험 결과 (Results)

• 실험 환경: Kinova Gen3 로봇 팔과 ZED 스테레오 카메라를 사용하여 3 가지 실제 작업 (Tight Shelf Retrieval, Chemical Experiment, Grocery Stocking) 과 9 가지 투명/불투명 물체로 평가했습니다.
• 성능 비교:
  • 기존 방법 (ClearGrasp, YODO) 은 단순 잡기 작업에서는 성공적이었으나, 정밀한 장기 작업 (액체 따르기, 정렬 진열) 에서는 실패율이 높았습니다. 특히 ClearGrasp 은 깊이 노이즈로 인해, YODO 는 카테고리 기반 자세 추정의 일반화 부족으로 인해 실패했습니다.
  • DeLTa는 모든 작업에서 가장 높은 성공률을 기록했습니다. (Task 1: 100%, Task 2: 80%, Task 3: 70%)
• Ablation Study:
  • 깊이 추정: 원시 센서 데이터를 사용할 경우 성능이 급격히 저하됨을 확인하여, 투명한 물체 조작에 정밀한 깊이 재구성이 필수적임을 입증했습니다.
  • 6D 자세 추정: 3D 위치만 사용하는 방식은 회전 오류가 있는 물체 잡기에서 실패하여, 6D 자세 추정의 중요성을 확인했습니다.
  • 계획 정제: 단순 VLM 계획만으로는 로봇 제약 조건을 반영하지 못해 실패하며, 제안한 검색 기반 정제 (Search-based refinement) 가 장기 작업 계획의 성공에 결정적임을 보였습니다.

5. 의의 및 결론 (Significance)

DeLTa 는 투명 물체 조작 분야에서 지각 (Perception), 계획 (Planning), 실행 (Execution) 의 간극을 해소한 획기적인 연구입니다.

• 실용성: 복잡한 광학적 특성을 가진 투명한 물체도 인간의 자연어 지시와 한 번의 시연만으로 정밀하게 다룰 수 있게 하여, 로봇이 주방, 실험실, 물류 창고 등 다양한 실제 환경에 적용될 수 있는 가능성을 열었습니다.
• 일반화 능력: 특정 물체에 종속되지 않고 새로운 물체로 즉시 전이 가능한 (Zero-shot transfer) 능력을 보여주어, 로봇 학습의 데이터 효율성을 크게 향상시켰습니다.
• 미래 방향: 현재는 강체 (Rigid body) 물체와 제한된 기본 기술에 국한되어 있으나, 유연한 물체나 더 다양한 작업으로 확장될 경우 로봇 조작 기술의 큰 도약이 될 것으로 기대됩니다.