CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph

이 논문은 모바일 로봇의 능동적 상호작용을 통한 환경 탐사 한계를 극복하기 위해 다양한 물체 관계를 인코딩한 3D 관계 객체 그래프를 제안하고, 이를 기반으로 한 시스템이 기존 비전 - 언어 모델 기반 방법보다 다양한 장면과 물체에서 뛰어난 일반화 성능을 보임을 입증합니다.

핵심

호기심 많은 로봇 '큐리어스봇'의 모험: 보이지 않는 것을 찾아서

이 논문은 로봇이 단순히 주변을 '바라보는 것'을 넘어, 직접 만지고 움직여 숨겨진 것을 찾아내는 능력을 어떻게 키웠는지에 대한 이야기입니다. 기존 로봇들은 "어디에 카메라를 두어야 더 많이 볼까?"라고만 생각했지만, 이 연구팀은 "어떤 물건을 밀거나 열어봐야 숨겨진 공간이 보일까?"라고 생각하게 만들었습니다.

이 복잡한 기술을 누구나 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 로봇의 뇌: "보이지 않는 공간"을 상상하는 마법 지도 🗺️

일반적인 로봇은 카메라로 찍은 2D 사진만 보고 세상을 이해합니다. 하지만 이 로봇은 **3D 관계도 (Actionable 3D Relational Object Graph)**라는 특별한 지도를 그립니다.

• 비유: imagine(상상해 보세요) 당신이 어두운 방에 들어갔을 때, 단순히 "소파가 있다"고 아는 게 아니라, **"소파 뒤에는 장난감이 숨겨져 있고, 그 장난감은 상자 안에 있고, 상자는 의자 위에 있다"**는 것을 알고 있는 상태입니다.
• 어떻게 하나요? 로봇은 카메라로 사물을 보고 (시각), "이것은 의자, 저것은 상자"라고 이름을 붙입니다. 그리고 **"상자 안 (inside)", "의자 뒤 (behind)", "옷장 안 (under)"**처럼 사물들 사이의 관계를 3D 지도에 적어 넣습니다.
• 핵심: 이 지도는 단순히 그림이 아니라, **"이 의자를 밀면 뒤에 숨겨진 공간이 보인다"**처럼 무엇을 어떻게 행동해야 할지 알려주는 행동 지도입니다.

2. 로봇의 행동: 호기심 많은 탐정 🕵️‍♂️

이 로봇은 이름처럼 **'CuriousBot(호기심 봇)'**입니다. 단순히 돌아다니는 것을 멈추고, 숨겨진 것을 찾아내기 위해 적극적으로 행동합니다.

• 상황: 로봇이 "의자 뒤에 무언가 숨어 있을 것 같다"고 판단합니다.
• 기존 로봇의 반응: "의자 뒤에 뭐가 있는지 모르니 그냥 지나가자." (보이지 않는 건 무시함)
• 큐리어스봇의 반응: "의자를 밀어서 뒤에 숨겨진 공간을 확인해 봐야지!"라고 생각하며 의자를 밀어냅니다.
• 다른 행동들:
  • 옷장 문 열기: "문 뒤에 뭐가 있을까?" -> 문을 열고 안을 확인.
  • 천 들어 올리기: "천 아래에 뭐가 있을까?" -> 천을 들어 올려 아래를 확인.
  • 상자 뒤집기: "상자 안에 뭐가 있을까?" -> 상자를 뒤집어 내용물을 확인.
  • 의자에 앉기: "테이블 아래에 뭐가 있을까?" -> 로봇이 직접 의자에 앉아 (Spot 로봇의 기능) 아래를 확인.

이처럼 로봇은 **물체를 직접 조작 (Manipulation)**하여 숨겨진 공간을 드러내는 '호기심'을 가지고 있습니다.

3. 로봇의 두뇌: 거대한 언어 모델 (LLM) 과의 협업 🧠

로봇이 "무엇을 해야 할지" 결정하는 것은 거대한 인공지능 (GPT-4o 같은 LLM) 이 도와줍니다.

• 작동 원리: 로봇이 만든 '3D 관계 지도'를 텍스트로 변환해서 AI 에게 보여줍니다.
  • AI 에게: "의자 뒤에 숨겨진 공간이 있어요. 의자를 밀어야 해요."
  • AI 의 대답: "좋아요, 의자를 밀어서 뒤에 있는 물건을 찾아봅시다."
• 왜 중요한가요? AI 는 단순히 이미지를 보고 "밀어라"라고 말하기보다, 사물 간의 관계 (의자 뒤에 숨겨짐) 를 논리적으로 이해하기 때문에 훨씬 정확한 계획을 세울 수 있습니다.

---

🏆 이 연구가 왜 특별한가요? (기존 기술과의 차이)

기존 로봇 (Active Perception)	새로운 로봇 (CuriousBot)
비유: 카메라 렌즈를 돌리며 "더 넓은 시야를 확보하자"고 생각함.	비유: 호기심 많은 탐정처럼 "문 뒤를 열어보자, 상자를 뒤집어보자"고 행동함.
한계: 가려진 공간 (옷장 안, 가구 뒤) 은 영원히 볼 수 없음.	강점: 직접 문을 열고, 물건을 밀어서 보이지 않던 것을 찾아냄.
장소: 주로 책상 위처럼 좁은 곳에서만 작동.	장소: 집 전체처럼 넓고 복잡한 공간에서도 작동.

📊 실험 결과: 얼마나 잘할까요?

연구팀은 로봇에게 다양한 미션을 주었습니다.

• "상자를 뒤집어 내용물을 찾아라."
• "의자를 밀어서 뒤에 숨겨진 장난감을 찾아라."
• "옷장을 열어 안에 있는 물건을 찾아라."

그 결과, 82% 의 성공률을 보였습니다. 반면, 단순히 카메라 이미지만 보고 AI 가 판단하게 한 기존 방식들은 30% 미만의 성공률에 그쳤습니다. 이는 로봇이 직접 세상을 '만지고' 상호작용하며 탐험하는 것이 훨씬 효과적임을 증명했습니다.

🚀 결론

이 논문은 로봇이 **"보는 것 (Perception)"을 넘어 "행동하는 것 (Interaction)"**으로 진화했음을 보여줍니다. 마치 어두운 방에서 손전등만 비추는 것이 아니라, 장롱 문을 열고 서랍을 열어보며 숨겨진 보물을 찾는 호기심 많은 아이처럼 로봇이 세상을 탐험할 수 있는 길을 열었습니다.

이 기술이 발전하면, 미래의 로봇은 우리 집 구석구석을 돌아다니며 잃어버린 열쇠를 찾거나, 가전제품 고장을 진단하는 등 훨씬 더 똑똑하고 유용한 친구가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 모바일 로봇이 복잡한 가정 환경에서 **능동적 상호작용 (Active Interaction)**을 통해 환경을 탐색하는 과제를 다룹니다.

• 기존 방법의 한계: 기존의 모바일 탐색 연구는 주로 '능동적 지각 (Active Perception)'에 집중하여, 카메라 위치를 최적화하여 미지의 공간을 줄이는 데 초점을 맞췄습니다. 이는 가전제품 내부, 가구 뒤, 옷장 안 등 **가려진 공간 (Occluded Space)**을 물리적으로 상호작용 (예: 문 열기, 물건 밀기) 하지 않고는 발견할 수 없다는 한계가 있습니다.
• 기존 상호작용 연구의 한계: 'RoboEXP'와 같은 최근 연구들은 상호작용을 고려하지만, 주로 책상 위 (Tabletop) 환경에 국한되어 있습니다. 실제 가정 환경은 탐색 공간이 넓고, 복잡한 가려짐 관계 (위, 아래, 뒤, inside 등) 가 존재하며, 항법과 조작이 결합된 광범위한 행동 공간 (Action Space) 을 요구합니다.
• 핵심 과제: 모바일 로봇이 다양한 물체 관계와 가려짐을 이해하고, 이를 해결하기 위해 적절한 조작 행동 (밀기, 열기, 들어 올리기 등) 을 스스로 계획하여 미지의 공간을 적극적으로 탐색하는 시스템 구축.

2. 방법론 (Methodology)

저자들은 **행동 가능한 3D 관계 객체 그래프 (Actionable 3D Relational Object Graph)**를 제안하며, 이를 기반으로 4 개의 모듈로 구성된 'CuriousBot' 시스템을 개발했습니다.

A. 시스템 아키텍처

1. SLAM 모듈: 로봇의 오도메트리와 RGB-D 관측 데이터를 입력받아 카메라 포즈를 추정합니다 (RTAB-Map 사용).
2. 그래프 생성기 (Graph Constructor):
   • 객체 감지 및 매핑: YOLO-World 와 SAM(Segment Anything) 을 활용하여 객체를 감지하고 3D 포인트 클라우드를 생성합니다.
   • 관계 구축: 객체 간의 공간적, 의미적 정보를 바탕으로 관계 (Edges) 를 정의합니다.
     • 상호작용 기반 관계: 특정 행동 (예: 문 열기, 뒤집기) 을 통해 새로운 공간이 드러날 때, 해당 행동과 공간의 관계 (inside, behind, under 등) 를 추론합니다.
     • 기하학적 관계: 3D 바운딩 박스를 기반으로 '위 (on)', '안 (inside)' 등의 관계를 정의합니다.
   • 볼륨 맵 (Voxel Map): 미탐사, 자유 공간, 가려진 공간 (Unknown), 외부 영역을 구분하는 3D 그리드를 유지하여 가려짐을 추론합니다.
3. 작업 계획기 (Task Planner):
   • 생성된 3D 관계 그래프를 직렬화 (Serialization) 하여 LLM (GPT-4o) 에 입력합니다.
   • LLM 은 그래프의 위계적 구조와 객체 관계, 가려짐 정보를 바탕으로 다음에 수행할 행동 (예: "의자를 밀어서 뒤쪽 공간 확인") 을 계획합니다.
4. 저수준 기술 (Low-Level Skills): 계획된 행동을 실행하는 원시 기술 (Primitives) 입니다.
   • 구현된 기술: 열기 (open), 뒤집기 (flip), 들어 올리기 (lift), 밀기 (push), 앉기 (sit), 수집 (collect) 등.
   • 각 기술은 그래프의 의미/기하 정보를 기반으로 실제 환경에 행동을 고정 (Grounding) 합니다.

B. 핵심 아이디어

• 행동 조건부 그래프: 기존 3D 씬 그래프가 정적인 의미 이해에 그친다면, 이 시스템의 그래프는 "어떤 행동을 취하면 어떤 공간이 드러나는가"를 인코딩하여 능동적 탐색을 가능하게 합니다.
• VFM 과 LLM 의 결합: 시각 기초 모델 (VFM) 로 3D 그래프를 구축하고, 이를 LLM 에게 명시적으로 제공하여 2D 관측 히스토리만 기억하는 방식보다 효율적인 추론을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 3D 관계 객체 그래프 제안: 가정 환경에서 흔히 볼 수 있는 다양한 객체 관계 (on, under, behind, inside, of) 와 가려짐을 인코딩할 수 있는 새로운 표현 방식을 도입했습니다.
2. CuriousBot 시스템 개발: SLAM, 그래프 구축, LLM 기반 계획, 저수준 기술 실행을 통합하여, 로봇이 스스로 가려진 공간을 발견하고 탐색하는 자동화 시스템을 구현했습니다.
3. 광범위한 실험 및 검증: 다양한 객체 (강체, 변형체, 관절체), 다양한 관계, 다양한 레이아웃을 가진 5 가지 태스크 (상자 뒤집기, 서랍 열기, 물체 아래 확인, 상자 밀기, 천 들어 올리기) 에서 시스템을 평가했습니다.

4. 실험 결과 (Results)

• 성공률: 제안된 시스템은 5 가지 태스크에서 평균 82% 의 성공률을 기록했습니다.
• 비교 평가 (Baselines):
  • VLM 기반 방법 (LLaVa, Gemini, GPT-4o): 직접 RGB 이미지를 VLM 에 입력하여 행동을 계획하는 방식과 비교했습니다. VLM 기반 방법들은 평균 성공률이 12~32% 에 불과했으며, 특히 복잡한 상호작용이 필요한 태스크 (예: 상자 뒤집기) 에서 실패했습니다.
  • 휴리스틱 방법: 모든 손잡이를 여는 등의 단순 규칙 기반 방법은 일부 태스크에서는 작동했으나, 전반적인 유연성이 부족했습니다.
  • 성공 요인: 3D 관계 그래프를 명시적으로 사용하여 위계적 관계와 가려짐을 추론한 것이, 2D 이미지를 암기하고 추론하는 VLM 보다 훨씬 효과적이었습니다.
• 오류 분석: 실패 사례는 크게 지각 실패 (SLAM 오차, 객체 감지 오류), 의사결정 실패 (LLM 의 잘못된 행동 선택), 행동 실패 (그립 실패, 예상치 못한 간섭) 로 분류되었습니다.
• Ablation Study: LLM 에 제공하는 예시 (Few-shot) 의 수를 줄였을 때 성능이 급격히 하락하여, 적절한 예시 제공이 필수적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 모바일 상호작용 탐색의 새로운 패러다임: 이 연구는 모바일 로봇이 단순히 "보는 것"을 넘어, "만지고 상호작용하며" 환경을 탐색해야 함을 입증했습니다.
• 실제 가정 환경 적용 가능성: 책상 위가 아닌 복잡한 가정 환경 (가구, 옷장, 다양한 물체) 에서 작동할 수 있음을 보여주어, 실제 서비스 로봇 개발에 중요한 기여를 합니다.
• 확장성: 모듈식 설계로 인해 더 강력한 LLM 이나 새로운 기술 (Skill) 을 쉽게 통합할 수 있습니다.
• 한계 및 향후 과제: 현재 기술은 전문가가 휴리스틱을 직접 작성해야 하며, 매우 가려진 환경에서는 실패할 수 있습니다. 또한, 상호작용 후 씬 메모리를 동적으로 업데이트하는 기능은 향후 과제로 남았습니다.

결론적으로, CuriousBot 은 3D 관계 그래프를 매개체로 하여 로봇이 복잡한 가정 환경에서 능동적 상호작용을 통해 미지의 공간을 효과적으로 탐색할 수 있음을 입증한 선구적인 연구입니다.