Observer-Actor: Active Vision Imitation Learning with Sparse-View Gaussian Splatting

이 논문은 3D 가우스 스플래팅을 활용해 한 팔이 최적의 시점을 찾아 3D 모델을 구축하고 다른 팔이 이를 기반으로 행동을 수행하는 'ObAct'라는 새로운 능동적 비전 모방 학습 프레임워크를 제안하며, 이를 통해 가려짐이 없는 학습 분포에 가까운 관측을 확보하여 기존 정적 카메라 설정보다 훨씬 강력한 양손 로봇 정책을 구현함을 보여줍니다.

핵심

🤖 "눈을 가진 로봇"의 새로운 전략: ObAct

이 논문은 로봇이 물건을 잡거나 움직일 때, 카메라를 어떻게 움직여야 가장 잘 볼 수 있는지를 스스로 결정하는 새로운 방법인 **'ObAct(옵저버-액터)'**를 소개합니다.

기존의 로봇들은 대부분 고정된 카메라나 손목에 달린 카메라만 사용했는데, 이 방식은 시야가 가려지거나 (예: 로봇 팔이 물체를 가리는 경우) 물체의 중요한 부분이 안 보일 때 큰 실수를 저지르곤 했습니다. 이 논문은 그 문제를 해결하기 위해 "한 로봇은 관찰자 (Observer), 다른 로봇은 실행자 (Actor)" 역할을 나누어 협력하게 만드는 아이디어를 제시합니다.

---

🎬 영화 촬영에 비유한 ObAct의 원리

이 시스템을 이해하기 위해 영화 촬영 현장을 상상해 보세요.

1. 기존 방식 (고정 카메라):
   감독이 한곳에 고정된 카메라를 두고 배우 (로봇) 에게 연기를 시킵니다. 배우가 손으로 얼굴을 가리면 카메라는 가려진 부분만 찍게 되어, 나중에 편집할 때 "아, 이 장면은 얼굴이 안 보이네?"라고 실망하게 됩니다.

2. ObAct 방식 (이동하는 카메라):
   이제 두 명의 배우가 있다고 칩시다.

   • 관찰자 (Observer): "이 장면을 가장 잘 찍을 수 있는 각도는 어디일까?"라고 고민하며 카메라를 들고 움직이는 카메라맨 역할을 합니다.
   • 실행자 (Actor): 실제 연기를 하는 배우 역할을 합니다.

   과정은 다음과 같습니다:

   • 준비 (학습): 인간이 로봇에게 "컵 손잡이를 잡는 법"을 보여줄 때, 가장 잘 보이는 각도에서 촬영합니다.
   • 실전 (테스트): 로봇이 컵을 잡으러 갈 때, 관찰자 로봇이 먼저 주변을 빠르게 훑어봅니다 (3D 지도를 그립니다).
   • 최적의 각도 찾기: 관찰자는 "아, 지금 각도면 로봇 팔이 컵을 가리고 있네! 저쪽으로 이동해서 컵 손잡이가 완전히 보이게 해야겠다"라고 판단합니다.
   • 이동 및 실행: 관찰자 로봇이 스스로 그 최적의 위치로 이동합니다. 그제야 실행자 로봇이 관찰자가 찍어준 선명한 영상을 보고 컵을 잡습니다.

---

🛠️ 핵심 기술: "눈앞의 3D 지도" (3D Gaussian Splatting)

로봇이 어떻게 "어디로 가야 잘 보일까?"를 알 수 있을까요? 여기에는 **3D Gaussian Splatting (3DGS)**이라는 기술이 쓰입니다.

• 비유: 로봇이 주변을 스캔할 때, 마치 **수백 개의 반짝이는 구슬 (3D 점)**을 공중에 뿌려서 3D 지도를 만드는 것과 같습니다.
• 신속함: 보통 3D 지도를 만들려면 몇 분씩 걸리지만, 이 기술은 3 장의 사진만으로도 몇 초 만에 정교한 3D 지도를 완성합니다.
• 가상 시뮬레이션: 로봇은 이 3D 지도 안에서 "내가 저기로 가면 어떤 모습이 보일까?"라고 가상으로 시뮬레이션을 돌려봅니다. 가상의 카메라를 움직여 가려진 부분이 사라지는지, 컵 손잡이가 잘 보이는지 확인한 뒤, 실제로 그 위치로 이동합니다.

---

🌟 왜 이 방법이 특별한가요?

1. 가려짐 (Occlusion) 해결: 로봇 팔이 물체를 가리는 '자신에 의한 가림'이나 다른 물체에 가려지는 문제를 스스로 피합니다. 마치 카메라맨이 배우의 얼굴을 가리는 소품을 치우거나 각도를 바꾸는 것과 같습니다.
2. 양손 로봇의 협력: 하나의 로봇 팔이 관찰하고, 다른 팔이 작업합니다. 필요에 따라 역할이 바뀔 수도 있어 매우 유연합니다.
3. 데이터 효율성: 더 적은 횟수의 시도로도 로봇이 더 잘 학습할 수 있게 도와줍니다. (마치 좋은 각도에서 찍은 사진 한 장이, 나쁜 각도로 찍은 사진 10 장보다 더 유용한 것과 같습니다.)

📊 결과: 얼마나 잘할까요?

실험 결과, 이 방법을 쓰지 않은 고정 카메라 로봇보다 성공률이 훨씬 높았습니다.

• 가려지지 않은 상황: 성공률이 약 75%~145% 향상.
• 가려진 상황 (어려운 환경): 성공률이 무려 **143%~233%**나 향상!

즉, 로봇이 **"스스로 좋은 시야를 찾아 움직이는 능력"**을 얻으면서, 훨씬 더 똑똑하고 안정적인 작업을 할 수 있게 된 것입니다.

💡 요약

이 논문은 로봇에게 **"눈을 움직이는 법"**을 가르쳤습니다.
로봇이 물건을 잡을 때, 단순히 손만 움직이는 게 아니라 **"내가 잘 볼 수 있는 곳으로 먼저 이동해서, 그제야 손에 힘을 주자"**는 지혜를 얻은 것입니다. 이는 앞으로 복잡한 환경에서 로봇이 더 자유롭게 일할 수 있는 큰 발걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 로봇 조작 (Manipulation) 을 위한 모방 학습 (Imitation Learning) 은 주로 정적 카메라 (Static Camera) 나 손목 장착 카메라 (Wrist-mounted Camera) 에 의존합니다. 이러한 접근 방식에는 다음과 같은 한계가 존재합니다.

• 시각적 가림 (Occlusion): 정적 카메라는 작업 환경에 따라 물체나 그리퍼 (Gripper) 가 가려지는 경우가 빈번하여, 학습된 정책이 실패하거나 성능이 저하됩니다.
• 제한된 시야 (Limited Field of View): 손목 카메라는 유연성이 높지만 전역적 인식 능력이 부족하고 시야가 제한적입니다.
• 데이터 비효율성: 가림 현상이 심한 환경에서 정책을 학습하려면 방대한 양의 데이터가 필요하거나, 학습된 정책이 훈련 분포 (Training Distribution) 와 다른 테스트 환경에서 잘 작동하지 않습니다.
• 기존 능동 시야 (Active Vision) 의 한계: 최근 연구들은 별도의 '관측용 암 (Active Vision Arm)'을 사용하여 카메라를 움직이는 방식을 제안했으나, 이는 별도의 전략 학습이 필요하고 관측용 암이 실제 조작 (Manipulation) 에 사용되지 못하게 되어 하드웨어 효율성이 낮습니다.

이 논문은 관측자 (Observer) 와 작동자 (Actor) 역할을 동적으로 할당하여, 테스트 시점에 최적의 시야를 확보한 후 작업을 수행하는 새로운 프레임워크를 제안합니다.

2. 제안 방법론: ObAct (Observer-Actor)

저자들은 ObAct라는 새로운 프레임워크를 제안하며, 이는 다음과 같은 핵심 단계로 구성됩니다.

A. 프레임워크 개요

• 이중 암 시스템: 두 개의 로봇 암이 장착된 시스템에서, 테스트 시점에 한 암은 관측자 (Observer) 로, 다른 암은 작동자 (Actor) 로 역할을 동적으로 분담합니다.
• 역할 할당: 장면의 6 개 시점 (각 암이 3 개씩) 을 먼저 촬영한 후, 시뮬레이션된 3D 모델과 학습 데이터의 최적 시야 (Demonstration Optimal View) 간의 유사도를 기반으로 어떤 암이 관측자가 될지 결정합니다.

B. 희소 뷰 가우시안 스플래팅 (Sparse-View Gaussian Splatting, 3DGS)

• 3D 재구성: 관측자 암이 촬영한 3 개의 희소 뷰 (Sparse Views) 를 기반으로 InstantSplat을 사용하여 실시간으로 3D Gaussian Splatting 모델을 구축합니다.
• 장점: 전체 장면을 스캔하는 대신 몇 장의 이미지만으로 빠르게 3D 장면을 재구성하여, 테스트 시점에 가상의 시야를 렌더링할 수 있습니다.

C. 시야 최적화 (View Optimization)

• 목표: 학습 시의 최적 시야 ($v^*_{demo}$) 와 시각적으로 일치하면서도, 물체와 그리퍼의 가림 (Occlusion) 을 최소화하는 테스트 시점 ($v^*_{test}$) 을 찾습니다.
• 최적화 과정:
  1. 3DGS 모델 내에서 후보 시점들을 샘플링합니다.
  2. RoMa (Robust Dense Feature Matcher) 를 사용하여 후보 시야와 학습 시야 간의 특징 매칭 수를 기준으로 초기화합니다.
  3. 미분 가능 렌더링 (Differentiable Rendering) 을 통해 그리퍼에 의한 가림을 명시적으로 패널티로 부과하며 시야를 정교하게 조정합니다.
  4. 최적화된 시야로 관측자 암을 이동시킵니다.

D. 시야 조건부 모방 학습 (View-Conditioned Imitation Learning)

관측자 암이 최적 시야로 이동한 후, 작동자 암이 다음 두 가지 방법 중 하나로 작업을 수행합니다.

1. 궤적 전송 (Trajectory Transfer): 학습된 시야와 테스트 시야 간의 물체 자세 변화를 추정하여, 한 번의 시연 (One-shot) 으로 궤적을 변환 및 전송합니다.
2. 행동 복제 (Behavior Cloning, BC): 최적 시야에서 촬영된 RGB 이미지와 proprioceptive 상태 (카메라 좌표계로 표현된 그리퍼 자세) 를 입력받아 정책을 실행합니다.
   • 중요한 혁신: 작동자 암의 엔드 이펙터 (End-effector) 자세를 로봇 기준 좌표계가 아닌 카메라 좌표계로 표현함으로써, 시야 변화에 대한 강인성과 양손 (Ambidextrous) 추론을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. ObAct 프레임워크: 정적 카메라가 처리하기 어려운 시각적 엣지 케이스 (가림 등) 에 강인한, 관측자 - 작동자 역할이 동적으로 전환되는 분해된 프레임워크를 제안했습니다.
2. 희소 뷰 3DGS 기반 능동 시야: 테스트 시점에 3 개의 이미지만으로 3DGS 모델을 구축하여 최적 시야를 찾는 방식을 처음 적용했습니다. 이는 별도의 능동 시야 전략 학습 없이도 구현 가능합니다.
3. 모방 학습 확장: 궤적 전송 (Trajectory Transfer) 과 행동 복제 (Behavior Cloning) 를 능동 시야 환경에 확장 적용하여, 가림이 있는 상황에서도 성공률을 획기적으로 높이고 데이터 효율성을 입증했습니다.

4. 실험 결과 (Results)

실제 ALOHA 로봇 시스템과 5 가지 다양한 조작 작업 (컵 손잡이 잡기, 못 박기, 서랍 열기 등) 을 통해 실험을 수행했습니다.

• 성능 향상: 정적 카메라 설정 대비 ObAct 는 모든 작업에서 성공률이 크게 향상되었습니다.
  • 궤적 전송 (TT): 가림이 없는 경우 145%, 가림이 있는 경우 233% 향상.
  • 행동 복제 (BC): 가림이 없는 경우 75%, 가림이 있는 경우 143% 향상.
• 데이터 효율성: 동일한 수의 시연 데이터 (30~70 개) 를 사용했을 때, ObAct 를 적용한 BC 가 정적 카메라 설정보다 훨씬 높은 성공률을 보였습니다. 특히 심한 가림이 발생하는 'Retrieve Pack' 작업에서 정적 카메라는 실패했으나 ObAct 는 성공했습니다.
• 좌표계 표현의 중요성: 엔드 이펙터 자세를 카메라 좌표계로 표현하는 것이 로봇 좌표계 + 카메라 입력 방식보다 일반화 성능과 성공률이 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 능동 시야 (Active Vision) 와 3D 재구성 (3D Reconstruction) 기술을 결합하여 모방 학습의 한계를 극복하는 새로운 패러다임을 제시합니다.

• 실용성: 별도의 관측용 암을 고정하지 않고, 기존 조작용 암을 상황에 따라 관측자로 활용함으로써 하드웨어 효율성을 극대화했습니다.
• 강인성: 물체나 로봇 자체에 의한 가림을 실시간으로 해결하여, 복잡한 실제 환경에서의 로봇 조작 신뢰도를 높였습니다.
• 미래 방향: 현재는 단시간 작업에 국한되어 있고 처리 속도가 다소 느리다는 한계가 있으나, 3DGS 기술의 발전과 함께 실시간성이 개선되면 더 복잡하고 긴 작업 (Long-horizon tasks) 및 변형 가능한 물체 조작으로 확장될 수 있을 것으로 기대됩니다.

결론적으로 ObAct 는 정적 카메라의 한계를 넘어, 로봇이 스스로 최적의 관점을 찾아 작업을 수행할 수 있게 함으로써 실제 세계에서의 로봇 모방 학습의 실용성을 크게 진전시킨 연구로 평가됩니다.