Omni-Manip: Beyond-FOV Large-Workspace Humanoid Manipulation with Omnidirectional 3D Perception

본 논문은 시야각 제한과 자기 가려짐 문제를 해결하기 위해 360 도 라이다 기반의 전방향 3D 지각과 시간 인식 어텐션 풀링을 활용한 엔드투엔드 비주얼 모터 정책 'Omni-Manip'을 제안하여, 로봇의 재배치 없이도 넓은 작업 공간에서 견고한 조작을 가능하게 합니다.

핵심

이 논문은 **"로봇이 눈앞에 보이지 않는 물체도 알아서 잡을 수 있게 만든 획기적인 기술"**에 대해 설명합니다.

기존의 로봇들은 마치 안경을 쓴 사람처럼, 눈앞에 있는 것만 보고 움직였습니다. 하지만 이 논문의 저자들은 로봇에게 **360 도 회전하는 '초능력 눈'**을 달아주어, 시야 밖의 물체도 안전하게 잡을 수 있게 했습니다.

이 기술을 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드릴게요.

---

1. 문제점: "안경 쓴 로봇의 고충"

기존의 로봇들은 머리에 **카메라 (RGB-D)**만 달고 있었습니다.

• 비유: 마치 좁은 창문을 통해 밖을 내다보는 사람과 같습니다.
• 상황: 로봇이 물건을 옮기려는데, 목표 물체가 로봇의 시야 (창문) 밖으로 살짝만 벗어나도, 로봇은 "아, 저게 뭐지? 어디 있지?" 하며 당황합니다.
• 결과: 로봇은 물건을 잡으려면 몸을 계속 돌려야 하고, 이 과정에서 넘어지거나 다른 물건을 부수는 사고가 자주 일어납니다. 마치 좁은 방에서 뒤도 돌아보지 않고 물건을 옮기려다 부딪히는 상황과 비슷합니다.

2. 해결책: "360 도 회전하는 초능력 눈 (LiDAR)"

이 논문이 제안한 **'Omni-Manip(오미-매니프)'**는 로봇에게 **라이더 (LiDAR)**라는 장치를 달아주었습니다.

• 비유: 로봇이 **머리 위에 360 도 회전하는 '파라솔'**을 쓰고 있다고 상상해 보세요. 이 파라솔은 빛을 쏘아 주변 모든 사물의 모양과 거리를 실시간으로 파악합니다.
• 효과: 로봇은 이제 뒤쪽, 옆쪽, 머리 위까지 한눈에 다 볼 수 있습니다. 시야 밖 (창문 밖) 에 있는 물체도 "아, 저기 있구나!"라고 정확히 알고 접근할 수 있습니다.

3. 핵심 기술: "과거의 기억을 더하는 지능"

라이더로 얻은 데이터는 순간순간 깜빡일 수 있어 불안정할 수 있습니다. 그래서 논문은 **'시간 인식 어텐션 풀링 (Time-Aware Attention Pooling)'**이라는 기술을 썼습니다.

• 비유: 마치 영화의 연속된 장면을 보는 것과 같습니다. 한 장의 사진만 보면 흐릿할 수 있지만, 1 초 전, 2 초 전의 장면을 이어 붙여 보면 사물이 어떻게 움직이는지 선명하게 보입니다.
• 효과: 로봇은 과거의 데이터를 기억하며 "아, 저 물체가 조금 전엔 여기 있었는데, 지금 저기로 움직였구나"라고 예측하며 훨씬 안정적으로 움직입니다.

4. 학습 방법: "VR 게임으로 가르치기"

로봇에게 이 기술을 가르치기 위해 저자들은 전신 원격 조종 시스템을 개발했습니다.

• 비유: 사람이 VR(가상현실) 고글을 쓰고 게임 하듯이 로봇을 조종하는 것입니다.
• 과정: 사람이 VR 고글을 쓰고 "이제 로봇이 저기 있는 물건을 집어와"라고 명령하면, 로봇은 사람의 손과 발 움직임을 그대로 따라 합니다. 이렇게 수많은 데이터를 모아서 로봇 스스로 "어떻게 움직여야 물건을 잘 잡을지"를 배웁니다.

5. 실제 성과: "어지러운 방에서도 척척"

실험 결과, 이 로봇은 기존 로봇들보다 훨씬 뛰어났습니다.

• 시야 밖의 물건: 카메라로 보이지 않는 뒤쪽의 병을 집어와서 다른 곳으로 옮기는 작업도 성공했습니다.
• 장애물 회피: 주변에 물건이 어지럽게 널려 있어도, 로봇은 360 도 시야를 통해 "아, 저기 장애물이 있네"라고 피하며 안전하게 이동했습니다.
• 비유: 어지러운 방에서 눈만 가리고 물건을 찾으면 넘어지지만, 이 로봇은 눈을 감지 않고도 주변을 훑어보며 물건을 찾아내어 부딪히지 않고 옮기는 것입니다.

요약

이 논문은 **"로봇에게 좁은 창문 대신 360 도 회전하는 파노라마 창을 달아주자, 로봇이 더 이상 시야 밖의 물체를 두려워하지 않고, 복잡한 환경에서도 안전하게 일할 수 있게 되었다"**는 이야기입니다.

이 기술은 앞으로 우리 집이나 복잡한 공장, 재난 현장 등에서 로봇이 더 자유롭게 일할 수 있는 기반을 마련해 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 시각적 한계와 작업 공간의 제약: 기존 휴머노이드 로봇의 정교한 조작 (Manipulation) 은 주로 RGB-D 카메라에 의존합니다. 그러나 이러한 카메라는 시야각 (FOV) 이 좁고 자기 가림 (Self-occlusion) 문제가 있어, 로봇이 물체를 보지 못하면 작업을 수행할 수 없습니다.
• 재배치 (Repositioning) 의 비효율성: 시야 밖의 물체를 조작하기 위해 로봇이 자주 기지 (Base) 를 이동하거나 자세를 변경해야 하는데, 이는 물리적 제약이 있는 환경에서 시간 소모를 유발하고 운동 불확실성 및 안전 위험을 초래합니다.
• 기존 확장 방식의 한계: 시야를 넓히기 위한 능동적 비전 시스템 (Active Vision) 이나 제 3 의 카메라 도입은 기계적 복잡성, 보정 의존성, 지연 시간 (Latency) 을 증가시켜 실시간 성능을 저하시킵니다.
• 핵심 과제: 로봇의 기지 이동 없이도 넓은 작업 공간 (Large Workspace) 에서 시야 밖 (Beyond-FOV) 에 있는 물체를 인식하고 안전하게 조작할 수 있는 전방향 (Omnidirectional) 인지 능력의 부재.

2. 제안 방법론 (Methodology)

저자들은 Omni-Manip이라는 새로운 프레임워크를 제안하며, 이는 LiDAR 기반의 종단간 (End-to-End) 시동작 정책 (Visuomotor Policy) 입니다.

A. 시스템 아키텍처 및 하드웨어

• 하드웨어: Unitree G1 휴머노이드 로봇에 Livox MID-360 LiDAR를 헤드에 장착하여 360° 전방향 3D 포인트 클라우드를 획득합니다.
• 데이터 수집: 전체 신체 (Whole-body) 원격 조종 (Teleoperation) 시스템을 구축하여, 인간의 전신 협응 동작을 효율적으로 수집합니다. Meta Quest 3 와 XR 컨트롤러를 사용하여 직관적인 원격 조정이 가능합니다.

B. Omni-Manip 알고리즘

1. 전방향 3D 인지 (Omnidirectional Perception):
   • 고정된 카메라 대신 360° LiDAR 데이터를 사용하여 로봇 주변의 전체 공간적 맥락을 파악합니다. 이는 카메라 시야 밖 (Out-of-View) 에 있는 물체도 인식하게 해줍니다.
   • 포인트 클라우드 전처리: 로봇의 팔 도달 범위 (1.3m 이내) 내의 점들만 선별하고, 4096 개의 점으로 균일하게 다운샘플링하여 계산 효율성을 높입니다.
2. 시간 인지 어텐션 풀링 (Time-Aware Attention Pooling, TAP):
   • LiDAR 데이터는 희소하고 시간적 떨림 (Flickering) 이 발생할 수 있습니다. 이를 해결하기 위해 짧은 시간 윈도우 내의 포인트 클라우드를 집계하고, 각 점에 정규화된 상대 시간 스탬프를 추가합니다.
   • MLP 를 통해 시간 오프셋에 기반한 어텐션 가중치를 예측하여, 최근 관측 데이터를 강조하는 가중 합 (Weighted Sum) 을 수행합니다. 이를 통해 정책 학습의 안정성을 높입니다.
3. 정책 학습 (Policy Learning):
   • 인코더: 피라미드 컨볼루션 인코더와 TAP 를 결합하여 공간 구조와 시간적 맥락을 모두 포착하는 글로벌 특징을 추출합니다.
   • 디코더: Diffusion Policy를 사용하여 노이즈를 제거하며 조율된 전체 신체 동작 시퀀스를 생성합니다.
   • 입력/출력: LiDAR 포인트 클라우드와 43 차원 전신 관절 상태 (Proprioception) 를 입력으로 받아, 상체 (팔 및 손) 의 28 차원 관절 각도를 출력합니다. 하체와 허리 제어는 사전 훈련된 HOMIE 알고리즘이 담당합니다.

3. 주요 기여 (Key Contributions)

1. Omni-Manip 제안: 전방향 포인트 클라우드를 시간 인지 방식으로 인코딩하는 종단간 LiDAR 기반 3D 시동작 정책을 최초로 제안하여, 시야 밖의 넓은 작업 공간 조작을 가능하게 했습니다.
2. 전신 원격 조종 시스템 개발: 휴머노이드의 복잡한 전신 협응 동작을 효율적으로 수집할 수 있는 XR 기반의 원격 조종 시스템을 구축하여 대규모 데이터 수집을 가능하게 했습니다.
3. 광범위한 실험 검증: 시뮬레이션 및 실제 환경에서 기존 RGB-D 기반 방법론들을 압도하는 성능을 입증했습니다. 특히 시야 밖 물체 조작 및 복잡한 장애물 환경에서의 충돌 방지 능력을 검증했습니다.

4. 실험 결과 (Results)

• 성능 비교 (Table I): 시뮬레이션 및 실제 환경 (Pick & Place, Pour, Hand Over, Wipe 등) 에서 DP, DP3, iDP3 등 기존 Diffusion 기반 방법론들과 비교했습니다.
  • 시야 밖 (OV) 작업: 기존 방법들은 시야 밖 물체 인식 실패로 인해 성공률이 0% 에 가까웠으나, Omni-Manip 은 높은 성공률을 기록했습니다.
  • 전체 성공률: Omni-Manip 은 120 회 시도 중 82 회 성공 (68.3%) 을 기록하여, 차기 25 회 (20.8%) 를 기록한 iDP3 보다 월등히 우수했습니다.
• 충돌 방지 평가 (Table II): 시야 밖 장애물이 있는 환경에서 Omni-Manip 은 20 회 중 14 회 성공하며 충돌을 효과적으로 피했으나, 기존 방법들은 대부분 충돌로 인해 실패했습니다.
• 일반화 능력 (Table III): 다양한 물체 형태, 조명 변화, 복잡한 배경 (Clutter) 에서 Omni-Manip 은 일관된 높은 성공률을 유지했으나, 기존 방법들은 성능이 급격히 저하되었습니다.
• Ablation Study (Table IV):
  • 전방향 관측 (Omni. Obs.) 을 제거하면 성공률이 0% 로 떨어졌습니다.
  • 시간 인지 어텐션 (TAP) 을 제거하면 성공률이 감소하여, 시간적 안정성이 중요함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 파라다임 전환: 휴머노이드 조작 분야에서 '카메라 중심 (Egocentric)'의 시각에서 'LiDAR 기반 전방향 3D 인지'로의 전환을 주도합니다. 이는 로봇이 시야 밖의 환경까지 인지하여 재배치 없이도 작업을 수행할 수 있게 합니다.
• 안전성과 실용성: 복잡한 환경에서의 충돌 없는 조작을 가능하게 하여, 실제 서비스 로봇 및 가정용 로봇의 배포에 필수적인 안전성을 확보합니다.
• 미래 방향: 향후 전신 자율 주행 (Whole-body Autonomy) 으로 확장하고, LiDAR 기하학, RGB 의미론, 촉각 피드백을 결합한 멀티모달 센싱 및 강화학습 (RL) 기반의 정책 정제를 통해 더 넓은 범위의 작업에 적용할 수 있을 것으로 기대됩니다.

이 논문은 휴머노이드 로봇이 구조화되지 않은 실제 환경에서 안전하고 정교하게 작동하기 위해 **전방향 3D 지각 (Omnidirectional 3D Perception)**이 필수적임을 강력하게 입증했습니다.