기술 요약: 휴머노이드 로봇 조작을 위한 RGMP-S

1. 문제 정의

휴머노이드 로봇의 조작(Manipulation)은 고수준의 시맨틱 추론과 저수준의 액션 생성을 연결해야 합니다. 현재의 프레임워크들은 두 가지 결정적인 병목 현상에 직면해 있습니다:

1. 시맨틱-기하학적 간극 (Semantic-Geometric Gap): 시각-언어 모델(VLM)은 시맨틱 계획에는 뛰어나지만, 추상적인 지침을 물리적으로 실행 가능한 기술로 변환하는 데는 종종 실패합니다. 이들은 명시적인 기하학적 추론 능력이 부족하여, 물체의 기하학적 구조가 변형되거나(예: 찌그러진 캔을 측면으로 잡으려 하는 경우) 공간적 제약이 위반될 때 실패를 초합니다.
2. 데이터 비효율성 및 지연 시간: Diffusion Policy와 같은 최첨단 생성 정책은 높은 표현력을 제공하지만, 반복적인 디노이징(denoising) 과정으로 인해 과도한 추론 지연 시간이 발생합니다. 반대로, 트랜스포머 기반 접근 방식은 조작의 본질적인 시공간적 메커니즘을 무시하고 희소한 데모 시나리오에서 과적합을 유발하며, 일반화를 달성하기 위해 방대한 데이터셋을 필요로 합니다.

본 논문은 실시간 응답성을 유지하면서도 미지의 환경에서 견고하고 데이터 효율적인 일반화를 가능하게 하는 이 이중 과제를 해결하고자 합니다.

2. 방법론: RGMP-S

저자들은 두 가지 핵심 모듈로 구성된 통합 프레임워크인 RGMP-S(Recurrent Geometric-prior Multimodal Policy with Spiking features)를 제안합니다.

A. 장기적 기하학적 사전 지식 기술 선택기 (Long-horizon Geometric-prior Skill Selector, LGSS)

이 모듈은 무거운 3D 재구성을 수행하지 않고도 VLM에 기하학적 상식을 통합함으로써 시맨틱-기하학적 간극을 해결합니다.

• 메커니즘: 경량화된 규칙 기반 기하학적 튜닝 전략을 채택합니다. 시스템은 자연어 지침과 RGB 이미지를 입력받아, VLM(Qwen-vl)을 사용하여 물체를 국지화(localize)하고 세그멘테이션 모델(YOLOv8n-seg)을 사용하여 형상 특성(예: "원통형", "찌그러진")을 추출합니다.
• 추론: 사고의 사슬(Chain-of-Thought, CoT) 프로토콜을 통해 기하학적 일관성 검사를 강제합니다. 시스템은 시맨틱 지침을 잠재적 기하학적 제약과 정렬하여, 미리 정의된 라이브러리로부터 적절한 조작 프리미티브(예: 원통형을 위한 "Side Grasp", 찌그러진 물체를 위한 "Pinch")를 선택합니다.
• 효율성: 이 접근 방식은 계산 비용이 많이 드는 3D 재구성을 피하며, 최소한의 파인튜닝과 낮은 지연 시간(~105ms 총 추론 시간)으로 작동합니다.

B. 재귀적 적응형 스파이킹 네트워크 (Recursive Adaptive Spiking Network, RASNet)

이 모듈은 액션 생성을 위한 데이터 효율성 및 시공간적 모델링 문제를 다룹니다.

• 아키텍처: RASNet은 본질적인 시공간적 메커니즘을 포착하도록 설계된 피드포워드 재귀 아키텍처입니다. 이는 기울기 소실(vanishing gradients)과 노이즈 축적을 방지하기 위해 표준 재귀 모델을 대체합니다.
• 주요 구성 요소:
  • 적응형 감쇠 메커니즘 (Adaptive Decay Mechanism, ADM): 역사적 컨텍스트의 유지를 동적으로 조절하여, 모델이 작업에 중요한 특징에 집중하는 동시에 불필요한 배경 노이즈를 억제할 수 있도록 합니다.
  • 회전 위치 임베딩 (Rotary Position Embeddings, RoPE): 기하학적 회전을 통해 위치 정보를 인코딩하여, 학습 가능한 위치 파라미터 없이도 상대적 공간 의존성을 포착하는 능력을 향상시킵니다.
  • 적응형 스파이크 뉴런 (Adaptive Spike Neurons, ASN): 스파이킹 역학을 통합하여 특징 유지를 조절합니다. 고정된 감쇠를 가진 스파이킹 뉴런과 달리, ASN은 채널별 어텐션을 통해 적응형 감쇠 계수($\tau$)를 학습함으로써 네트워크가 시간적 노이즈를 필터링하고 작업 관련 신호를 증폭할 수 있게 합니다.
  • 스파이킹 밀집 특징 추출 (Spiking Dense Feature Extraction, SDFE): 밀집된 시각 입력으로부터 미세한 공간적 특징을 추출하여 중복성을 줄입니다.
• 액션 생성: 네트워크는 다중 스케일 메커니즘을 통해 융합된 특징을 출력하며, **가우시안 혼합 모델 (Gaussian Mixture Model, GMM)**을 사용하여 액션 분포를 근사합니다. 이를 통해 정책이 다중 모달(multi-modal) 액션 분포를 포착할 수 있게 하여, 단일 가우시안 모델에서 흔히 발생하는 "평균으로의 회귀(regression to the mean)" 문제를 방지합니다.

3. 주요 기여

1. LGSS 프레임워크: VLM을 저차원 기하학적 어댑터와 결합한 새로운 기술 선택기입니다. 이는 형상 수준의 기하학적 상식 편향을 바탕으로 매개변수화된 기술을 정밀하게 선택할 수 있게 하여, 작업별 파인튜닝 없이도 물리적 실행 가능성을 보장합니다.
2. RASNet 아키텍처: 재귀적 스파이킹 역학과 적응형 감쇠를 활용하여 희소한 데모로부터 견고한 기술을 추출하는 정책 아키텍처입니다. 이는 방향성 있는 공간 의존성을 효과적으로 포착하고 데이터가 부족한 상황에서의 과적합을 완화합니다.
3. 데이터 효율적 일반화: 이 프레임워크는 다양한 물리적 플랫폼과 시뮬레이션 벤치마크에서 견고한 성능을 입증하였으며, 디퓨전 기반 베이스라인 모델들에 비해 훨씬 적은 수의 훈련 궤적(trajectory)만으로도 높은 성공률을 달est했습니다.

4. 실험 결과

저자들은 ManiSkill2 시뮬레이션 벤치마크와 세 가지 실제 로봇 플랫폼(커스텀 휴머노이드, 데스크탑 듀얼 암 매니퓰레이터, 상용 Aloha 로봇)에서 RGMP-S를 평가했습니다.

• SOTA 대비 성능: RGMP-S는 10가지 조작 작업에 대해 Diffusion Policy, Octo, OpenVLA, Dex-VLA를 포함한 최첨단 베이스라인 모델들을 능가했습니다.
  • 제로샷 그래스핑 (Zero-Shot Grasping): 평균 **89%**의 성공률을 달성하여 최상의 베이스라인인 Dex-VLA보다 12% 높은 성과를 보였습니다. Fanta 캔 데이터로만 학습되었음에도 불구하고 미지의 물체(예: 스프레이 병, 사람의 손)에 대한 견고한 전이 능력을 보여주었습니다.
  • 장기적 작업 (Long-Horizon Tasks): 수건 접기 및 물 붓기와 같은 작업에서 RGMP-S는 각각 0.86과 0.92의 성공률을 기록하며, 명시적인 기하학적 가이드가 없는 모델들을 크게 앞질렀습니다.
  • 시뮬레이션 벤치마크: RGMP-S는 관절형 물체 조작(예: 캐비닛 문, 캐비닛 서랍)에서 가장 높은 평균 점수(16.24%)를 기록하며, Diffusion Policy(10.01%)와 ManiSkill2-1st(10.69%)를 유의미하게 능가했습니다.
• 데이터 효율성: RGMP-S는 약 200개의 궤적을 학습한 Diffusion Policy와 대등한 성능을 단 40개의 궤적만으로 달성하여, 5배의 데이터 효율성 개선을 이루었습니다.
• 실시간 추론: 이 프레임워크는 75.2 Hz로 작동하여, Diffusion Policy(1.01 Hz) 및 OpenVLA(3.6 Hz)보다 훨씬 빨라 실시간 제어에 적합합니다.

5. 의의 및 주장

본 논문은 RGMP-S가 고수준의 시맨틱 추론과 저수준의 물리적 실행 사이의 간극을 효과적으로 메움으로써 체화된 지능(embodied intelligence)의 상당한 진보를 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

• 시맨틱-기하학적 간극 극복: 의사 결정 과정에 기하학적 사전 지식을 직접 주입함으로써, 미지의 환경이나 변형된 시나리오에서도 시맨틱 계획이 물리적으로 실행 가능하도록 보장합니다.
• 희생 없는 효율성: 스파이킹 역학과 적응형 메커니즘의 통합은 방대한 데이터셋과 컴퓨팅에 의존하는 기존의 "브루트 포스 스케일링(brute-force scaling)" 패러다임에 도전하며, 제한된 데이터로부터 견고한 학습을 가능하게 합니다.
• 재현성: 저자들은 소스 코드와 영상 데모를 공개하여 프레임워크의 완전한 재현성을 강조하며, 이는 효율적이고 일반화 가능한 로봇 학습 연구를 위한 강력한 베이스라인을 제공합니다.

저자들은 극도로 정밀한 인지(예: 밀리미터 단위의 삽입 또는 테이블에 밀착된 천 조작)가 필요한 시나리오에서의 한계를 인정하며, 이러한 과제들이 알고리즘의 결함이라기보다는 본질적인 물리적 복잡성을 반영한다고 언급했습니다.