기술 요약: VAIC (시각 유도형 휴머노이드 민첩 객체 상호작용 제어)

문제 정의

휴머노이드 로봇은 시뮬레이션에서 실제 비정형 환경으로 전환될 때, 특히 민첩한 객체 상호작용과 관련하여 심각한 "배포 격차(deployment gap)"에 직면합니다. 최근의 심층 강화 학습 및 동작 모방 기술의 발전으로 전신 제어(whole-body control) 능력이 향상되었음에도 불구하고, 기존 제어기들은 두 가지 근본적인 한계를 가집니다:

1. 조밀한 참조 궤적에 대한 의존성: 현재의 방법론들은 종종 실행 시점에 정밀한 관절 수준의 참조 동작을 요구합니다. 이러한 "운동학적 손잡이질(kinematic hand-holding)"은 인간 운영자가 고수준의 의도(예: 속도 명령)만을 제공할 수 있는 실제 자율 주행이나 원격 조종 상황에서는 비현실적입니다.
2. 완벽한 상태 관측성에 대한 의존성: 많은 접근 방식이 지면 정보(ground-truth) 6D 객체 포즈와 정밀한 지형 기하 구조에 접근할 수 있다고 가정합니다. 물리적 배포 시, 하방을 향하는 비전 센서는 운반 중인 물체에 의해 자주 가려지며, 센서 노이즈는 사각지대를 만들어 상태 추정을 신뢰할 수 없게 만듭니다.

이러한 한계는 로봇이 계단 위에서 부피가 큰 물체를 운반하거나, 비홀로노믹(underactuated) 카트를 조작하거나, 스케이트보드를 타는 것과 같이 객체의 동역학적 상태가 로봇의 균형에 근본적으로 영향을 미치는 긴밀하게 결합된 전신 협응 작업을 수행하는 것을 방해합니다.

방법론: VAIC 프레임워크

저자들은 오라클 수준의 시뮬레이션 추적과 물리적, 지각적 배포 사이의 간극을 메우는 통합 프레임워크인 **VAIC (Vision-Guided Agile Interaction Control)**를 제안합니다. 핵심 통찰은 고수준의 사용자 의도와 저수준의 상호작용 실행을 분리하는 것입니다.

1. 분리된 명령 인터페이스

VAIC는 조밀한 참조 동작을 대신하여 $u_t = (v_t, c_t)$로 정의되는 배포 친화적이고 의도 중심적인 명령 인터페이스를 도입합니다:

• $v_t$ (속도 목표): 내비게이션 의도($[v_x, v_y, v_{yaw}]$)를 나타내는 다축 속도 목표($\in \mathbb{R}^3$).
• $c_t$ (상호작용 지표): 상호작용 단계를 지정하는 프레임당 이진 지표 (내비게이션/접근 시 $0$, 능동적 접촉/상호작용 시$1$).

이 공식은 "어디로 갈 것인가"와 "어떻게 상호작용할 것인가"를 분리하여, 특정 관절 궤적을 추적할 필요 없이 직관적인 원격 조종과 자율 주행을 가능하게 합니다.

2. 2단계 증류 패러다임 (Two-Stage Distillation Paradigm)

VAIC는 특화된 2단계 온라인 증류 과정을 사용하여 특권(privileged) 정보를 가진 교사(teacher)로부터 배포 가능한 학생(student)으로 기술을 전이합니다:

• 단계 I: 교사 학습 및 학생 예열 (Teacher Training & Student Warm-up):

  • **특권 교사 정책(Privileged Teacher Policy)**은 오라클 시뮬레이션 환경에서 강화 학습(PPO)을 통해 학습됩니다. 이 모델은 정확한 객체 운동학($s^{obj}_t$), 지형 기하 구조, 그리고 조밀한 참조 동작에 접근할 수 있습니다.
  • 동시에 **학생 정책(Student Policy)**이 예열됩니다. 학생의 입력은 엄격하게 고유 수용 감각(proprioception)과 분리된 명령($v_t, c_t$)으로 제한되며, 시각적 입력(depth)은 제로 인젝션(zero-injected)됩니다.
  • 증류(Distillation): 학생은 행동 복제(Behavior Cloning, BC)를 통해 교사의 행동을 모방하며, 보조 모듈(Object Adapter 및 Privilege Adapter)은 지도 학습을 통해 교사의 잠재 표현으로부터 누락된 특권 상태(객체 동역학 및 기하학적 특징)를 암시적으로 추론하도록 학습됩니다.

• 단계 II: 비전 가이드 학생 탐색 (Vision-Guided Student Exploration):

  • 조밀한 참조 동작과 완벽한 객체 상태가 학생의 입력에서 완전히 제거됩니다.
  • **학생 액터(Student Actor)**는 현실적인 센서 노이즈가 존재하는 환경에서 작업 완수와 명령 추적을 최적화하기 위해 PPO를 사용하여 제어권을 완전히 갖습니다.
  • 객체 적응 모듈(Object Adaptation Module): 순환 모듈(CNN-GRU)이 시간적 깊이 스트림과 고유 수용 감각 이력을 처리하여 관측 불가능한 객체 동역학($\hat{s}^{obj}_t$)을 암시적으로 추론합니다. 이진 지표 $c_t$는 모드 전환 사전 확률(mode-switching prior) 역할을 하여 네트워크가 접촉력의 변화를 예측하도록 돕습니다.
  • 특권 어댑터(Privilege Adapter): 추론된 객체 상태와 기하학적 템플릿을 로봇의 프레임으로 투영하여 정책 잠재 공간을 재구성합니다.
  • 온라인 적응(Online Adaptation): 어댑터 모듈은 학생의 자체 롤아웃 데이터를 사용하여 온라인으로 계속 업데이트되며, 이를 통해 표현 드리프트(representation drift)를 방지하고 시각적 재구성을 실제 물리적 상호작용에 기반하도록 합니다.

주요 기여

1. 분리된 명령 인터페이스: 조밀한 참조 동작 요구 사항을 고수준 속도 목표와 단계 지표로 대체하여, 작업별 재학습 없이도 직관적인 원격 조업과 다양한 동역학적 프로필에 대한 일반화를 가능하게 하는 제어 공식을 제공합니다.
2. 폐쇄 저항형 증류 (Occlusion-Resistant Distillation): 특권 기하 및 동역학 상태를 교사로부터 증류하기 위해 순환형 객체 적응 모듈을 사용하는 방법입니다. 이를 통해 로봇은 심각한 시각적 폐쇄(예: 카메라 시야를 가리는 박스 운반) 및 센서 노이즈 상황에서도 관측 불가능한 객체 동역학을 암시적으로 재구성하고 정밀한 상호작용을 수행할 수 있습니다.
3. 통합 하드웨어 검증: 단일 정책이 다양한 지형 시퀀스(평지, 경사로, 계단)를 가로질러 일반화될 수 있으며, 분포 외(out-of-distribution) 객체 속성(변화하는 무게, 크기, 위치)에 적응할 수 있음을 실제 배포를 통해 입증했습니다.

실험 결과

프레임워크는 Intel RealSense D435i 카메라가 장착된 휴머노이드 로봇을 사용하여 세 가지 도전적인 카테고리인 박스 운반(다양한 지형 위), 카트 조작(비홀로노믹 페이로드 견인/밀기), 스케이트보딩(충격적인 동역학 하의 균형 잡기)에 대해 평가되었습니다.

• 정량적 성능: MuJoCo 시뮬레이션에서 VAIC는 베이스라인(PPO, AMP, PhysHSI, VisualMimic)을 크게 상회했습니다.
  • 박스 상호작용: 표준 PPO(0%) 및 AMP(50%)에 비해 월등히 높은 66.7%의 성공률을 달ras했으며, 로봇 루트와 객체 모두에서 낮은 추적 오차를 보였습니다.
  • 카트 상호작용: 91.7%의 성공률을 달성하여, PPO(41.7%)와 AMP(58.3%)보다 훨씬 뛰어난 성능을 보이며 비홀로노믹 제약을 효과적으로 처리했습니다.
  • 스케이트보드 상호작용: 83.3%의 성공률을 기록한 반면, PPO는 완전히 실패(0%)했고 AMP는 12.5%에 그쳤습니다.
• 일반화: 실제 하드웨어 테스트를 통해 변화하는 속도 명령, 페이로드 무게, 상호작용 방향, 박스 크기를 포함한 분포 외 조건에 대한 강건성을 확인했습니다. 시스템은 재학습 없이도 균형과 상호작용 안정성을 성공적으로 유지했습니다.
• 메커니즘 분석: 예측된 객체 상태와 실제 정답(ground truth)을 비교한 결과, 깊이 조건부 추정기가 자기 폐쇄(self-occlusion) 상황에서도 객체의 위치와 방향을 정밀하게 추적함을 보여주었습니다. 상호작용 지표 $c_t$를 조건화하는 것이 순수 고유 수용 감각 대안보다 시간적 드리프트를 유의미하게 줄이는 것으로 나타났습니다.

의의 및 주장

본 논문은 조밀한 관절 수준의 참조 궤적과 완벽한 상태 관측성에 대한 제한적인 의존성을 제거함으로써, 실용적인 자율 휴머노이드 배포를 위한 패러다임을 제시한다고 주장합니다. 시각 가이드 증류를 통해 시뮬레이션과 현실 사이의 간극을 성공적으로 메움으로써, VAIC는 휴머노이드가 비정형 환경에서 매우 다양하고 역동적이며 민첩한 객체 상호작용을 수행할 수 있게 합니다. 저자들은 이 통합된 접근 방식이 단일 정책이 어떻게 극도로 다른 동역학적 프로필(운반, 밀기, 스케이트보딩)을 처리하고 모델링되지 않은 물리적 변화에 일반화될 수 있는지를 입증함으로써, 실제 휴머노이드 로보틱스의 핵심 병목 현상을 해결했다고 강조합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 깊이 기반의 객체 적응 모듈은 센서 노이즈에 취착될 수 있으며, 투명하거나 반사가 심한 물체에 대해서는 실패할 수 있습니다.
• 극단적인 분포 외 물리적 변화(예: 갑작스럽고 급격한 질량 변화)는 로봇이 조정하기 전에 표현 붕괴(representation collapse)를 유발할 수 있습니다.
• 분리된 명령 인터페이스는 거시적인 이동-조작(loco-manipulation)에는 효율적이지만, 정교한 손 안의 조작(in-hand manipulation)에 필요한 세밀한 그래뉴리티(granularity)는 부족합니다.