기술 요약: 지각적 행동 파운데이션 모델 (Perceptive Behavior Foundation Model)

문제 정의

휴머노이드 행동 파운데이션 모델은 광범위한 인간의 움직임 사전 학습(human motion priors)으로부터 재사용 가능한 전신 제어 정책을 습득하여, 단일 컨트롤러가 다양하고 표현력 있는 동작을 생성하는 것을 목표로 한다. 그러나 기존의 모션 중심 파운데이션 정책은 참조 모션(reference motion)이 이미 로봇의 주변 환경과 물리적으로 호환된다는 결정적인 가정을 전제로 작동한다.

이러한 가정은 인간 데몬스트레이터(demonstrator), 운영자(operator), 그리고 로봇이 서로 다른 환경에 처해 있는 운영자-환경 불일치(operator–environment mismatch) 시나리오에서 실패한다. 인간의 움직임 명령은 의도와 스타일을 명시하지만, 로봇의 국소적 지형(예: 계단, 드문드문한 지지대, 또는 장애물)에 필요한 발 디딤(foothold), 스윙 클리어런스(swing clearance), 신체 높이 또는 접촉 타이밍을 본질적으로 인코딩하지는 않는다. 결과적으로, 복잡한 지형에서 평탄한 지면 기준을 추적하려는 로봇은 충돌, 균형 상실 또는 실행 불가능한 운동학적 구조(kinematics)로 인해 실패할 수 있다. 핵심 과제는 원시 모션 명령 인터페이스를 변경하지 않으면서, 로봇 중심의 지각(perception)에 인간의 모션 사전 학습을 접지(grounding)시키는 것이다.

방법론: 지각적 행동 파운데이션 모델 (Perceptive BFM)

저자들은 원시 운동학적 참조(raw kinematic references)를 배포 명령으로 유지하면서, 국소 지형 관측치를 사용하여 접촉, 자세 및 타이밍을 적응시키는 단일 정책 프레임워크인 Perceptive BFM을 제안한다. 이 접근 방식은 단계별 지각적 모션 트래킹(Perceptive Motion Tracking, PMT) 학습 알고리즘을 중심으로 구축된다.

1. 지형 순응형 참조 합성 (Terrain-Conformal Reference Synthesis, TCRS)

확장 가능한 지형 감독(supervision)을 제공하기 위해, 저자들은 원시 인간 모션 클립과 샘플링된 높이 필드를 지형 일관적 참조($m_{tcrs}$)로 변환하는 오프라인 합성 파이프라인을 개발했다. 이 모듈는 완전한 접촉 풍부 역학(contact-rich dynamics)을 해결하는 대신, 다음과 같은 과정을 통해 접촉 일관적이고 매끄러우며 스타일을 보존하는 참조를 구축한다:

• 접촉 인지형 발 디딤 구축 (Contact-aware foothold construction): 글로벌 보행 단계(gait phase)와 명목상의 발 착지 타이밍을 유지하면서, 스탠스 발(stance feet)을 지형 표면에 고정한다.
• 발 기하학 인지형 스윙 최적화 (Foot-geometry-aware swing optimization): 지형 불연속성을 피하기 위해 샘플링 기반 궤적 최적화 도구를 사용하여 가상 미드풋(mid-foot) 궤적(토와 힐의 클리어런스 균형)을 최적화한다.
• 지지 인지형 루트 재구성 (Support-aware root reconstruction): 지지 접촉과 다리 도달 가능성(reachability)을 기반으로 루트(골반) 높이를 재구성한다.
• 충돌 복구 및 다점 다리 IK (Collision repair and multi-point leg IK): 12개의 다리 관절에 대해 감쇠된(damped), 지지 인지형 다점 자코비안 역운동학(Jacobian Inverse Kinematics, IK) 문제를 해결하여 충돌을 방지하고 운동학적 타당성을 확보한다.

2. 교사-학생 학습 파이프라인 (Teacher-Student Training Pipeline)

학습 과정은 네 단계로 구성된다:

• 1단계 (오프라인 합성): TCRS는 원시 참조($m_{raw}$), 지형 순응형 참조($m_{tcrs}$), 그리고 지형 맵($\tau$)의 쌍을 된 데이터셋을 생성한다.
• 2단계 (블라인드 교사 학습): 합성된 $m_{tcrs}$ 참조를 추적하도록 PPO(Proximal Policy Optimization)를 통해 트랜스포머 기반의 "블라인드" 교사 정책을 학습시킨다. 이 교사는 특권 정보(적응된 참조)에는 접근할 수 있지만, 시각적 지형 입력은 받지 못한다.
• 3단계 (비전 학생 증류): 원시 참조($m_{raw}$)와 국소 지형 스캔을 받는 "비전 학생" 정책을 교사로부터 증류한다.
  • 타겟 프레임 액션 정렬 (Target-Frame Action Alignment): 교사는 $m_{tcrs}$에 따라 행동하고 학생은 $m_{raw}$에 따라 행동하므로, 학생은 원시 참조에 상대적으로 표현된 교사의 유효한 관절 목표를 학습한다: $a^*_t = (q_{tcrs} + \mu_{tea}) - q_{raw}$.
  • 아이덴티티 게이티드 아키텍처 (Identity-Gated Architecture): 학생은 아이덴티티 게이트가 적용된 트랜스포머이다. 지형 특징은 0으로 초기화된 잔차 경로(residual pathways)를 통해 입력된다. 이는 초기화 시점에 학생이 정확히 원시 참조 추적기처럼 동작하게 하여, 지형 조건부 보정(terrain-conditioned corrections)이 추적 목적을 개선할 때만 학습하도록 보장한다.
• 4단계 (PPO 미세 조정): 학생은 원시 참조 명령과 지형 관측치를 사용하여 PPO로 미세 조정되며, 전이된 모션 추적 사전 학습을 보수적으로 업데이트하면서 국소 지각 조건부 보정을 학습한다.

주요 기여

1. TCRS 파이프라인: 접촉 인지형 발 디딤 구축, 스윙 최적화, 루트 재구성 및 다점 IK를 통해 원시 인간 모션과 지형 높이 필드를 지형 일관적 감독 신호로 변환하는 확장 가능한 오프라인 합성 방법을 제공한다.
2. PMT 알고리즘: 원시 참조 명령 인터페이스를 변경하지 않고도 지형 인지 행동을 배포하는 원시 참조 교사-학생 프레임워크이다. 이는 타겟 프레임 액션 정렬을 통해 블라인드 교사로부터 비전 학생에게 지형 순응형 행동을 전달한다.
3. 아이덴티티 게이티드 정책 설계: 원시 참조 추적기로 초기화되어 지형 조건부 잔차 보정을 학습하는 트랜스퍼 구조의 트랜스포머 정책이다. 이를 통해 단일 명령 인터페이스가 다양한 지형에서 보행, 표현력 있는 동작, 곡예, 그리고 운영자-환경 불일치를 지원할 수 있게 한다.

결과

본 논문은 다섯 가지 수준에서 Perceptive BFM을 평가한다:

• TCRS 품질: 계단이 있는 디딤돌(stepping stones) 환경에서, TCRS는 베이스라인(Z-offset 및 Cubic Interp+IK)에 비해 충돌 민감 지표를 크게 감소시킨다. 구체적으로, 침투 깊이(penetration depth)를 5.48 cm(Z-offset)에서 2.38 cm로 줄였고, 클리어런스 위반을 14.3%(Cubic)에서 7.4%로 줄였다.
• 학습 종료 진단: 일반적인 10k 반복 PPO 설정에서, 전체 PMT 정책은 **55.1%**의 로그 폐루프 성공률을 달agt하며 다음의 절제 연구(ablations)를 크게 앞선다:
  • TCRS 미사용 (원시 참조만 사용): 27.3%
  • 비전 미사용 (블라인드): 26.5%
  • 타겟 프레임 정렬 미사용: 26.7%
  • 아이덴티티 게이팅 미사용: 30.4%
• 교차 지형 시뮬레이션: 30개의 모션 명령과 5개의 지형군(계단, 경사면, 드문드문한 지지대, 함몰된 장애물, 혼합 실내)에 대한 고정 정책 롤아웃에서, PMT는 원시 참조 베이스라인의 27.3% 대비 **55.1%**의 완료율을 달성했다. 또한 PMT는 하퇴부 충돌 발생 빈도가 더 낮았다 (10.0% vs 24.7%).
• 실제 로봇 배포: 단일 정책이 29-DoF Unitree G1 로봇에 배포되었다. 이 로봇은 실내, 실외, 모캡(mocap) 불일치 설정 전반에서 다양한 동작(외다리 백플립, 계단 댄싱, 팔을 흔들며 달리기, 옆으로 계단 걷기)을 성공적으로 수행했다. 로봇은 상체 동작 명령을 유지하면서도, 인식을 통해 발 디딤과 클리어런스를 온라인으로 해결했다.

의의 및 주장

본 논문은 로봇 중심의 지각이 원시 모션 명령 인터페이스를 변경하지 않고도 인간의 모션 사전 학습을 지형 호환적인 전신 행동으로 전환할 수 있음을 주장한다.

그 의의는 일반적인 행동 파운데이션 모델(표현력 있는 추적에는 뛰어나지만 지형을 무시함)과 지각적 보행 정책(지형은 처리하지만 인간의 의도를 자율 기술로 대체함) 사이의 간극을 메우는 데 있다. Perceptive BFM은 단일 정책이 (상체 명령이 하체 보정 후에도 실행 가능하다는 전제하에) 복잡한 작업인 곡예나 불일치 환경에서의 텔레오퍼레이션(teleoperation)을 위해 광범위한 인간 모션 사전 학습을 재사용할 수 있음을 보여준다. 저자들은 이 접근 방식이 인간의 '의도와 스타일'을 유지하면서도 물리적 구현(접촉, 자세, 타이밍)을 국소 환경에 동적으로 적응시킬 수 있다고 언급한다.

본 논문은 정적이고 단단한 지형을 가정한다는 점과 상체 충돌 인식이 부족하다는 점(명령 자체가 충돌을 고려하지 않은 경우 팔/몸통이 장애물에 부딪힐 수 있음) 등의 한계를 인정한다. 향후 연구로 동적/변형 가능한 지형 및 상체 적응 문제를 다룰 것을 제안한다.