Global-Local Attention Decomposition for Terrain Encoding in Humanoid Perceptive Locomotion

기술 요약: 휴머노이드 지각 보행을 위한 글로벌-로컬 어텐션 분해(Global-Local Attention Decomposition)

문제 정의
강화 학습(RL)이 휴머노이드 보행 분야를 발전시켜 왔으나, 지각 정책(perceptive policies)은 발디딤 지점이 드문드문하거나 제약이 많은 환경에서 어려움을 겪고 있다. 이러한 시나리오에서의 성공은 두 가지 뚜렷한 지각 능력을 요구한다: 주변 지형 맥락에 대한 광범위한 인지와 정밀한 발디딤 지점 선택 능력이다. 기존의 지형 인코더들은 종종 이러한 목적들을 단일 메커니즘 내에 얽히게 하여, 미세한 공간적 단서의 희석, 특징과 도달 가능한 영역 간의 공간적 대응성 약화, 그리고 훈련 오버헤드 증가를 초래한다. 기존의 어텐션 기반 방식들(예: AME, AME-2)은 고유 수용 감각(proprioception)과 외수용 감각(exteroception)을 융합하려고 시도하지만, 일반적으로 전체 특징 집합에 단일 어텐션 메커즘을 적용하며, 글로벌 맥락 집계와 상태 조건부 로컬 인코딩을 명시적으로 분리하지 못한다.

방법론: 글로벌-로컬 어텐션 분해 (GLAD)
저자들은 지각적 역할을 명시적으로 분리하도록 설계된 조ละเอียด-to-fine 지형 인코더인 GLAD를 제안한다. 이 아키텍처는 로봇 중심의 고도 맵(elevation map)을 다음과 같은 단계로 처리한다:

1. 공간적으로 정렬된 로컬 특징 추출: 2개 층의 합성곱 신경망(CNN)이 3D 고도 맵에서 로컬 특징을 추출한다. 높이 값에만 합성곱을 수행하는 기존 연구들과 달리, GLAD는 위치 단서를 특징에 직접 임베딩하기 위해 전체 3D 좌표를 합성곱한다. 첫 번째 층은 스트라이드 다운샘플링(strided downsampling)을 수행하여 센싱 해상도와 특징 해상도를 분리함으로써, 공간적 정렬을 유지하면서 시퀀스 길이를 줄인다.
2. 글로벌 어텐션 브랜치: 이 브랜치는 어텐션 풀링을 사용하여 모든 로컬 특징을 압축된 "주변 지형 맥락" 벡터로 집계한다. 이 벡터는 특정 발디딤 지점에 집중하지 않고, 로봇 앞의 광범위한 통행 가능성과 기하학적 배치를 요약한다.
3. 로컬 어텐션 브랜치: 이 브랜치는 상태 조건부 희소화(state-conditioned sparsification) 및 인코딩을 수행한다. 이는 글로벌 맥락 벡터를 고유 수용 임베딩과 융합하여 상태 조건부 쿼리(query)를 생성한다. 이 쿼리는 로컬 특징의 점수를 매겨 로봇의 현재 운동 상태와 관련된 상위 $K$개의 후보만을 남긴다(희소화). 이후 멀티 헤드 어텐션(MHA) 메커니즘이 이 희소한 특징들을 처리하여 미세하고 발디딤 지점에 적합한 기하학적 인코딩을 생성한다.
4. 통합 표현: 글로벌 맥락 벡터와 로컬 발디딤 관련 특징을 결합하여 보행 정책에 입력될 최종 지형 표현을 형성한다.

핵심 기여

1. 명시적 분해: 본 논문은 어텐션을 글로벌 지형 맥락 집계와 상태 조건부 로컬 발디딤 인코딩으로 분리하는 GLAD를 소개한다. 이를 통해 정책은 아키텍처적 얽힘 없이 광범위한 통행 가능성과 정밀한 지지 영역의 기하학적 구조를 공동으로 추론할 수 있다.
2. 효율성 및 해석 가능성: 분해 방식과 상태 조건부 로컬 특징 희소화를 결합함으로써, 전체 지형 특징 집합에 밀집 어텐션을 적용할 때 발생하는 계산 비용을 줄인다. 결과적인 어텐션 동작은 상호 보완적이며 해석 가능하다: 글로벌 어텐션은 전방 통행 가능성에 집중하고, 로컬 어텐션은 특정 발디딤 영역을 강조한다.
3. 강력한 제로샷 전이(Zero-Shot Transfer): 본 방법은 온보드 LiDAR 기반 고도 맵만을 사용하는 Unitree G1 휴머노이드 로봇을 통해 검증되었다. GL-AD는 사전 매핑이나 외부 모션 캡처 없이도 다양한 드문 발디딤 및 장애물 밀집 영역에서 강력한 제로샷 심투리얼(sim-to-real) 전이를 달s성한다.

실험 결과

• 시뮬레이션: GLAD는 네 가지 미학습 테스트 지형(복합 스텝 스톤, 무작위 기둥, 좁은 사인파 경로 포함)에 대해 베이스라인(AME, 글로벌 맥락이 포함된 AME) 및 절제 연구(ablation) 변형 모델들과 비교 테스트되었다. GLAD는 가장 높은 성공률을 기록했다 (예: 좁은 경로에서 95.90% 달성, 로컬 어텐션이 없는 GLAD는 18.95%).
• 어텐션 분석: 정량적 지표에 따르면 GLAD는 실제 발디딤 지점까지의 어텐션 가중 거리(attention-weighted distance)가 가장 작았으며, 가장 높은 어텐션 집중도($A_{peak}$)를 보였다. 특히, GLAD의 로컬 어텐션 집중도는 지형의 난이도에 따라 적응하는 모습을 보였다 (연속 지형의 0.257에서 이산 지형의 0.447로 증가). 반면 베이스라인 모델들은 이러한 적응성이 부족했다.
• 훈련 효율성: 코스-투-파인(coarse-to-fine) 설계 덕분에 단일 GPU에서 훈련 시간이 1.00일로 단축되었으며, 이는 AME(1.36일) 및 글로벌 맥락이 포함된 AME(1.50일)보다 빠르다.
• 실세계 배치: Unitree G1에서 해당 정책은 교차 스텝 스톤, 계단-틈새 복합 지형, 넓은 틈(최대 70cm), 그리고 밀집된 장애물 필드를 성공적으로 통과했다. 로봇은 계층적 플래너 없이도 단순한 속도 명령 하에 자율적으로 좁은 경로를 따라가거나 장애물을 피하는 등 창발적 행동을 보였다.

의의 및 주장
본 논문은 GLAD가 기존 인코더의 근본적인 한계인 글로벌 맥락과 로컬 정밀도의 얽힘 문제를 해결한다고 주장한다. 이러한 역할을 명시적으로 분리함으로써, 이 방법은 더욱 견고하고 지형 대응적인 보행을 가능하게 한다. 저자들은 학습된 정책이 "창발적인 지형 대응 행동"을 보여주며, 이를 통해 로봇이 온보드 센싱만을 사용하여 복잡하고 제약이 많은 환경을 탐색할 수 있다고 강조한다. 본 연구는 고품질의 지형 표현이 복잡한 보상 형성(reward shaping)이나 수작업으로 설계된 발디딤 보상 없이도 도전적인 드문 발디딤 지형에서 신뢰할 수 있는 보행을 지원하기에 충분하다는 것을 입증한다.

한계점
저자들은 로컬 고도 맵의 센싱 범위, 재구성 노이즈, 그리고 실시간 고도 맵 생성의 계산 오버헤드와 관련된 한계를 인정한다. 향후 연구로는 더 효율적인 매핑 파이프라인, 시간적으로 확장된 인지(temporally extended perception), 그리고 다중 스케일 지형 표현에 대한 조사가 제안되었다.