💻 computer science

Now You See That: Learning End-to-End Humanoid Locomotion from Raw Pixels

본 논문은 고정밀 깊이 시뮬레이션과 행동 증류를 통해 시뮬레이션-현실 간극을 극복하고, 전문화된 보상 설계와 다중 네트워크 학습을 통해 다양한 지형 적응을 가능하게 하는 강건한 비전 기반 휴머노이드 보행을 위한 엔드투엔드 프레임워크를 제시한다.

원저자: Wandong Sun, Yongbo Su, Leoric Huang, Alex Zhang, Dwyane Wei, Mu San, Daniel Tian, Ellie Cao, Baoshi Cao, Yang Liu, Finn Yan, Ethan Xie, Zongwu Xie

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wandong Sun, Yongbo Su, Leoric Huang, Alex Zhang, Dwyane Wei, Mu San, Daniel Tian, Ellie Cao, Baoshi Cao, Yang Liu, Finn Yan, Ethan Xie, Zongwu Xie

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간처럼 걷는 로봇을 가르쳐 보라고 상상해 보세요. 간단해 들리지만, 로봇에게 세상은 혼란스러운 정보로 가득한 지뢰밭과 같습니다. 로봇에 완벽한 컴퓨터 생성 지면을 제공하면 쉽게 걸을 수 있지만, 실제 세계에서는 그 '눈'(카메라) 이 엉망입니다. 흐려지기도 하고, 구멍을 내기도 하며, 사물의 거리를 거짓으로 말하기도 합니다.

이 논문인 "Now You See That" 은 완벽한 지도나 인간의 손잡이가 필요 없이, 오직 엉망진창인 실제 세계의 카메라 눈만으로도 인간형 로봇이 자신 있게 걷도록 가르치는 방법에 관한 것입니다.

그들이 어떻게 했는지 간단한 비유로 설명해 드리겠습니다.

1. 문제: '완벽한 학생' 대 '실제 세계'

보통 로봇 엔지니어들은 세상이 완벽한 비디오 게임 (시뮬레이션) 안에서 로봇을 훈련시킵니다. 로봇은 깨끗한 디지털 계단에서 걷는 법을 배웁니다. 하지만 그 로봇을 실제 세계에 데려가면 넘어지고 쓰러집니다. 왜일까요? 실제 카메라에는 비디오 게임에는 없던 '결함'(노이즈, 이미지 내의 구멍, 나쁜 조명) 이 있기 때문입니다.

마치 완벽한 날씨로 비행 시뮬레이터에서 조종사를 훈련시킨 뒤, 실제 폭풍우 속으로 떨어뜨리는 것과 같습니다. 그들은 실제 폭풍우가 다르다는 사실에 당황합니다.

2. 해결책 A: '가짜 결함' 공장

이를 해결하기 위해 연구자들은 컴퓨터 안에 초현실적인 '결함 공장'을 구축했습니다.

로봇에게 깨끗한 사진만 보여주는 대신, 실제 값싼 카메라가 보일 법하게 사진을 고의로 망가뜨렸습니다. 그들은 다음과 같은 것들을 추가했습니다:

구멍: 질감 없는 벽을 카메라가 볼 수 없을 때와 같은 상황 (스테레오 매칭 아티팩트 시뮬레이션).
정적: 멀리 볼수록 더 심해지는 TV 의 눈꽃 같은 노이즈.
왜곡: 왜곡된 환상 거울을 통해 보는 것과 같은 현상.

비유: 운전 배우기를 상상해 보세요. 완벽한 빈 트랙에서 연습하는 대신, 운전 학교는 안개가 낀 앞유리, 흔들리는 카메라, 때로는 거짓말을 하는 GPS 가 장착된 차에 당신을 태웁니다. 실제 운전 시험을 볼 때쯤이면 당신은 어떤 엉망진창 상황에서도 운전하는 데 능통한 전문가가 됩니다. 이것이 바로 이 '결함 공장'이 로봇에게 한 일입니다.

3. 해결책 B: '전문 코치' 팀

부드러운 언덕을 걷는 것과 가파른 계단을 오르는 것은 다르고, 그 또한 간격을 뛰어넘는 것과 다릅니다. 단일한 '코치'(표준 AI 뇌) 는 이러한 다양한 기술을 한 번에 배우려다 종종 혼란에 빠집니다. 마치 한 시간 안에 학생에게 수영, 암벽 등반, 마라톤을 모두 가르치려 하는 것과 같습니다.

연구자들은 로봇에게 함께 일하는 세 명의 전문 코치를 배치했습니다:

코치 1: 계단과 플랫폼에 특화됨.
코치 2: 간격을 뛰어넘는 데 특화됨.
코치 3: 거칠고 바위투성이 지면에 특화됨.

비유: 일반적인 교사 한 명 대신 로봇은 '꿈의 팀'을 갖게 됩니다. 로봇이 계단을 보면 코치 1 의 말을 듣고, 간격을 보면 코치 2 의 말을 듣습니다. 이렇게 하면 로봇이 '걸어'야 할 때 '뛰어'야 한다고 혼란을 겪는 것을 방지합니다.

4. 해결책 C: '선생님 - 학생' 인수인계

로봇은 마스터 셰프가 견습생을 가르치듯 두 단계로 학습합니다.

1 단계 (마스터): 로봇은 먼저 '신의 시선'(완벽하고 깨끗한 데이터) 을 이용해 걷는 법을 배웁니다. 모든 발걸음이 어디에 있는지 정확히 압니다. 이것이 선생님입니다.
2 단계 (견습생): 그런 다음 로봇은 엉망이고 결함이 있는 카메라 이미지만 이용해 걷는 법을 배워야 합니다. 이것이 학생입니다.

학생은 선생님의 동작을 따라 하려 하지만, 선생님은 깨끗한 지도를 보는 반면 학생은 흐릿한 사진을 봅니다. 학생을 돕기 위해 연구자들은 특별한 규칙을 추가했습니다: "비록 사진이 흐릿하더라도, 당신의 뇌 내부에서 느끼는 지면의 감각은 선생님의 명확한 감각과 일치해야 한다."

비유: 마스터 피아니스트 (선생님) 가 노래를 완벽하게 연주한다고 상상해 보세요. 학생 (로봇) 은 정적 소리가 나는 노이즈 캔슬링 헤드폰을 쓰고 있습니다. 학생은 귀의 정적을 무시하고 마스터의 손 움직임을 보며 리듬을 느껴 같은 노래를 배워야 합니다. 연구자들은 로봇에게 정적을 무시하고 핵심 동작에 집중하도록 가르쳤습니다.

결과: 로봇은 실제로 무엇을 했을까요?

연구자들은 이 로봇을 두 가지 다른 실제 인간형 로봇에서 테스트했습니다. 그들은 단순히 평평한 바닥을 걷는 것을 넘어 '파쿠르' 스타일의 도전에 맞섰습니다:

긴 계단: 긴 계단을 오르내리기 (양방향).
높은 플랫폼: 높은 상자 위로 올라서기.
간격: 바닥의 넓은 구멍 뛰어넘기.
잔해: 쓰레기 더미와 고르지 않은 바위 위를 걷기.

결과:
로봇은 시도한 **98.9%**에서 성공했습니다. 부드럽게 걸었고, 넘어지지 않았으며, 에너지를 효율적으로 사용했습니다. 가장 중요한 점은 컴퓨터를 떠난 후 인간의 조정 없이 이를 달성했다는 것입니다. 로봇은 '결함이 있는' 시뮬레이션에서 학습했고, 즉시 실제 세계에서 완벽하게 작동했습니다.

하나의 작은 한계

논문은 하나의 특정 약점을 지적합니다: 계단 내려가기.
로봇은 계단을 오르는 데는 완벽했지만, 내리는 데는 약간 덜 완벽했습니다.

왜? 내려갈 때는 중력이 당신을 앞으로 당깁니다. 작은 실수를 하면 올라갈 때보다 회복하기가 더 어렵습니다. 또한 로봇의 발이 종종 다음 단계에 대한 시야를 가려 '결함이 있는' 카메라를 더욱 혼란스럽게 만듭니다.

요약

이 논문은 로봇에게 걷는 법을 가르치는 새로운 방식을 제시합니다:

로봇이 놀라지 않도록 훈련 중에 실제 세계의 카메라 오류를 가짜로 만들어 학습시킵니다.
다양한 유형의 지형에 대해 전문 코치들을 고용합니다.
완벽한 데이터에서 엉망인 데이터로 지식을 전달하기 위해 선생님 - 학생 시스템을 사용합니다.

그 결과, 로봇은 엉망진창인 실제 세계 환경을 바라보고 인간처럼 계단, 간격, 바위 위를 자신 있게 걸을 수 있게 되었습니다.

기술 요약: Now You See That: Raw Pixels 를 통한 엔드 - 투 - 엔드 휴머노이드 보행 학습

1. 문제 제기

휴머노이드 로봇을 위한 견고한 비전 기반 보행 구현은 embodied intelligence 분야에서 여전히 중요한 과제로 남아 있습니다. 사지 로봇은 중간 수준의 제어 오류를 견딜 수 있는 고유한 정적 안정성을 지닌 반면, 휴머노이드는 지각과 동작 간의 정밀한 조정이 필요한 본질적으로 불안정한 영역에서 작동합니다. 이 논문은 이러한 시스템을 현실 세계에 배포하는 데 방해가 되는 두 가지 근본적인 장벽을 식별합니다:

지각의 시뮬레이션 - 현실 간극 (Sim-to-Real Gap): 표준 시뮬레이션 파이프라인은 실제 세계의 깊이 센서가 가진 구조적 불완전성 (예: 스테레오 매칭 아티팩트, 보정 불확실성, 거리에 따른 노이즈) 을 포착하지 못합니다. 이러한 지각 노이즈는 긴 계단 횡단이나 좁은 간격 통과와 같이 센티미터 단위의 정밀도를 요구하는 세밀한 작업에서 성능을 심각하게 저하시킵니다.
통합 제어 내의 상충되는 학습 목표: 다양한 지형 (계단, 간격, 거친 지형, 플랫폼 등) 을 처리하도록 단일 정책을 훈련시키는 것은 상충되는 보상 지형 (reward landscapes) 으로 인해 방해받습니다. 단일 가치 함수를 사용하는 표준 강화 학습은 이러한 이질적인 역학을 포착하는 데 어려움을 겪으며, 종종 별도의 전문가 정책들을 훈련시켜야 하므로 상당한 오버헤드가 발생합니다.

2. 방법론

저자들은 지각 전이와 통합 지형 제어를 모두 해결하는 엔드 - 투 - 엔드 프레임워크를 제안하며, 이는 2 단계 훈련 파이프라인을 통해 이루어집니다.

A. 현실적인 깊이 센서 시뮬레이션

시뮬레이션 - 현실 간극을 해소하기 위해 저자들은 원시 깊이 이미지에 8 가지 연산자를 순차적으로 적용하는 포괄적인 증강 파이프라인을 도입합니다. 표준 도메인 랜덤화와 달리, 이 파이프라인은 구조적 센서 아티팩트를 명시적으로 모델링합니다:

스테레오 깊이 융합: 좌우 시점 간의 시차 일관성 검증을 강제하여 가려진 영역과 질감이 없는 영역의 구멍 패턴을 시뮬레이션합니다.
거리 의존적 노이즈: 2 차 스케일링을 사용하여 거리에 따른 비선형 노이즈 증가를 모델링합니다.
구조화된 노이즈 패턴: 공간적으로 상관된 환경 간섭을 시뮬레이션하기 위해 멀티 - 옥타브 퍼린 (Perlin) 노이즈를 사용합니다.
광학적 왜곡: 렌즈 수차를 모델링하기 위해 무작위화된 컨볼루션을 적용합니다.
보정 불확실성: 제조 변이와 드리프트를 시뮬레이션하기 위해 깊이 스케일링, 카메라 내부 파라미터, 외부 파라미터를 무작위화합니다.
전처리: 실제 센서 특성에 맞추기 위해 픽셀 고장 시뮬레이션 (죽은/포화 픽셀), 깊이 클리핑, 공간 크롭핑을 포함합니다.

B. 특권 강화 학습 (Teacher)

1 단계는 원시 깊이 이미지 대신 깨끗한 높이 스캔 관찰 (레이 - 캐스트 고도 지도) 을 사용하여 '특권 (privileged)' 정책을 훈련하는 과정을 포함합니다. 다양한 지형을 처리하기 위해 저자들은 다음을 활용합니다:

지형별 보상 형성: 지형을 세 가지 범주 (계단/플랫폼, 간격 횡단, 거친 지형) 로 나누고, 각 범주에 전문화된 보상 요소를 적용합니다.
다중 크리틱 및 다중 판별자 아키텍처: 단일 가치 함수 대신 시스템은 $K=3$ 개의 전용 크리틱 네트워크와 $K=3$ 개의 판별자 네트워크를 사용합니다. 각 쌍은 특정 지형 범주에 전문화되어 있으며, 공통 백본을 공유하지만 별도의 출력 헤드를 유지합니다. 이를 통해 정책은 통합 아키텍처 내에서 작동하면서도 서로 다른 역학적 영역에 대한 고유한 운동 사전 지식과 가치 지형을 학습할 수 있습니다.
적대적 운동 사전 (AMP): 판별자는 각 지형 유형에 필요한 운동 특성에 맞춘 스타일 보상을 제공하여 자연스러운 보행을 유도합니다.

C. 지각 인식 행동 증류 (Student)

2 단계는 특권 정책을 노이즈가 있는 증강 깊이 이미지에서 직접 작동하는 배포 정책으로 증류합니다. 이 과정은 다음을 결합합니다:

행동 복제 (Behavior Cloning): 학생 (깊이 입력) 과 교사 (높이 스캔 입력) 간의 행동 차이를 최소화합니다.
노이즈 제거 목적: 깨끗한 깊이와 증강된 노이즈가 있는 깊이의 잠재 표현 간의 일관성을 강제하여 견고한 특징 추출을 보장합니다.
특징 정규화: 인코더의 특징 분포를 표준 정규 사전에 매칭하여 표현 붕괴를 방지하기 위해 KL 발산 정규화를 적용합니다.

3. 주요 기여

논문은 네 가지 주요 기여를 제시합니다:

현실적인 깊이 센서 시뮬레이션: 스테레오 매칭 아티팩트, 거리 의존적 노이즈, 광학적 왜곡, 보정 불확실성을 재현하는 포괄적인 증강 파이프라인으로, 원활한 시뮬레이션 - 현실 전이를 가능하게 합니다.
지각 인식 행동 증류: 잠재 공간 형성 및 노이즈 불변 보조 작업 (노이즈 제거 및 KL 정규화) 을 결합하여 특권 관찰로부터 노이즈가 있는 깊이 입력으로 보행 지식을 전이하는 프레임워크입니다.
다중 크리틱 및 다중 판별자 지형 학습: 별도의 전문가 정책이 필요 없이 다양한 지형에 걸쳐 고유한 역학과 운동 사전 지식을 포착하기 위해 지형별 보상 형성 및 전용 네트워크를 사용하는 통합 정책 아키텍처입니다.
크로스 - 플랫폼 검증: 서로 다른 스테레오 깊이 카메라를 장착한 두 대의 휴머노이드 로봇에서 수행된 광범위한 현실 세계 실험으로, 미세 조정 없이 극한 및 세밀한 지형을 성공적으로 횡단함을 입증했습니다.

4. 실험 결과

이 접근 방식은 Orbbec Gemini 336L 깊이 카메라를 장착한 맞춤형 휴머노이드 로봇에서 검증되었으며, 현실적인 지각 조건을 시뮬레이션하기 위해 CycleGAN 증강 깊이 이미지를 사용하는 Real-World Depth Transfer Benchmark (RDT-Bench) 에서 평가되었습니다.

성능 지표: 제안된 방법은 네 가지 지형 구성 (계단, 간격, 플랫폼, 혼합) 에서 98.9% 의 평균 성공률을 달성했으며, 평균 전력 소모는 $27.7 \times 10^1$ W, 전력 저하 비율 (PDR) 은 **5.8%**에 불과했습니다.
비교 분석:
- "증강 없음 (No Augmentation)" (성공률 43.0%, PDR 70.9%) 과 비교할 때, 전체 파이프라인은 현실적인 센서 모델링의 중요성을 입증했습니다.
- "휴머노이드 파쿠르 학습 (Humanoid Parkour Learning)" (성공률 71.0%, PDR 30.9%) 과 비교할 때, 제안된 방법은 성공률을 27.9% 향상시키고 전력 저하를 25.1% 감소시켰습니다.
- 제거 실험 (Ablation studies) 은 다중 크리틱 아키텍처나 노이즈 제거 목적을 제거할 경우 성능이 크게 저하됨을 확인하여, 지형별 학습과 노이즈 불변 특징 추출의 필요성을 검증했습니다.
현실 세계 배포: 물리적 하드웨어에서 정책은 야외 계단, 플랫폼, 확장된 계단 (30 단 이상), 넓은 간격을 포함한 모든 환경에서 97.8% 의 전체 성공률 (90 회 시도 중 88 회) 을 달성했습니다. 특히 정책은 현실 세계 미세 조정 없이 50Hz 로 완전히 온보드 (onboard) 에서 실행되었습니다.
크로스 - 플랫폼 일반화: 다른 센서 (Intel RealSense D435i) 를 장착한 Unitree G1 로봇에 대한 예비 결과는 계단 오르기에서 100% 성공률을 보여, 학습된 표현이 특정 훈련 하드웨어를 넘어 일반화됨을 시사합니다.

5. 중요성 및 주장

이 논문은 제안된 프레임워크가 극한의 파쿠르 스타일 장애물부터 양방향 장기 계단 횡단과 같은 세밀한 작업에 이르기까지 광범위한 도전적인 환경 전반에 걸쳐 견고한 엔드 - 투 - 엔드 비전 기반 휴머노이드 보행을 가능하게 한다고 주장합니다.

저자들은 그들의 접근 방식이 이질적인 지형의 제어를 단일 정책 내에서 성공적으로 통합하여, 이전 연구들이 별도의 전문가 정책에 의존하거나 실제 세계 깊이 센서 내재적 지각 노이즈를 처리하지 못했던 한계를 극복했다고 강조합니다. 현실적인 센서 시뮬레이션과 지형별 다중 크리틱 학습, 그리고 지각 인식 증류를 결합함으로써, 이 방법은 현실 세계 미세 조정 없이 높은 성공률과 에너지 효율을 달성합니다.

그러나 저자들은 겸손하게 한계를 지적합니다: 계단 하강은 상승 (100% 성공) 에 비해 덜 견고합니다 (86.7% 성공). 이는 하강 중 작은 오류의 중력적 증폭과 계단 가장자리에 의한 목표 발판의 가려짐으로 인해 스테레오 매칭 아티팩트가 악화되기 때문이라고 설명합니다. 이 관찰은 더 높은 해상도의 근거리 깊이 센싱과 예측 발착 전략에 대한 향후 연구를 촉진합니다.