🤖 machine learning

SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors

이 논문은 임베디드 하드웨어에서 민첩한 쿼드로터의 정확한 장기 예측과 강건한 제로샷 심투리얼(sim-to-real) 제어를 가능하게 하는, 물리 기반 프로버와 자동화된 데이터 파이프라인을 갖춘 JEPA 스타일의 잠재 역학 모델인 SkyJEPA를 소개한다.

원저자: Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pratyaksh Rao, Wancong Zhang, Randall Balestriero, Yann LeCun, Giuseppe Loianno

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 개념: 드론에게 비행하기 전 "꿈꾸는 법" 가르치기

아이에게 자전거 타는 법을 가르친다고 상상해 보세요.

기존 방식: "페달을 밟고, 핸들을 돌리고, 다시 페달을 밟아"라고 말해줍니다. 만약 아이가 아주 작은 실수(예: 약간 휘청거림)를 했을 때, 그 휘청거림에 맞춰 계속 지시를 내린다면, 지시는 점점 더 나빠져 결국 사고로 이어지게 됩니다. 이것이 현재 대부분의 로봇 제어기가 작동하는 방식입니다. 이들은 매 단계의 정확한 미래를 예측하려고 노력하며, 이 과정에서 작은 오류들이 눈덩이처럼 불어나 충돌하게 됩니다.
SkyJEPA 방식: 모든 작은 휘청거림을 예측하는 대신, 균형을 잡는 '감각'을 이해하도록 가르칩니다. 머릿속으로 부드러운 주행과 충돌의 '형태'를 구분할 수 있게 가르치는 것입니다. 설령 조금 휘청거리더라도, 내면의 균형 감각이 경로를 유지하도록 돕습니다.

이 논문은 드론(쿼드로터)을 가르치는 새로운 방법인 SkyJEPA를 소개합니다. 이를 통해 드론은 비디오 게임(시뮬레이션)으로부터 학습할 수 있으며, 센서를 따로 정비하거나 재학습할 필요 없이 실제 세계에서 완벽하게 비행할 수 있습니다.

해결한 세 가지 주요 문제

1. "귓속말 게임" 문제 (장기 예측 - Long-Horizon Prediction)

문제점: 대부분의 AI 모델은 다음 1초를 예측하고, 그 예측치를 바탕으로 그다음 1초를 예측하는 식으로 미래를 예측합니다. 이는 마치 "귓속말 게임(전화기 게임)"과 같습니다. A가 B에게 메시지를 전달하고, B가 C에게 전달하다 보면, 결국 Z에게 도달했을 때 메시지는 엉망이 되어 버립니다.
SkyJEKA의 솔루션: SkyJEPA는 정확한 메시지(드론의 정확한 위치)를 속삭하는 대신, 압축된 "꿈의 공간(잠재 공간, latent space)"에서 미래의 '요지'나 '분위기'를 예측하도록 가르칩니다.

비유: 영화를 예측한다고 상상해 보세요. 모든 프레임을 하나하나 설명하려고 하면 내용이 꼬이기 쉽지만, 줄거리를 요약해서 예측한다면 어떨까요? 세부 사항을 놓치더라도 전체적인 이야기는 흐름을 유지할 수 있습니다. 이 방식은 장시간 비행 시 오류가 누적되는 것을 막아줍니다.

2. "블랙박스" 문제 (해석 가능성 - Interpretability)

문제 been: 딥러닝 모델은 종종 "블랙박스"와 같습니다. 어떻게 나는지는 알지만, "현재 초당 5미터로 이동 중"과 같은 구체적인 수치를 알려주지는 못합니다. 안전 제어기 내부에는 블랙박스를 넣을 수 없습니다. 제어기가 벽에 부딪히기 직전인지 알기 위해서는 실제 숫자가 필요하기 때문입니다.
SkyJEPA의 솔루션: 이들은 **"물리 기반 프로버(Physics-Inspired Prober)"**라는 특별한 번역기를 추가했습니다.

비유: 드론의 뇌를 "맛의 언어(추상적인 꿈의 공간)"만 구사하는 요리사라고 생각해 보세요. "프로버"는 물리 법칙(중력이나 추력 등)을 아는 번역가입니다. 번역가는 요리사의 "맛의 언어"를 가져와서 정확한 계량 수치(미터, 각도, 속도 등)가 담긴 레시피로 변환합니다. 이를 통해 드론의 안전 시스템이 현재 상황을 정확히 이해할 수 있게 합니다.

3. "위험한 현장 학습" 문제 (데이터 수집 - Data Collection)

문제점: 로봇에게 비행을 가르치려면 보통 실생활에서 많은 충돌 사고를 겪으며 실수로부터 배워야 합니다. 이는 비용이 많이 들고 위험하며 하드웨어를 낭비하게 만듭니다.
SkyJEPA의 솔루션: 이들은 자동으로 수천 가지의 다양한 비행 시나리오를 만들어내는 "마법의 시뮬레이터"를 구축했습니다.

비유: 운전 학생을 실제 교통량이 많은 고속도로에 데려가는 대신, 운전 시뮬레이터에 넣는 것과 같습니다. 하지만 이 시뮬레이터는 특별합니다. 매 수업마다 자동차의 엔진, 도로 상태, 바람, 차량 무게 등을 무작위로 변경합니다.
이 혼란스럽고 무작위적인 시뮬레이터에서 훈련함으로써, 드론은 실제 세계의 어떤 상황도 다룰 수 있는 능력을 갖추게 됩니다. 마침내 실외로 나갔을 때, 드론은 시뮬레이터에서 가능한 모든 날씨 조건과 차량 결함을 이미 경험해 본 베테랑 운전자와 같은 상태가 됩니다.

실제 적용 사례

연구진은 이를 실제 야외 현장에서 실제 드론으로 테스트했습니다. 결과는 다음과 같습니다.

제로샷 전이 (Zero-Shot Transfer): 연구진은 오직 컴퓨터 시뮬레이션으로만 드론을 훈련시켰습니다. 실제 세계의 데이터는 단 한 번도 보여주지 않았습니다. 하지만 드론을 밖으로 데리고 나갔을 때, 즉시 완벽하게 비행했습니다. 재학습이나 미세 조정(fine-tuning)이 전혀 필요 없었습니다.
"만약에" 시나리오: 드론을 세 가지 까다로운 상황에서 테스트했습니다.
- 정상 비행: 8자 모양의 복잡한 경로를 따라 비행했습니다.
- 페이로드 변화: 드론에 무거운 무게추를 달았습니다(무게 변화). 드론은 즉각적으로 적응했습니다.
- 프로펠러 교체: 프로펠러를 다른 종류로 바꿨습니다(모터 작동 방식 변화). 드론은 여전히 부드럽게 비행했습니다.
결과: SkyJEPA 드론은 기존 방식을 사용하는 드론보다 훨씬 더 정확하고 안정적이었습니다. 충돌하지 않았으며, 드론의 무게나 부품이 바뀌어도 혼란을 겪지 않았습니다.

요약

SkyJEPA는 드론에게 물리학에 대한 "직관(gut feeling)"을 주는 것과 같습니다.

압축되고 오류에 강한 방식(잠재 공간)으로 꿈을 꾸며 배웁니다.
꿈을 실제 숫자로 바꿔주는 번역기(프로버)를 가지고 있습니다.
혼란스럽고 무작위적인 비디오 게임에서 훈련하여 실제 세계의 어떤 상황에도 대비합니다.

그 결과, 실제 세계를 한 번도 본 적이 없더라도, 시뮬레이션에서 "게임의 규칙"을 완벽하게 익혔기 때문에 실제 세계에서 민첩하고 안전하며 정확하게 비행할 수 있는 드론이 탄생했습니다.

기술 요약: SkyJEPA: 쿼드로터의 제로샷 심투리얼(Sim-to-Real) 제어를 위한 장기 지평 세계 모델 학습

문제 정의

정확한 역학 모델은 민첩한 항공 기체의 정보에 기반한 의사결정에 필수적이며, 특히 미래의 시스템 진화를 추론해야 하는 모델 기반 제어에서 매우 중요합니다. 그러나 기존의 신경망 역학 모델은 다음과 같은 중대한 한계에 직면해 있습니다:

장기 지평 불안정성(Long-Horizon Instability): 대부분의 접근 방식은 예측값을 다시 입력으로 사용하는 자기회귀적 인코더-디코더 구조를 사용합니다. 이 메커니즘은 시간이 지남에 따라 작은 1단계 오차를 증폭시켜, 예측 지평이 길어질수록 드리프트, 불안정성 및 물리적으로 불가능한 궤적을 초래합니다.
해석 가능성 부족: 많은 학습된 모델이 추상적인 잠재 공간(latent space)에서 작동하거나 전체 관측치를 재구성하려 하며, 이는 제어기에서 제약 조건과 안전 범위를 강제하는 데 필요한 물리적으로 의미 있는 양(예: 위치, 속도, 자세)을 드러내지 못합니다.
데이터 의존성 및 일반화: 다양하고 정보가 풍부한 실제 데이터를 수집하는 것은 비용이 많이 들고 위험하며 노동 집약적입니다. 또한, 특정 플랫폼이나 작업에 맞춰 학습된 모델은 재학습 없이 새로운 구성(예: 페이로드 변경, 프로펠러 교체)에 대해 일반화되지 못하는 경우가 많습니다.
실시간 제약: 자원이 제한된 임베디드 하드웨어에서의 고주파 제어는 복잡한 재구성 기반 모델을 반복적으로 평가할 수 있어야 하며, 이는 복잡한 재구성 모델에 있어 도전 과제입니다.

본 논문은 다음과 같은 핵심 질문을 다룹니다: 항공 로봇을 위해 정확한 장기 지평 예측, 물리적으로 해석 가능한 롤아웃, 실시간 제어 능력, 그리고 작업 간 제로샷 일반화를 제공하면서도 위험한 실제 데이터 수집에 대한 의존도를 줄일 수 있는 효율적인 역학 모델을 학습할 수 있는가?

방법론

저자들은 실시간 쿼드로터 제어에 맞춤화된 합동 임베딩 예측 아키텍처(Joint Embedding Predictive Architectures, JEPA) 기반의 프레임워크인 SkyJEPA를 제안합니다. 이 접근 방식은 네 가지 주요 구성 요소로 이루어집니다:

JEPA 스타일의 잠재 역학 모델:
미래의 상태나 관측치를 자기회귀적으로 예측하는 대신, 모델은 압축된 잠재 공간에서 미래의 표현(representation)을 예측하는 법을 학습합니다. 모델은 윈도우 $H$ 동안의 상태( $X_t$ )와 행동( $A_t$ )의 이력을 받아 이를 잠재 표현( $s_t, z_t$ )으로 인코딩하고, 미래의 행동에 조건화된 다음 잠재 상태( $\tilde{s}_{t+1}$ )를 예측합니다. 이 공식은 구조화된 잠재 공간에서 작동함으로써 자기회귀적 상태 예측에 내재된 오차 누적 문제를 방지합니다.
학습 목적 함수 (SIGReg):
모델은 두 가지 항을 가진 손실 함수로 학습됩니다:
- 예측 일관성 ( $L_{pred}$ ): 롤아웃된 잠재 예측과 인코딩된 미래 상태 사이의 거리를 최소화합니다.
- 붕괴 방지 정규화 (SIGReg): Sketched Isotropic Gaussian Regularization을 사용하여 표현 붕괴를 방น합니다. 이는 잠재 분포의 무작위 1차원 투영을 표준 가우시안과 비교함으로써 잠재 임베딩이 등방성 가우시안 분포와 일치하도록 유도합니다. 이는 복잡한 stop-gradient 메커즘이나 다중 손실 항 없이도 다양성을 촉진합니다.
물리 기반 프로버(Physics-Inspired Prober):
잠재 예측을 제어에 사용할 수 있도록, "프로버" 네트워크는 고정된 잠재 롤아웃을 물리적으로 의미 있는 메트릭 상태로 매핑합니다. 이는 2단계 과정으로 진행됩니다:
- 잠재 역학 모델을 먼저 학습시킵니다.
- 인코더와 예측기를 고정한 후, 경량 프로빙 네트워크를 학습시켜 잠재 상태를 기반으로 잔차 보정 항(병진 및 각속도 가속도)을 예측합니다.
- 이 잔차들을 미분 가능한 운동학 모델(자세에 대해 SO(3) 지수 맵 사용)에 통합하여 전체 상태 궤적을 재구성합니다. 이를 통해 출력값이 해석 가능하고 물리적 제약을 준수하도록 보장합니다.
자동 데이터 합성 및 도메인 무작위화:
광범한 실제 데이터 수집의 필요성을 제거하기 위해, 저자들은 시뮬레이션에서 완전히 다양한 학습 데이터를 생성하는 파이프라인을 제안합니다:
- 참조 생성: 가우시안 프로세스를 사용하여 넓은 비행 엔벨로프를 커버하는 매끄럽고 무작위화된 참조 궤적을 생성합니다.
- 폐루프 추적: 추적 제어기(NMPC와 MPPI 결합)가 이러한 참조를 시뮬레이션에서 실행하여 물리적으로 실행 가능한 상태-행동 쌍을 생성합니다.
- 도메인 무작위화: 각 롤아웃은 물리적 파라미터(질량, 관성, 항력, 모터 시상수 등)를 무작위화하여 시뮬레이션되며, 이를 통해 모델이 단일 명목 모델이 아닌 시스템 패밀리에 노출되도록 합니다.
샘플링 기반 제어 (MPPI):
학습된 모델은 모델 예측 경로 적분(Model Predictive Path Integral, MPPI) 제어기에 통합됩니다. 제어기는 행동 시퀀스를 샘플링하고, 잠재 역학 모델과 프로버를 사용하여 롤아웃하며, 궤적 비용을 평가하고 제어 입력을 업데이트합니다. 이는 NVIDIA Orin NX와 같은 임베디드 하드웨어에서 고주파수로 실행됩니다.

주요 기여

실시간 제어를 위한 JEPA: 고수준 운동학 계획을 넘어 실시간 쿼드로터 제어를 위해 엔드투엔드로 학습된 최초의 JEPA 스타일 잠재 역학 모델을 도입했습니다.
물리 기반 프로빙: 구조화된 운동학 통합기를 통해 고정된 잠재 표현을 해석 가능한 메트릭 상태로 매핑하는 새로운 메커니즘을 제시하여, 물리적으로 근거 있는 장기 지평 예측을 가능하게 했습니다.
제로샷 심투리얼 전이: 도메인 무작위화된 시뮬레이션 데이터로만 학습된 모델이 작업별 미세 조정 없이 실제 하드웨어에서 견고한 제어를 달성할 수 있음을 입증했습니다.
자동 데이터셋 파이프라인: 가우시안 프로세스와 도메인 무작위화를 사용하여 자동화된 데이터셋 생성 절차를 구축함으로써, 위험한 실제 데이터 수집에 대한 의존도를 낮췄습니다.

결과

프레임워크는 1.3kg 쿼드로터를 대상으로 개방 루프 예측 및 실외 폐루프 실험을 통해 평가되었습니다.

장기 지평 정확도: SkyJEPA는 개방 루프 롤아웃에서 자기회귀적 예측 베이스라인보다 성능이 크게 향상되었습니다. 최대 60단계의 장기 지평에서 더 낮은 컴파운딩 비율(교사 강제 예측 대비 오차 성장)과 더 낮은 오차 성장률을 보였습니다.
해석 가능성: 물리 기반 프로버는 메트릭 상태 회복을 획기적으로 개선했습니다. 표준 MLP 프로버와 비교했을 때, PI 프로버는 개방 루프 테스트에서 위치 RMSE를 약 5.56m에서 1.43m로, 자세 오차를 약 40°에서 4.7°로 줄였습니다.
제로샷 심투리얼 전이: 실제 환경 실험에서 제안된 제어기는 다양한 궤적(원, 8자형, 레므니스케이트)에 대해 베이스라인(예측 모델을 사용한 MPPI)보다 낮은 위치 및 자세 추적 오차를 달성했습니다. 예를 들어, 원형 궤적에서 위치 RMSE는 0.39m(베이스라인)에서 0.24m로 감소했습니다.
강건성: 시스템은 재학습 없이도 페이로드 추가(300g) 및 프로펠러 교체를 포함한 상당한 플랫폼 변화 하에서도 성능을 유지했습니다. 비명목(non-nominal) 조건에서도 베이스라인보다 일관되게 우수한 성능을 보였습니다.
데이터 품질: 궤적 분포 품질(TDQ) 점수를 이용한 분석 결과, 데이터셋의 다양성/커버리지와 예측 오차 사이에 강한 역상관 관계가 나타났으며, 이는 도메인 무작위화 데이터 합성 방식의 타당성을 입증합니다.
실시간 성능: 경량화된 모델(약 9K 파라미터)과 최적화된 추론을 통해 10ms 제어 예산 내에서 임베디드 하드웨어 상의 실시간 실행이 가능했습니다.

의의

본 논문은 SkyJEPA가 유용한 항공 로봇용 세계 모델에 요구되는 네 가지 핵심 속성인 정확한 장기 지평 예측, 해석 가능성, 실시간 추론, 제로샷 작업 일반화를 충족함을 주장합니다.

주된 의의는 도메인 무작위화가 결합된 시뮬레이션 전용 학습이 적절한 학습 프레임워크와 함께라면 견고한 실제 제어를 위해 충분하다는 것을 보여준 데 있습니다. 잠재 예측을 통해 자기회귀적 오차 누적을 피하고 물리적 구조를 통해 출력을 접지함으로써, 이 접근 방식은 순수 예측 모델이 할 수 없는 수준의 일반화와 안정성을 달성합니다. 저자들은 이 프레임워크가 비용이 많이 드는 실제 데이터 수집 및 수동 시스템 식별을 대체할 수 있는 확장 가능한 대안을 제공한다고 제안합니다. 향후 연구로는 이를 고차원 시각 입력으로 확장하고 명시적인 안전 제약을 통합하는 것이 제안되었습니다.