💻 computer science

Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data

이 논문은 기하학적 사전 지식과 잠재 변수 정규화를 활용하여 실제 야외 로봇 데이터로부터 더욱 전이 가능하고 강건한 표현을 학습하는 깊이 정규화된 JEPA 월드 모델을 소개하며, 이는 추론 오버헤드를 증가시키지 않으면서도 시각적 주행 거리 측정, 놀라움 탐지 및 다단계 예측에서 베이스라인을 크게 능가한다.

원저자: Usman M. Khan

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Usman M. Khan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 들판에서 트랙터를 운전하는 법을 가르치고 있다고 상상해 보세요. 로봇은 카메라를 가지고 있지만, 로봇이 보는 세상은 무질서합니다: 햇빛이 눈부시게 내리쬐고, 그림자는 길어졌다 짧아지며, 나뭇잎은 바람에 흔들리고, 코너를 돌 때마다 지면의 모습이 달라집니다. 만약 당신이 로봇에게 모든 이미지의 모든 픽셀을 암기하라고 요구한다면, 로봇은 압도되어 혼란에 빠질 것입니다. 대신, 과학자들은 로봇에게 "월드 모델(World Models)"을 가르치려 노력하고 있습니다. 월드 모델을 로봇의 내부적인 '백일몽'이라고 생각해보세요. 전체 그림을 다시 그리려고 애쓰는 대신, 단순화되고 추상적인 방식으로 다음에 어떤 일이 일어날지를 예측하는 법을 배우는 것입니다. 이는 마치 체스 선수가 보드 위의 모든 칸의 색깔을 하나하나 외우는 것이 아니라, 기물들이 어떻게 움직이고 게임이 어떻게 전개되는지에 대한 '규칙'을 이해하는 것과 같습니다.

이 논문이 집중적으로 다루는 특정 유형의 "백일몽"은 JEPA(Joint Embedding Predictive Architecture)라고 불립니다. 마치 학생이 앞선 문장들을 바탕으로 이야기의 다음 문장을 추측하는 시험을 치르고 있는데, 문장 전체를 쓰는 것이 아니라 단지 다음 부분의 '분위기'나 '본질'만을 추측해야 하는 상황을 상상해 보세요. 이는 아주 좋은 방법인데, 왜냐하면 (글꼴 색상 같은) 지엽적인 세부 사항은 무시하고 중요한 것(줄거리)에 집중할 수 있기 때문입니다. 하지만 이 로봇들이 실제 야외 영상을 통해 학습하려고 할 때, 그들의 내부적인 "분위기" 추측은 종종 엉망이 되거나 무의미한 상태로 붕괴되곤 합니다. 실제 세상은 매우 혼란스럽기 때문입니다. 여기서 핵심적인 질문은 이것입니다: 어떻게 하면 로봇이 너무 복잡한 두뇌를 가져서 속도가 느려지지 않으면서도, 실재하는 세계의 '물리 법칙'(예를 들어 사물들이 3D 공간에 어떻게 배치되어 있는지)을 이해하도록 가르칠 수 있을까요?

이 논문은 이 문제를 해결하기 위한 영리한 기술을 소개합니다. 연구진은 소형 로봇의 두뇌(1,800만 개의 파라미터를 가진 LeWorldModel이라는 모델)를 가져와서, 특별한 "학습 전용" 튜터인 '깊이(depth) 정보'를 부여했습니다. 당신이 풍경화를 배우고 있다고 상상해 보세요. 당신에게는 일반 사진(RGB)이 있지만, 동시에 나무와 바위가 얼마나 멀리 떨어져 있는지를 정확히 보여주는 3D 지도(depth)도 함께 있습니다. 연구진은 로봇이 학습하는 동안 사진과 3D 지도를 모두 보도록 했습니다. 그리고 로봇에게 "네가 예측하는 다음 장면은 지도에서 보이는 3D 구조와 일치해야 한다"라고 말했습니다. 하지만 여기서 마법 같은 일이 일어납니다. 로봇이 숙제를 끝냈을 때, 연구진은 3D 지도를 제거했습니다. 로봇이 실제 세상에서 일하기 위해 밖으로 나갈 때는, 이전과 마찬가지로 오직 카메라 사진만을 사용합니다. 하지만 로봇은 3D 지도와 함께 학습했기 때문에, 이제 로봇의 내부적인 세상에 대한 이해는 훨씬 더 날카롭고 현실에 기반을 두게 되었습니다.

결과는 이 간단한 기술이 놀라운 효과를 거두었음을 보여줍니다. 깊이 정보를 학습에만 사용함으로써, 로봇의 내부적인 "백일몽"은 세상이 어떻게 움직이는지 이해하는 데 훨씬 더 탁월해졌습니다. 연구진이 테스트했을 때, 로봇의 자신의 움직임을 예측하는 능력(시각적 주행 거리 측정, visual odometry)은 33% 향ar상되어 훨씬 더 정확해졌습니다. 또한 로봇은 "이상한 상황"을 포착하는 데에도 훨씬 능숙해졌습니다. 만약 로봇을 갑자기 다른 장소로 순간이동 시키거나 영상을 거꾸로 재생한다면, 이전보다 훨씬 더 크고 명확하게 로봇의 내부 경보가 울렸습니다. 놀랍게도, 이 방식은 로봇이 조명 변화나 그림자 같은 엄격한 3D가 아닌 요소들을 이해하는 데에도 도움을 주었는데, 이는 세상의 형태를 이해하는 것이 다른 모든 것을 이해하는 데에도 도움이 된다는 것을 시사합니다.

또한 이 논문은 이 "깊이 학습된" 로봇이 완전히 새로운 환경(다른 로봇, 다른 들판)으로 이동했을 때 훨씬 더 유연하다는 것을 발견했습니다. 표준 로봇은 새로운 장소에서 시간이 지남에 따라 예측 정확도를 유지하는 데 어려움을 겪었지만, 깊이 학습된 로봇은 침착함을 유지하며 예측의 정확도를 더 오랫동안 유지했습니다. 연구진은 로봇의 학습을 세계의 물리적 기하학에 기반하게 함으로써, 더 견고하고 전이 가능한 두뇌를 만들었다고 제안합니다. 이는 마치 아이에게 매끄럽고 표시가 되어 있는 트랙 위에서 균형 잡는 막대기를 옆에 두고 자전거 타기를 가르치는 것과 같습니다. 일단 균형 잡는 법을 배우면, 아이는 막대기 없이도 어떤 울퉁불퉁한 길에서도 자전거를 탈 수 있습니다. 왜냐하면 아이가 중심을 잡는 법을 진정으로 이해했기 때문입니다. 이러한 접근 방식은 비싼 센서나 슈퍼컴퓨터 없이도, 실제로 작업할 때 작고 효율적인 로봇의 두뇌를 더 똑똑하고 적응력 있게 만드는 실질적인 방법을 제시합니다.

기술 요약: 실외 로봇 데이터에 대한 깊이 정규화된 JEPA 월드 모델

문제 정의

Joint Embedding Predictive Architectures (JEPA)는 견고한 환경 역학을 학습하는 데 성공을 거두었으나, 시각적으로 복잡한 실제 실외 로봇 공학에 적용하는 것은 여전히 도전적인 과제입니다. 기존의 접근 방식은 종종 픽셀 수준의 재구성에 의존하는데, 이는 구조화되지 않은 환경에서의 불필anous 변동(예: 조명 변화, 식생의 복잡함)에 취약합니다. 반대로, LeWorldModel (LeWM)과 같은 잠재 공간(latent-space) JEPA 모델은 픽셀 대신 미래의 잠재 표현을 예측함으로써 더 안정적인 추상화를 제공합니다. 그러나 LeWM 및 이와 유사한 소형 모델들은 주로 시뮬레이션이나 통제된 실내 환경에서 검증되었습니다. 실제 실외 데이터에 적용할 경우, 이러한 모델들은 추가적인 구조적 제약 없이는 표현 붕괴(representational collapse)가 발생하거나 물리적으로 의미 있는 역학을 포착하지 못할 위험이 있습니다. 핵심 과제는 추론 시의 계산 비용을 높이거나 보조 센서(깊이 카메라 등)를 요구하지 않으면서도, 실제 세계 데이터로 학습된 소형 JEPA 모델의 견고성과 전이성을 향상시키는 것입니다.

방법론

저자들은 표준 LeWorldModel (LeWM) 아키텍처에 **깊이 정규화 목적 함수(depth regularization objective)**와 **예측기 측 과매개변수화(predictor-side overparameterization)**를 결가하여 강화하는 학습 단계의 개입을 제안합니다.

1. 기본 아키텍처

모델은 LeWM을 기반으로 한 컴팩트한 엔드 투 엔드 JEPA 변형체(18M 파라미터)입니다. 이 모델은 RGB 프레임의 이력과 행동을 입력으로 받아 공유된 인코더-프로젝터를 통해 인코딩하며, 예측기를 사용하여 다음 잠재 임베딩을 예측합니다. 학습 목적 함수는 일반적으로 예측 손실( $L_{pred}$ )과 잠재 표현이 등방성 가우시안 분포를 따르도록 유도하여 모드 붕괴를 방지하는 잠재 정규화 항(SIGReg)으로 구성됩니다.

2. 학습 전용 깊이 정규화

추론 시 깊이 정보를 필요로 하지 않으면서 잠재 공간에 기하학적 구조를 주입하기 위해, 저자들은 **학습 전용 깊이 정렬 손실( $L_{depth}$ )**을 도입했습니다.

이중 모달 학습: 학습 중에 모델은 동일한 인코더-프로젝터 스택을 통해 쌍을 이룬 RGB 및 스테레오 깊이 관측치를 함께 처리합니다.
정렬 목적 함수: RGB 임베딩은 (stop-gradient가 적용된) 대응하는 깊이 임베딩과 코사인 유사도 손실을 사용하여 정렬되도록 최적화됩니다.
상호 보완적 역할: SIGReg 항은 엔트로피를 최대화하여(태스크 불가지론적 다양성 촉진) 모드 붕괴를 방지하는 반면, 깊이 항은 기하학적 제약으로서 역할을 하여 물리적으로 의미 있는 방향을 따라 그 다양성을 조직합니다. 결합된 목적 함수는 장면의 기하학적 구조와 일치하면서도 가장 높은 엔트로피를 가진 표현을 추구합니다.
추론: 테스트 시에는 깊이 브랜치가 제거되며, 모델은 RGB 입력만으로 작동합니다.

3. 예측기 과매개변수화

고정된 용량 내에서 등방성과 기하학적 제약을 모두 만족시켜야 하는 복잡성을 수용하기 위해, 저자들은 학습 전용 과매개변수화를 도입했습니다.

메커니즘: 학습 중에 예측기의 MLP 업 프로젝션(up-projection) 및 다운 프로젝션(down-projection) 레이어에 저계수(rank-16) RepLinear 브랜치를 추가합니다.
병합: 학습이 끝난 후, 이 브랜치들은 기본 예측기 가중치에 대수적으로 병합됩니다. 이를 통해 배포된 모델은 추론 오버헤드 없이 베이스라인과 구조적으로 동일하게 유지됩니다.

4. 데이터 및 평가

모델은 단일 실제 농업용 로봇(Aigen Element)에서 추출한 약 31,000 프레임으로 학습되었으며, 다음 항목에 대해 평가되었습니다:

인도메인(In-domain): Aigen 검증 세트.
아웃오브도메인(OOD): TartanGround 벤치마크 (다른 로봇, 환경, 그리고 sim-to-real 격차 존재).
지표: 고정된 임베딩 시각적 주행 거리 측정(Visual Odometry, VO) 프로브, 예측기 기반 놀람 탐지(surprise detection, 합성 섭동 하에서), 다단계 잠재 롤아웃 충실도.

주요 기여

실제 세계 학습: 컴팩트한 엔드 투 엔드 JEPA 월드 모델이 실제 실외 농업용 로봇 데이터에서 성공적으로 학습될 수 있음을 입증하였으며, 이는 해당 아키텍처 계열에서는 이전에 보고되지 않은 설정입니다.
학습 전용 기하학적 사전 지식: JEPA 표현에 기하학적 구조를 주입하는 깊이 정렬 목적 함수를 도입했습니다. 이는 추론 시 깊이 센서, 태스크 라벨, 또는 사전 학습된 인코더를 필요로 하지 않으면서도 물리적 이해와 견고성을 향상시킵니다.
포괄적 평가: 깊이 정규화가 시각적 주행 거리(VO), 놀람 탐지, 다단계 롤아웃 전반에 걸쳐 표현 품질, 예측기 선명도 및 OOD 견고성을 개선한다는 것을 보여주는 일관된 평가 프로토콜을 제공했습니다.

결과

깊이 정규화된 모델은 특히 전이 시나리오에서 바닐라 LeWM 베이스라인보다 일관되게 우수한 성능을 보였습니다.

표현 품질: 깊이 정규화된 모델은 베이스라인과 비교하여 VO 프로브 오차를 33% 감소시켰습니다 (MSE가 0.0022에서 0.0015로 감소). 이는 고정된 DINOv2 참조 모델보다 뛰어난 성능입니다.
놀람 탐지: 모델은 타당한 전이와 타당하지 않은 전이 사이의 구분을 크게 개선했습니다.
- 인도메인: 놀람 분리도가 0.067에서 0.120으로 증가했습니다.
- 아웃오브도메인(TartanGround): 분리도가 0.035에서 0.099로 거의 3배 가까이 증가했습니다.
- 비기하학적 이득: 주목할 점은, 모델이 밝기 급변, 색상 교체와 같은 비기하학적 섭동에서도 성능이 향상되었다는 것입니다. 이는 기하학적 사전 지식이 일반적인 물리적 일관성을 위한 스캐폴드(scaffold)를 형성함을 시사합니다.
아웃오브도메인 일반화: 베이스라인이 인도메인에서는 깊이 모델보다 약간 더 나은 성능을 보였으나, 도메인 변화(domain shift) 상황에서는 깊이 정규화 모델이 탁월한 견고성을 보였습니다. TartanGround에서 깊이 모델은 더 높은 목표 유사도(horizon $h=10$ 에서 0.745 vs 0.716)와 궤적 유사도를 달와냈으며, 성능 차이는 더 긴 호라이즌( $h=20$ )에서 더 커졌습니다.
잠재 기하학: 주성분 부공간(principal subspaces) 분석 결과, 깊이 정규화된 모델은 중간 순위 영역( $k \approx 5-5$ )에서 더 높은 교차 도메인 중첩을 생성했습니다. 이는 태스크 관련 구조를 위한 더 전이 가능한 기하학을 나타냅니다.

의의 및 주장

본 논문은 가벼운 학습 시점의 기하학적 사전 지식이 실제 배포를 위한 컴팩트한 JEPA 월드 모델의 유용성과 전이성을 크게 향상시킬 수 있다고 주장합니다.

실용성: 이 접근 방식은 "학습 시에는 저렴하고 테스트 시에는 무료"입니다. 깊이 신호와 과매개변수화는 배포 전에 제거되거나 병합되기 때문입니다.
일반화: 결과는 순수한 등방성(isotropy)에서 기하학 정보가 포함된 비등방성(anisotropy)으로 학습 목적을 이동하는 것이 더 견고한 잠재 공간을 만든다는 것을 시사합니다. 이는 3D 기하학과 직접 연결되지 않는 작업(예: 조명 일관성)에도 적용되며, 물리적 구조에 표현을 접지(grounding)하는 것이 전반적인 물리적 예측 능력을 향 Improved 함을 의미합니다.
한계: 저자들은 본 연구가 단일 로봇 플랫폼을 사용한 오프라인 지표 기반의 개념 증명임을 인정합니다. 또한 폐쇄 루프 계획(closed-loop planning) 성능과 더 큰 모델 및 데이터에 대한 확장성은 아직 테스트되지 않았음을 명시했습니다.

결론적으로, 이 연구는 깊이와 같은 물리적으로 근거가 있는 사전 지식을 학습 과정에 포함하는 것이 통제된 시뮬레이션 벤치마크와 복잡한 실제 실외 로봇 공학 사이의 간극을 메울 수 있음을 보여주며, 이를 통해 컴팩트한 모델이 더 전이 가능하고 물리적으로 인지된 역학을 학습할 수 있게 합니다.