🤖 machine learning

Value Explicit Pretraining for Learning Transferable Representations

본 논문은 최첨단 접근법 대비 전이 강화 학습 작업에서 샘플 효율성과 일반화를 크게 향상시키기 위해 환경 불변 표현을 학습하는 자기지도 학습 방법인 가치 명시적 사전 학습 (VEP) 을 제안하며, 이는 비최적의 레이블이 없는 시연과 몬테카를로 가치 추정을 활용한다.

원저자: Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

게시일 2026-05-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 비디오 게임을 가르치거나 도시를 항해하는 법을 가르친다고 상상해 보세요. 보통은 "외계인을 쏘아라"나 "빨간 건물이 있는 곳에서 왼쪽으로 돌아라"와 같이 특정 작업을 수행하는 정확한 방법을 로봇에게 보여줘야 합니다. 하지만 처음부터 다시 시작하지 않고도 로봇이 새로운 게임이나 새로운 도시를 배우게 하고 싶다면 어떨까요? 이것이 이 논문이 다루는 큰 과제입니다.

저자들은 **가치 명시적 사전 학습 (Value Explicit Pretraining, VEP)**이라는 새로운 방법을 제안합니다. 간단한 비유를 통해 그 작동 원리를 설명해 보겠습니다.

문제: "완벽한 학생" 대 "실제 세계"

대부분의 현재 AI 학습 방법은 오직 100% 성공한 완벽한 비디오만 보여줌으로써 학생을 가르치려는 것과 같습니다. 만약 학생이 오직 완벽한 수플레를 만드는 마스터 셰프의 모습만 본다면, 약간 다른 요리를 하거나 다른 가스레인지로 요리할 때 어려움을 겪을 수 있습니다.

실제 세계에서는 일이 완벽하게 진행되지 않는 데이터가 많습니다. 사람들은 실수를 하고, 게임은 실패로 끝나며, 로봇은 길을 잃습니다. 이 논문은 비디오 속의 사람이 실제로 작업을 끝내지 않았더라도 이러한 "불완전한" 비디오들로부터 배울 수 있어야 한다고 주장합니다.

해결책: "진행률 표시줄" 비유

VEP 의 핵심 아이디어는 사물이 어떻게 생겼는지뿐만 아니라 진행 상황을 이해하도록 로봇을 가르치는 것입니다.

누군가 산을 오르는 비디오를 보고 있다고 상상해 보세요.

기존 방법: 이러한 방법들은 "이 프레임은 바위처럼 보이니 바위야. 이 프레임은 나무처럼 보이니 나무야"라고 말할 수 있습니다. 이들은 외관에 초점을 맞춥니다. 만약 산이 녹색 나무에서 갈색 바위로 변하면 로봇은 혼란을 겪습니다.
VEP 방법: 이 방법은 진행률 표시줄을 봅니다. "이 사람이 정상에 얼마나 가까워?"라고 묻습니다.
- 사람이 녹색 경사면 (작업 A) 에 있든 갈색 경사면 (작업 B) 에 있든, 둘 다 "상승의 70%" 지점에 있다면 VEP 는 로봇에게 이 두 순간이 유사하다고 가르칩니다.
- 풍경이 어떻게 보이든 상관없습니다. 중요한 것은 목표에 다가가고 있다는 점입니다.

작동 원리: "몬테카를로" 트릭

이 논문은 **몬테카를로 가치 추정 (Monte Carlo value estimate)**이라는 수학적 트릭을 사용합니다. 이를 비디오의 모든 프레임마다 계산되는 "성공 점수"로 생각하세요.

데이터: 로봇은 수천 시간 분량의 "비최적" 비디오 (플레이어가 항상 승리하지는 않은 비디오) 를 시청합니다.
점수: 각 프레임마다 로봇은 점수를 계산합니다. "내가 정확히 이 순간에 있었다면, 성공할 확률은 얼마나 될까?"
- 플레이어가 적을 쏘려고 하는 프레임은 높은 점수를 받습니다.
- 플레이어가 멀리 있거나 길을 잃은 프레임은 낮은 점수를 받습니다.
교훈: 로봇은 외관이 완전히 달라도 동일한 점수를 가진 두 프레임끼리 그룹화하는 법을 배웁니다.
- 예시: 플레이어가 이기려는 "스페이스 인베이더"의 프레임과 플레이어가 이기려는 "데몬 어택"의 프레임은 둘 다 "높은 성공 점수"를 가지므로 그룹화됩니다.

결과: 보편적 번역기

이런 방식으로 학습함으로써 로봇은 진행 상황에 대한 "보편적 언어"를 습득합니다.

테스트: 연구자들은 이를 아타리 비디오 게임, 가상 도시 항해 작업, 미로를 걷는 시뮬레이션 개미 등 세 가지 항목으로 테스트했습니다.
결과: 로봇에게 이전에 본 적 없는 새로운 게임이나 새로운 도시를 주었을 때, 다른 방법으로 훈련된 로봇보다 훨씬 빠르게 학습했습니다.
- 2 배 더 많은 보상을 획득했습니다 (더 잘 플레이했습니다).
- 새로운 작업을 배우는 데 3 배 적은 시도가 필요했습니다 (더 효율적이었습니다).

왜 이것이 중요한가

이 논문은 외관 (적이 어떻게 생겼는가?) 이 아니라 목적 (우리가 승리하는 데 얼마나 가까운가?) 에 초점을 맞춤으로써 로봇이 새로운 상황에 학습 내용을 적용하는 능력이 훨씬 향상된다고 주장합니다.

모든 도시의 지도를 보여주는 것이 아니라 "목적지에 가까워지는" 개념을 가르치는 것과 같습니다. 일단 그 개념을 이해하면, 거리가 완전히 달라도 어떤 새로운 도시든 항해할 수 있습니다.

간단히 말해: VEP 는 로봇에게 불완전하고 레이블이 없는 비디오를 사용하여 환경 변화의 "노이즈"를 무시하고 목표 달성을 위한 "진행"이라는 신호에 집중하도록 가르칩니다.

Lekkala 외의 논문 "Value Explicit Pretraining for Learning Transferable Representations"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

시각적 강화학습 (RL) 에이전트는 환경 역학과 시각적 외관의 변화에 직면했을 때 작업 간 일반화에 어려움을 겪습니다. 인간은 이러한 변화와 관계없이 작업 관련 정보를 추출할 수 있지만, 로봇은 이러한 변화에 불변인 학습된 표현이 필요합니다.

현재의 표현 학습 접근법은 두 가지 주요 한계에 직면해 있습니다:

정렬되지 않은 목적 함수: 많은 방법론들이 다운스트림 제어 작업 (동작 예측) 과 구별되는 사전 학습 목적 함수 (예: 이미지 재구성, 시간적 일관성) 를 사용합니다.
데이터 요구 사항: 기존 전이 학습 방법론들은 종종 고품질의 라벨이 붙은 전문가 시연이나 성공적인 궤적을 필요로 합니다. 비최적의 라벨 없는 데이터(에이전트가 종종 작업을 완료하지 못하는 관찰 시퀀스와 희소 보상) 에서 효과적으로 전이 가능한 표현을 학습할 수 있는 방법론이 부족합니다.

핵심적인 도전 과제는 다음과 같습니다: 불완전한 라벨 없는 데이터만을 사용하여 제어 작업 자체를 학습하지 않고도 제어에 유용한 표현을 생성하는 인코더를 어떻게 학습할 수 있을까요?

2. 방법론: 가치 명시적 사전 학습 (VEP)

저자들은 **가치 명시적 사전 학습 (Value Explicit Pretraining, VEP)**을 제안합니다. 이는 시각적 또는 시간적 근접성뿐만 아니라 '성공 경향성 (propensity for success)'인 가치를 명시적으로 인코딩함으로써 작업과 무관한 표현을 학습하는 자기지도식 대비 학습 방법입니다.

핵심 통찰

상태의 가치 함수 $V(s)$ 는 최적 정책 하에서의 기대 반환 (성공 경향성) 을 나타냅니다. 저자들은 서로 다른 작업 (서로 다른 시각적 외관을 가진 경우) 에서 유사한 가치 추정을 가진 상태들이 유사한 최적 전략을 공유한다고 가정합니다. 따라서 표현은 시각적 유사성이 아닌 가치 유사성에 기반하여 군집화되어야 합니다.

알고리즘 개요

데이터 소스: 이 방법은 훈련 작업 집합에서 온 오프라인, 비최적, 라벨 없는 데이터셋 ( $D_{train}$ ) 을 활용합니다. 이러한 데이터셋에는 관찰 시퀀스와 희소 보상 신호가 포함되어 있지만 동작 라벨은 없습니다.
몬테카를로 가치 추정:
- 진정한 최적 가치 함수는 알 수 없으므로, VEP 는 희소 보상을 사용하여 데이터셋의 모든 프레임에 대해 몬테카를로 (MC) 추정치 $G$ 를 계산합니다:
  $G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$
- 가치 추정치가 0 인 프레임 (해당 궤적 구간에서 보상이 결코 달성되지 않았음을 나타냄) 은 폐기됩니다.
대비 학습 목적 함수:
- 인코더 $f_\phi$ 는 대비 손실 (InfoNCE 또는 트리플릿 손실) 을 사용하여 훈련됩니다.
- 샘플링 전략:
  - 앵커 ( $z_{an}$ ): 가치 추정치 $g$ 를 가진 작업 $T_i$ 의 관찰.
  - 양 ( $z_{ps}$ ): $g$ 와 $v_{thresh}$ 임계값 내에서 가치 추정치가 일치하는 다른 작업 $T_j$ 의 관찰.
  - 음 ( $z_{ng}$ ): $g$ 와 $v_{thresh}$ 를 훨씬 초과하는 값으로 가치 추정치가 현저히 다른 작업 $T_k$ 의 관찰.
- 목표: 손실 함수는 앵커와 양 (유사한 가치/성공 경향성) 간의 거리를 최소화하고 음까지의 거리를 최대화하여, 인코더가 작업별 외관과 역학에 불변인 표현을 학습하도록 강제합니다.

구현 세부 사항

전처리: 효율적인 이진 검색 샘플링을 위해 정렬된 가치 추정치를 프레임 인덱스에 매핑하는 사전이 사용됩니다.
정책 훈련: 사전 학습 후 인코더는 고정됩니다. 온라인 RL 알고리즘 (PPO) 은 잠재 표현 $z_t$ 를 입력으로 사용하여 테스트 작업에서 훈련됩니다. 인코더의 미세 조정 (fine-tuning) 은 발생하지 않습니다.

3. 주요 기여

가치 명시적 표현: 가치 추정을 명시적으로 사용하여 잠재 공간을 조직화하는 새로운 사전 학습 프레임워크로, 표현이 시각적 또는 시간적 일관성뿐만 아니라 작업 진행 상황을 반영하도록 보장합니다.
비최적 데이터 활용: 이 방법은 항상 작업을 해결하지 않는 에피소드인 라벨 없는 비최적 데이터를 사용하여 전이 가능한 표현을 성공적으로 학습하며, 전문가 시연을 필요로 하는 방법론들과는 큰 차이를 보입니다.
작업 무관한 일반화: 가치 유사성에 초점을 맞춤으로써, 이 방법은 시각적 역학은 다르지만 목표가 유사한 분포 외 (OOD) 작업으로 일반화되는 표현을 학습합니다.
Ablation 및 베이스라인 비교: 논문은 VEP 를 다음과 비교하여 엄격하게 검증합니다:
- VIP (Value Implicit Pretraining): 시간적 일관성에 의존합니다.
- TCN (Time Contrastive Learning): 시간 거리를 기반으로 양을 샘플링합니다.
- SOM (State Occupancy Measure): 샘플링을 위해 점유율 측정을 사용합니다.
- 가치 회귀 (VR): 단순히 가치 추정을 회귀하는 베이스라인 (단순 회귀보다 대비 샘플링이 우월함을 입증).

4. 실험 결과

저자들은 Atari, 시각적 탐색 (StreetLearn), **Ant 이동 (Maze)**의 세 가지 벤치마크에서 VEP 를 평가했습니다.

Atari 벤치마크:
- 설정: Demon-Attack과 Space Invaders에서 사전 학습; 4 가지 다른 슈팅 게임에서 테스트.
- 결과: VEP 는 분포 외 작업에서 베이스라인 (VIP, TCN, SOM) 보다 최대 보상 2 배 더 높은 성능을 보였습니다. 분포 내 작업에서는 약 25% 의 개선을 보였습니다.
시각적 탐색:
- 설정: 2 개 도시에서 사전 학습; 4 개 미지의 도시에서 테스트.
- 결과: VEP 는 엔드 투 엔드 훈련과 동일한 성능을 2.1 배 더 빠르게(샘플 효율성) 달성했습니다. 최첨단 비전 - 언어 모델 (CLIP, R3M, MVP) 보다 현저히 우수한 성능을 보였습니다.
Ant 이동 (미로):
- 설정: 단순 미로에서 사전 학습; 다른 장애물과 시각적 변이가 있는 복잡한 미로에서 테스트.
- 결과: VEP 는 도메인 내 및 OOD 미로 모두에서 최첨단 성능을 달성했습니다.
- 시각화: t-SNE 플롯은 TCN 임베딩이 미로 외관에 따라 군집화되어 과적합되는 반면, VEP 임베딩은 작업 진행 상황 (가치) 에 따라 군집화되어 진정한 작업 무관 학습을 보여줌을 입증했습니다.
Ablation 연구:
- 비최적성: VEP 성능은 작업을 10% 만 완료한 에피소드의 데이터를 사용하더라도 견고하게 유지되었습니다.
- 임계값 설정: 최적의 가치 임계값 ( $v_{thresh} \approx 0.03$ ) 이 확인되었으며, 임계값이 너무 높으면 성능이 저하되었습니다.
- 대비 vs 회귀: 단순히 가치를 회귀하는 것 (가치 회귀 베이스라인) 은 전이 가능한 표현을 생성하지 못했으며, 트리플릿의 대비 샘플링이 핵심 메커니즘임을 확인했습니다.

5. 중요성과 영향

효율성: VEP 는 다운스트림 RL 에 대한 샘플 효율성을 최대 3 배까지 획기적으로 개선하여 비싼 온라인 상호작용의 필요성을 줄입니다.
데이터 접근성: 전문가, 라벨, 또는 성공적인 시연에 대한 요구 사항을 제거함으로써 전이 학습의 진입 장벽을 낮추고, 방대한 양의 '지저분한' 실제 세계 또는 시뮬레이션 데이터의 사용을 가능하게 합니다.
일반화: 이 방법은 피상적인 시각적 특징이 아닌 작업의 목표(목표로의 진행) 를 포착하는 표현을 학습함으로써 '시뮬레이션 - 실제 (sim-to-real)' 및 '작업 - 작업 (task-to-task)' 격차를 해결합니다.
미래 방향: 저자들은 이를 연속 제어 알고리즘 (SAC 등) 과 퓨샷 모방 학습으로 확장하고, 더 복잡하고 대규모의 사전 학습 시나리오로 확장할 것을 제안합니다.

요약하자면, VEP는 로봇 공학의 표현 학습에서 패러다임의 전환을 나타내며, "세상이 어떻게 보이는가"에서 "에이전트가 성공에 얼마나 가까운가"로 초점을 이동시켜 불완전한 데이터로도 견고한 전이를 가능하게 합니다.