기술 요약: ULEE – 효율적 탐색을 위한 비지도 학습

문제 정의

본 논문은 심층 강화 학습(RL)에서 샘플 효율성 문제를 극복하고 일반화 능력을 결提高하기 위해 전이 가능한 지식을 보유한 파운데이션 정책(foundation policies)을 개발하는 과제를 다룹니다. 대규모 사전 학습이 컴퓨터 비전과 언어 모델링에 혁명을 일으킨 것과 달리, RL 에이전트는 일반적으로 새로운 태스크마다 처음부터 학습해야 합니다. 저자들은 에이전트가 스스로 부과한 목표를 통해 능력을 습득하는 것을 목표로 하는 비지도 RL(unsupervised RL), 즉 외부 보상 없이 환경과 상호작용하는 설정에 집중합니다.

핵심적인 어려움은 다음과 같은 상황에서 스스로 부과한 목표를 효과적으로 생성, 선택 및 학습하는 데 있습니다:

1. 다운스트림 태스크의 분포가 광범위하고 알려지지 않은 경우.
2. 모든 태스크를 제로샷(zero-shot)으로 해결하는 것이 불가능한 경우.
3. 에이전트가 제한된 정보 속에서 새로운 목적, 역학(dynamics) 또는 맵 구조에 적응해야 하는 경우.

기존 방법들은 고정된 목표 집합에 의존하거나, 목표 공간이 평가 태스크와 일치한다고 가정하거나, 에이전트의 적응 능력에 대해 고려하지 않고 즉각적인 성능만을 최적화하는 경tend가 있습니다. 본 논문은 일반적인 베이스 정책은 난이도의 스펙트럼 전체에서 효과적이어야 하며, 쉬운 태스크에서는 빠른 성능을, 복잡한 태스크에서는 효율적인 적응력을 제공해야 한다고 주장합니다.

방법론: ULEE

저자들은 커리큘럼 기반의 자기 부과 목표를 통해 적응형 정책을 사전 학습하도록 설계된 비지도 메타 학습 프레임워크인 ULEE(Unsupervised Learning of Efficient Exploration)를 제안합니다. 이 방법은 네 가지 주요 구성 요소로 이루어져 있습니다.

1. 사전 학습된 정책 (인컨텍스트 러너)

알려진 목표 표현(goal representation)이 필요한 기존의 목표 조건부 정책(goal-conditioned policies) 학습 방식과 달리, ULEE는 블랙박스 메타 학습 방식을 사용하여 무조건부 정책($\pi$)을 학습합니다. 에이전트는 연속적인 에피소드 시퀀스(하나의 "생애(lifetime)") 동안 환경과 상호작용하며, 전체 상호작용 이력(관측값, 행동, 보상)을 바탕으로 행동을 선택합니다. 이를 통해 에이전트는 테스트 시점에 명시적인 목표 조건 없이도 *인컨텍스트(in-context)*로 적응하는 법을 배울 수 있습니다.

2. 적응 후 난이도 지표 (Post-Adaptation Difficulty Metric)

중심적인 혁신은 태스크 난이도의 정의에 있습니다. 많은 기존 연구가 즉각적인 성공 여부에 따라 목표를 평가하는 것과 달리, ULEE는 다중 에피소드 생애의 마지막 $K$ 에피소드 동안의 정책 성공률의 보완값(complement)으로 목표 $g$의 난이도를 정의합니다.

• 첫 $H-K$ 에피소드는 탐색과 적응을 위해 사용됩니다.
• 이 지표는 에이전트가 특정 태스크에 적응할 기회를 가진 이후의 능력을 반영합니다.
• 이는 에이전트가 적응을 필요로 하는 새로운 태스크에 직면하게 되는 평가 설정과 학습 커리큘럼을 일치시킵니다.

3. 적대적 목표 생성 및 선택

ULEE는 에이전트의 역량의 "최전선(frontier)"에서 학습을 유지하기 위해 적대적 커리큘럼을 채택합니다.

• 목표 제안: 목표 탐색 정책($\pi_{gs}$)은 현재의 사전 학습된 정책이 마주하는 목표의 난이도를 최대화하도록 적대적으로 학습됩니다. 이 정책은 현재의 정책에게 도전적인 후보 목표를 찾기 위해 환경을 탐색합니다.
• 난이도 예측: 실제 난이도를 계산하려면 여러 에피소드를 실행해야 하므로 샘플 효율성이 낮습니다. 따라서 난이도 예측기(Difficulty Predictor) 네트워크가 환경 컨텍스트를 기반으로 후보 목표의 난이도를 추정합니다.
• 목표 선택: 시스템은 특정 난이도 범위(하한 $LB$와 상한$UB$로 제한됨) 내에 있는 후보 집합에서 목표를 균등하게 샘플링합니다. 이는 커리큘럼이 너무 쉽거나 해결 불가능한 태스크가 아닌, "중간 난이도"의 태스크에 집중하도록 보장합니다.

4. 학습 목적 함수

사전 학습된 정책은 자기 부과된 목표의 분포에 대해 기대 할인 생애 수익(expected discounted lifetime return)을 최대화하도록 최적화됩니다. 목표 분포 $p(g|M)$은 적대적 생성기와 난이도 예측기에 의해 동적으로 조정되어, 에이전트가 지속적으로 도전받으면서도 학습이 가능한 상태를 유지하도록 합니다.

주요 기여

1. 적응 후 난이도 지표: 즉각적인 성능이 아닌, 적응 예산(adaptation budget) 이후의 에이전트 성능을 기반으로 자동 목표 생성을 유도하는 지표를 도입했습니다.
2. ULEE 프레임워크: 다음을 포함하는 완전한 비지도 메타 학습 방법을 제시합니다:
   • 자기 부과 목표로 학습되는 인컨텍스트 러너.
   • 효율적인 커리큘럼 추정을 위한 난이도 예측 네트워크.
   • 도전적인 목표를 제안하는 적대적 에이전트.
   • 원하는 난이도 범위 내에서 목표를 선택하는 샘플링 전략.
3. 포괄적 평가: XLand-MiniGrid 벤치마크를 통해 다양한 타임스케일(제로샷, 퓨샷, 파인튜닝) 및 일반화 유형(새로운 목적, 역학, 맵 구조)에 걸쳐 평가를 수행했습니다.

실험 결과

저자들은 절차적으로 생성된 부분 관측 그리드 환경(XLand-MiniGrid)의 "Trivial" 및 "Small" 난이도 분포에서 ULEE를 평가했습니다.

• 탐색: ULEE의 사전 학습된 정책은 무작위 탐색 및 DIAYN 사전 학습에 비해 훨씬 더 많은 목표에 도달했습니다 (20 에피소드 시점에서 두 배 이상의 성과).
• 빠른 적응: 퓨샷(few-shot) 설정(30 에피소드 생애)에서 ULEE는 꾸준한 개선을 보였으며, 30번째 에피소드까지 평균 수익이 최대 $3\times$ 증가하여 DIAYN 및 RL2와 같은 베이스라인을 능가했습니다.
• 파인튜닝: 더 큰 예산(최대 10억 스텝)을 가진 고정된 태스크에서 파인튜닝할 때, ULEE 초기화는 처음부터 학습하거나 DIAYN 사전 학습을 사용하는 것보다 일관되게 우수한 성능을 보였습니다.
• 메타 학습: ULEE는 감독형 메타 강화 학습에 강력한 초기화를 제공하여, 처음부터 학습하는 것보다 평균 및 백분위 지표 모두에서 더 높은 수익을 달 yielded 했습니다.
• 일반화: 이 방법은 새로운 환경 구조(예: 다른 그리드 크기 및 방 레이아웃)와 클래식 MiniGrid 태스크에 대한 견고한 일반화 능력을 보여주었습니다. ULEE는 테스트된 모든 환경에서 비제로(non-zero) 수익을 달성하며 DIAYN 및 무작위 베이스라인을 능가했습니다.
• 절제 연구(Ablations): 연구를 통해 적대적 목표 탐색과 제한된 샘플링의 조합이 결정적임을 확인했습니다. 또한, 포스트 적응 난이도 지표를 사용하는 것이 특히 태스크 난이도가 높아질 때 즉각적인 성능 지표를 사용하는 것보다 더 유익하다는 것을 입증했습니다.

의의 및 주장

본 논문은 ULEE가 비지도 RL과 메타 학습을 성공적으로 결합하여 효율적인 탐색과 적응이 가능한 파운데이션 정책을 생성한다고 주장합니다. 커리큘럼의 초점을 적응 후 성능으로 전환함으로써, 이 방법은 태스크가 새롭고 실시간 학습이 필요한 실제 시나리오에 에이전트를 더 잘 대비시킵니다.

저자들은 ULEE를 다음과 같은 문제를 처리할 수 있는 파운데이션 정책을 향한 단계로 포지셔닝합니다:

• 광범위한 다운스트림 태스크 분포.
• 목표 정보가 알려지지 않았거나 분포 외(out-of-distribution)인 시나리오.
• 다양한 수준의 적응 시간이 필요한 태스크.

이 연구는 커리큘럼 학습에서 중간 난이도의 중요성을 강조하며, 비지도 사전 학습이 새로운 목적, 역학 및 맵 구조에 일반화될 수 있는 정책을 생성하여 퓨샷 적응 및 장기 파인튜닝 모두에 우수한 초기화를 제공할 수 있음을 입증합니다. 저자들은 향-기간(longer-horizon) 태스크를 위한 계층적 구조나 인간 관련 태스크와 정렬하기 위한 시각-언어 모델의 통합을 향후 연구 과제로 제시합니다.