기술적 요약: 제어 극대화를 통한 목표 조건부 강화학습과 비지도 기술 학습의 통합

문제 제기

비지도 사전 학습, 특히 상호 정보 기술 학습 (MISL) 은 하류 목표 달성 (goal-reaching) 을 용이하게 하는 다양한 기술을 발견함으로써 목표 조건부 강화학습 (GCRL) 에서 경험적 성공을 이끌어 왔습니다. 그러나 행동 다양성을 극대화하는 MISL 목적 함수가 왜 특정 하류 GCRL 작업을 지원해야 하는지에 대한 이론적 근거는 여전히 잘 이해되지 않고 있습니다.

이 두 분야를 통합하는 데 있어 근본적인 장애물은 "GCRL"과 "MISL"이라는 용어들이 서로 다르고 종종 양립할 수 없는 공식들을 포괄하는 umbrella 용어라는 점입니다:

1. GCRL 다양성: 서로 다른 GCRL 작업은 목표 달성 성능을 측정하는 데 서로 다른 기준 (예: 지속적 목표, 정확한 타이밍, 기회 창) 을 사용하므로, 근본적으로 다른 최적 정책을 유도합니다.
2. MISL 다양성: 서로 다른 MISL 방법은 행동 다양성의 서로 다른 개념 (예: 말단 상태의 다양성 대 전체 궤적) 을 최적화하며 서로 다른 변분 하한에 의존합니다.

핵심 질문은 다음과 같습니다: 특정 MISL 목적 함수와 특정 하류 GCRL 공식화를 연결하는 이론적 설명이 존재하며, 어떤 조건에서 이들이 일치하는가?

방법론 및 프레임워크

저자들은 **제어 극대화 (Control-Maximization)**에 기반한 통합적 관점을 제안합니다. 그들은 GCRL 과 MISL 이 모두 본질적으로 에이전트가 환경에 대해 갖는 제어의 정도를 극대화하려는 것이라고 주장합니다.

1. GCRL 공식화 분석

이 논문은 세 가지 표준 GCRL 공식화를 식별하고 그들의 일반적 비등가성을 증명합니다:

• 지속적 목표 ($Pe(\gamma)$): 에이전트가 목표를 재방문할 때마다 보상을 받는 무한 시간 범위 설정 (예: 목표 점유율 최적화).
• **정확한 타이밍 ($ET(K)$):** 목표가 정확히$K$ 단계에서 도달되었을 때만 보상이 주어지는 유한 시간 범위 설정.
• 기회 창 ($OW(K, \gamma)$): 목표가 $K$ 창 내에서 도달되었을 때 보상이 주어지는 유한 시간 범위 설정 (종종 할인 적용).

주요 발견: 이러한 공식화들은 근본적으로 다른 최적 정책을 유도합니다. 예를 들어, 확률적 환경 (예: 위험한 다리를 건너는 강) 에서 $Pe(\gamma)$ (신뢰성/재방문 우선) 에 대한 최적 전략은 $ET(K)$(마감 기한을 맞추기 위한 속도 우선) 나$OW(K, \gamma)$와 다를 수 있습니다. 논문은 이러한 공식화들이 동일한 최적 정책으로 수렴하는 조건 (예: 결정적 환경, 1 단계 시간 범위, 또는 무한 창) 을 제공합니다.

2. 목표 민감도 정의

이러한 공식화를 통합하기 위해 저자들은 에이전트의 제어에 대한 새로운 척도인 목표 민감도 (Goal Sensitivity) ($C(s, \pi)$) 를 도입합니다. 이는 무작위 목표에 비해 명령된 목표가 에이전트의 미래 궤적에 얼마나 의존하는지를 정량화합니다:
$$C(s, \pi) := \frac{1}{N_s^2} \sum_{g, g' \in S} \left( J(s, g, \pi_{g}) - J(s, g, \pi_{g'}) \right)$$
여기서 $J$는 반환값 (return) 입니다. 이 지표는 환경의 고유한 제어 가능성 (객관적 제어) 과 에이전트의 능력 (주관적 제어) 을 모두 반영합니다.

3. MISL 과 GCRL 을 연결하는 이론적 하한

핵심 이론적 기여는 목표 민감도를 통해 MISL 목적 함수와 하류 GCRL 성능 사이의 정밀한 정보 이론적 하한을 확립하는 것입니다:

• 단계 1: 저자들은 $Pe(\gamma)$와 $ET(K)$의 경우 목표 민감도를 극대화하는 것이 GCRL 반환값을 극대화하는 것과 동등함을 보여줍니다. $OW(K, \gamma)$의 경우, 이는 반환값에 대한 엄격한 하한을 제공합니다.
• 단계 2: 그들은 목표 - 행동 상호 정보 (명령된 목표와 행동 변수 $S'$ 사이의 MI) 가 일치하는 GCRL 공식화의 목표 민감도에 의해 엄격하게 하한이 지어짐을 유도합니다.
  • $Pe(\gamma)$의 경우, 일치하는 행동 변수는 할인된 상태 점유율 ($S_{\gamma,+}$) 입니다.
  • $ET(K)$의 경우, 일치하는 변수는$K$단계의 상태 ($S_K$) 입니다.
  • $OW(K, \gamma)$의 경우, 그들은 기존 궤적 기반 변수 ($\tau_K$) 가 느슨한 하한만 산출한다는 점을 지적하며, 할인된 첫 방문 벡터 (discounted first-visit vector) ($F_{K,\gamma}$) 를 가장 엄격한 일치 변수로 식별합니다.
• 단계 3: 그들은 표준 MISL 목적 함수 (기술과 행동 사이의 MI) 가 목표 - 행동 MI 를 근사하며, 이 간격은 목표 - 기술 매핑에 의해 유도된 기술 분포의 균일성에 의해 제어됨을 증명합니다.

주요 기여

1. GCRL 공식화의 비등가성: 논문은 서로 다른 GCRL 공식화 ($Pe$, $ET$, $OW$) 가 일반적으로 양립할 수 없는 최적 정책을 유도함을 증명하여, 한 공식화를 위해 설계된 알고리즘이 다른 공식화에서는 실패할 수 있는 이유를 설명합니다.
2. 제어 극대화 렌즈: GCRL 성능을 "목표 민감도"라는 제어 척도를 극대화하는 것으로 정의하여 다양한 공식화를 통합하는 정밀한 이론적 프레임워크를 제공합니다.
3. MISL 과 GCRL 간의 대응: 저자들은 특정 MISL 목적 함수가 특정 하류 GCRL 공식화에 대응함을 보여주는 체계적인 하한을 확립합니다. 그들은 특정 MISL 목적 함수 (예: 말단 상태의 다양성) 를 극대화하는 것이 특정 GCRL 작업 (예: 정확한 타이밍) 의 성능을 이론적으로 하한 짓는다는 것을 보여줍니다.
4. 새로운 변수의 식별: 이 연구는 기회 창 공식화의 경우 표준 궤적 기반 MISL 목적 함수가 최적이지 않으며, 엄격한 이론적 하한을 위해 할인된 첫 방문 벡터가 필요함을 식별합니다.

결과

• 이론적 하한: 논문은 $Pe$와$ET$공식화에 대해 양방향 하한을 유도하여, 목표 민감도가 목표와 행동 사이의 상호 정보를 엄격하게 하한 짓는 것을 보여줍니다.$OW$의 경우 하한을 제공하고 상한에 대한 조건을 논의합니다.
• 정책 동등성 조건: 논문은 한 공식화를 위해 학습된 정책이 다른 것으로 안전하게 전이될 수 있는 특정 조건 (예: 결정적 환경, 무한 시간 범위, 또는 "대기" 행동의 존재) 을 규명합니다.
• 실용적 함의: 결과는 보편적으로 최적인 MISL 목적 함수가 없음을 시사합니다. 사전 학습 목적 함수의 선택은 예상되는 하류 목표 달성 기준 (예: 정확한 타이밍 작업에는 말단 상태 다양성 사용, 기회 창에는 궤적 다양성 사용) 과 일치해야 합니다.

중요성 및 주장

이 논문은 비지도 기술 학습이 하류 목표 달성을 돕는 이유에 대한 "이론적 미스터리"를 해결함으로써 RL 사전 학습을 위한 이론적 기초를 마련했다고 주장합니다. 두 분야를 모두 제어 극대화의 사례로 프레임함으로써, 저자들은 실무자에게 원칙적인 가이드를 제공합니다:

• 사전 학습 목적 함수 선택: 사용자는 테스트 시간에 예상되는 목표 달성의 특정 "스타일" (지속적, 정확, 또는 창형) 에 맞는 MISL 목적 함수를 선택해야 합니다.
• 알고리즘 설계: 이 발견은 정적 구조에 의존하는 특정 GCRL 알고리즘 (예: C-Learning) 이 수정 없이 유한 시간 범위 설정으로 전이되지 않는 이유를 설명합니다.

저자들은 유한 상태/행동 공간에 대한 의존성과 균일한 목표 분포에 대한 가정과 같은 한계를 인정하며 겸손한 태도를 유지합니다 (부록에서 비균일 분포로 확장한 것을 보여줍니다). 또한 기회 창 공식화의 경우, MI 에서 성능으로의 역방향 하한은 추가 가정을 필요로 하므로, 이 특정 사례에 대한 "완벽한" MISL 목적 함수의 식별은 열린 질문으로 남긴다고 지적합니다.

궁극적으로 이 작업은 비지도 기술 발견과 목표 조건부 제어 간의 간극을 메우며, 사전 학습의 성공이 우연이 아니라 하류 작업의 특정 제어 가능성 요구 사항과 사전 학습 목적 함수를 정렬한 결과임을 시사합니다.