기술 요약: 국소 전이 기하학 재사용을 위한 행렬 공간 강화 학습

문제 정의

순차적 의사결정은 에이전트가 이전 롤아웃의 어떤 구성 요소가 새로운 작업에 유용한지 식별하여 구성적 일반화를 달성해야 함을 요구합니다. 기존 강화 학습 (RL) 방법들은 기술, 예측 모델 또는 압축된 상태를 성공적으로 재사용하지만, 풍부한 국소 전이 기하학과 역학을 간과하는 경우가 많습니다. 현재 접근 방식은 다양한 외관 (예: 다른 시간 범위, 작업 실현 또는 행동 표현) 을 가진 궤적을 활용하여 비현실적인 행동을 유발하지 않고 가치 및 정책 학습을 개선하는 방법을 결정하는 데 어려움을 겪습니다. 핵심 과제는 관련 작업 간 전이를 지원하기 위해 공유된 숨겨진 구조를 드러내고 대수적 구성을 가능하게 하는 방식으로 국소 전이 역학을 정량화하는 것입니다.

방법론: 행렬 공간 강화 학습 (MSRL)

본 논문은 궤적 세그먼트를 양의 준정부호 (PSD) 행렬 기술자를 통해 표현하는 기하학적 추상화인 **행렬 공간 강화 학습 (MSRL)**을 제안합니다.

1. 행렬 프록시 $M(\tau)$

MSRL 의 기본 단위는 궤적 세그먼트 행렬 $M(\tau)$입니다. 세그먼트 $\tau = ((o_t, a_t, r_t, o_{t+1}))_{t=0}^{T-1}$에 대해, 이 방법은 다음을 집계하는 고정 단계 "리프트" $\psi_t(\tau)$를 정의합니다:

• 임베딩된 전이 중점 ($c_t$) 과 방향성 변위 ($\delta_t$).
• 행동 조건부 중점 및 변위 (행동 특징과의 크로네커 곱을 통해).
• 관찰된 보상 ($r_t$) 과 상수 채널.

행렬 프록시는 이러한 리프트된 벡터들의 외적의 합으로 정의됩니다:
$$M(\tau) = \sum_{t=0}^{T-1} \psi_t(\tau)\psi_t(\tau)^\top \in \mathbb{S}^m_+$$
이 구성은 리프트된 1 단계 전이의 2 차 통계를 집계하는 공분산과 유사한 행렬을 생성합니다. 결정적으로, $M(\tau)$는 가환 합이므로 작업 간에 변하는 전체 시간적 순서를 폐기하지만 가치 학습에 필수적인 저차 가법 통계를 유지합니다.

2. 대수적 구성 및 접합

이 방법은 이러한 기술자에 대한 대수를 확립합니다:

• 구성: 유효한 세그먼트 연결 $\tau = \tau^{(1)} \star \tau^{(2)}$는 정확히 행렬 덧셈에 해당합니다: $M(\tau) = M(\tau^{(1)}) + M(\tau^{(2)})$.
• 접합: 겹치는 국소 제한은 포함 - 배제 연산자를 사용하여 글로벌 기술자로 조립될 수 있어, 재생 라이브러리가 부분 세그먼트를 저장하고 재결합할 수 있게 합니다.

3. 장애물 필터링

구성된 행렬이 실현 가능한 궤적에 해당하도록 보장하기 위해, 이 방법은 장애물 점수를 도입합니다. 이 지표는 특정 환경에서 도달 가능한 행렬 집합으로부터 후보 행렬까지의 거리를 측정합니다. 양의 장애물은 불일치의 증표로 작용하여 계획에 사용되기 전에 비현실적인 구성을 필터링합니다.

4. 가치 학습 및 전이

MSRL 은 궤적 세그먼트 행렬에 조건부 가치 함수를 설정합니다. 저자들은 특정 가정 (리프트된 벨만 호환성 및 국소 부드러움) 하에서 가치 함수가 행렬 공간에서 1 차 부드러운 근사를 허용함을 증명합니다. 구체적으로, 작은 구성 섭동 $H_0, H_1$에 대해:
$$\bar{Q}^\star(o, H_0 + H_1, a) \approx \bar{Q}^\star(o, H_0, a) + \bar{Q}^\star(o, H_1, a) - \bar{Q}^\star(o, 0, a)$$
이 "중심화된 구성 가치 법칙"은 소스 - 대상 전이를 가능하게 합니다: 행렬 - 가치 브랜치 ($M \to V$) 는 소스 환경에서 사전 학습되어 대상 작업의 크리티크를 초기화하는 데 사용됩니다. 대상 정책 및 행동 헤드는 대상 데이터에서 처음부터 학습되지만, 행렬 - 가치 브랜치는 구조적 귀납 편향을 제공합니다.

주요 기여

1. 기하학적 기술자: 국소 기하학과 역학을 포착하면서도 대수적 구성을 가능하게 하는 충분하고 저차인 기술자인 궤적 세그먼트 행렬 $M(\tau)$의 도입.
2. 근본적 속성: $M(\tau)$가 다음임을 증명:
   • 좌표 게이지까지 잘 정의됨 (정렬된 좌표 변경에 대해 불변).
   • 유도된 저차 가법 신호 클래스에 대해 완전함 (모든 관련 1 차 및 2 차 통계를 포착).
   • 유효한 세그먼트 구성 하에서 가법적임.
   • 허용 가능한 가법 기술자 중 최소 충분성을 가짐.
   • 장애물 점수를 통해 환경 실현 가능성과 분리 가능함.
3. MSRL 이론: 가치 함수가 행렬 공간에서 국소적으로 부드럽고 대략 가법적임을 보여주는 행렬 조건부 가치 법칙의 개발로, 새로운 작업에서 학습을 부트스트랩하기 위해 소스 학습된 $M \to V$ 매핑을 사용하는 것을 정당화함.
4. 실증적 검증: 표준 RL 및 전이 베이스라인에 비해 MSRL 이 퓨샷 설정에서 우수한 성능을 달성함을 입증.

실험 결과

이 방법은 간단한 소스 환경 (GraphMotif, MicroGrid, PointRooms, Dubins-Reacher) 과 복잡한 대상 제어 작업 (AntMaze, Reacher/Pusher, Walker2d, Hopper, Humanoid) 세트를 평가했습니다.

• 소스 진단: 행렬 기술자는 방향성 모티프, 좌표 정렬 매칭, 행동 조건부 수송을 포함한 해석 가능한 구조를 성공적으로 복원했습니다.
• 전이 성능: 복잡한 대상 세트에서 소스 사전 학습 행렬 - 가치 브랜치로 초기화된 MSRL 은 0.73 의 정규화된 퓨샷 AUC를 달성했습니다. 이는 다음보다 우수했습니다:
  • 처음부터 학습된 MSRL (0.65).
  • TD-MPC-PT+FT (0.63).
  • 표준 TD-MPC (0.57).
• 학습 속도: 소스 초기화 접근 방식은 베이스라인에 비해 초기 학습 수렴이 더 빨랐으며, 이는 행렬 - 가치 지식의 전이가 대상 작업의 샘플 복잡성을 효과적으로 감소시킴을 나타냅니다.

중요성 및 한계

본 논문은 MSRL 이 구성적 일반화를 위한 투명한 대수적 인터페이스를 제공하여 궤적 재사용을 행렬 연산으로 변환한다고 주장합니다. 국소 전이 기하학을 PSD 행렬로 추상화함으로써, 이 방법은 에이전트가 정확한 상태 매칭이나 전체 시간적 역사에 의존하지 않고 작업 간 구조적 구성 요소를 식별하고 재결합할 수 있게 합니다.

저자들은 이 방법의 보편성에 대해 겸손한 입장을 유지합니다. 그들은 명시적으로 다음을 지적합니다:

• 이 접근 방식은 소스 및 대상 설정 간에 정렬된 전이 리프트를 요구하며 임의의 환경을 자동으로 정렬하지는 않습니다.
• 기술자는 저차 가법 아핀 - 2 차 정보만 보존하며 리프트된 벡터에서 보이는 것 이상의 임의의 시간적 순서를 인코딩하지 않습니다.
• 근사 가법 가치 규칙은 임의의 행렬 합에 대한 정확한 동적 프로그래밍 항등식이 아니라 부드러움 가정에 의존하는 국소 모델링 근거입니다.
• 장애물 증표는 실제 도달 가능 집합에 대해서만 정확하며, 실제로는 학습된 대리 필터에 의존합니다.

이러한 한계에도 불구하고, 이 작업은 국소 전이 구조를 재사용하기 위한 엄격한 기하학적 프레임워크를 수립하여 모델 프리 및 모델 기반 RL 방법 모두에 구성적 일반화를 개선하기 위한 플러그인 호환 솔루션을 제공합니다.