🤖 AI

Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL

본 논문은 국소 동역학의 규칙성을 활용하여 전역 맥락을 필요한 행동 시퀀스와 정렬함으로써 복잡한 작업에서 하류 성능을 향상시키는 재사용 가능한 기술을 학습하는 계층적 강화 학습 알고리즘인 CARL을 소개합니다.

원저자: Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

원저자: Sarthak Dayal, Abhinav Peri, Carl Qi, Claas Voelcker, Alexander Levine, Caleb Chuck, Amy Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL" 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 풀어보겠습니다.

큰 문제: "바퀴를 다시 발명하는" 문제

거대하고 복잡한 미로를 탐험하도록 로봇을 가르친다고 상상해 보세요. 전통적인 강화 학습 (RL) 에서 로봇은 새로운 방에 들어설 때마다 매번 모든 움직임을 처음부터 다시 학습하는 경우가 많습니다.

로봇이 부엌에서 "앞으로 걷는" 법을 배웠다면, 물리 법칙이 완전히 동일함에도 불구하고 거실로 들어가면 그와 정확히 같은 일을 하는 법을 잊어버릴 수 있습니다. 이는 교과서에서 수학 문제를 풀는 법을 배운 학생이, 문제집의 글꼴만 다를 뿐인데 시험에서 똑같은 문제를 풀지 못하는 것과 같습니다.

이것이 계층적 강화 학습 (HRL) 의 핵심적인 과제입니다. HRL 은 로봇이 (걷기, 일어서기, 잡기 등) "기술 (Skills)"을 배우고 이를 재사용할 수 있도록 하려 합니다. 하지만 현재 방법론들은 "앞으로 걷기"라는 기술이 부엌이든 거실이든 동일하다는 사실을 종종 간과합니다. 그 결과 이를 완전히 다른 것으로 취급하여 시간과 데이터를 낭비합니다.

해결책: CARL (기술을 위한 "보편적 번역기")

저자들은 CARL(Contrastive Action-based Representations for Reusable Local Control) 이라는 새로운 방법을 소개합니다.

CARL 을 움직임을 위한 보편적 번역기라고 생각하세요. "내가 세계의 어디에 있는가?"(이는 끊임없이 변함) 를 묻는 대신, CARL 은 "여기에서 저기로 이동하기 위해 어떤 움직임 시퀀스가 필요한가?"를 묻습니다.

핵심 아이디어: "국소적 동역학"

이 논문은 단순한 직관에 의존합니다: 국소적 동역학은 규칙적이다.

비유: 붐비는 도시를 걷고 있다고 상상해 보세요. 앞으로 세 걸음 걷고 싶다면, 왼발을 들고 오른발을 들고 다시 왼발을 들어야 합니다. 뉴욕이든 도쿄든 작은 마을이든 상관없이 세 걸음을 옮기기 위해 필요한 걸음의 순서는 동일합니다.
논문의 주장: 로봇 환경의 많은 서로 다른 장소들이 이러한 동일한 "국소적 규칙"을 공유합니다. 로봇이 A 지점에서 B 지점으로, 그리고 C 지점에서 D 지점으로 이동해야 할 때, 거리와 장애물이 유사하다면 로봇은 두 경우 모두 정확히 동일한 "기술"(행동 시퀀스) 을 사용해야 합니다.

CARL 의 작동 원리: "매칭" 알고리즘

CARL 은 과거 로봇 움직임의 방대한 데이터베이스 (오프라인 데이터) 를 살펴봅니다. 지도를 단순히 외우는 것이 아니라, 로봇이 어떻게 움직였는지에 대한 패턴을 찾습니다.

입력: "상태 - 목표 쌍"을 살펴봅니다. (예: "나는 문 앞에 있고, 테이블로 가고 싶다.")
비밀 재료: 그곳에 도달하기 위해 로봇이 사용한 행동 시퀀스를 살펴봅니다. (예: "걸음, 걸음, 회전, 걸음")
마법: CARL 은 대조 학습 (Contrastive Learning) 이라는 기법을 사용합니다. 표면적으로 완전히 다르게 보일지라도 동일한 행동 시퀀스가 필요한 두 가지 상황을 그룹화하려고 시도합니다.

비유:
도서관 사서가 책을 정리한다고 상상해 보세요.

구식 방법: 사서는 책 표지의 색깔이나 책이 인쇄된 도시별로 책을 분류합니다. (이는 로봇이 "어디에 있는가"로 분류하는 것과 같습니다.)
CARL 방법: 사서는 줄거리 요약으로 책을 분류합니다. 두 권의 책이 정확히 같은 줄거리 (예: "영웅이 탈출하기 위해 사다리를 오른다") 를 가지고 있다면, 하나는 SF 소설이고 다른 하나는 판타지 소설이라 하더라도 같은 선반에 진열됩니다.

CARL 의 세계에서는 미로 구석에서 "일어서기"와 방 한가운데서 "일어서기"가 같은 "줄거리"(행동 시퀀스) 를 가지므로 함께 진열됩니다.

결과: 왜 중요한가

저자들은 OGBench라는 벤치마크에서 이를 테스트했는데, 여기에는 다음과 같은 작업들이 포함됩니다:

이동 (Locomotion): 가상 개미, 로봇 개, 또는 인간형 로봇이 미로를 통과하도록 걷게 하는 작업.
조작 (Manipulation): 로봇 팔이 큐브를 쌓거나 퍼즐을 풀게 하는 작업.

무슨 일이 일어났을까요?

더 나은 전이 (Transfer): 로봇이 미로의 한 부분에서 기술을 배웠을 때, 미로의 완전히 다른 부분에서도 즉시 그 기술을 사용할 수 있었습니다. 걷는 법을 다시 배울 필요가 없었습니다.
더 높은 점수: 기존 고급 AI 방법 (HIQL 등) 과 CARL 을 결합했을 때, 로봇이 작업을 훨씬 더 자주 성공적으로 해결했습니다. 예를 들어, 일부 어려운 "거대 미로" 테스트에서 성공률은 30% 이상 급증했습니다.
시각적 증거: 저자들은 (논문의 Figure 3 과 같은) 시각화를 만들어 CARL 이 로봇이 미로의 완전히 다른 부분에 있을 때조차 "뒤로 걷기" 행동을 성공적으로 그룹화했음을 보여주었습니다.

CARL 이 하지 않는 것 (논문에 근거한 엄격한 설명)

이 방법은 데이터에서 발견된 기존 패턴을 찾고 재사용할 뿐, 아무것도 없는 상태에서 새로운 기술을 만들어내지는 않습니다.
모든 문제의 만능 해결책은 아닙니다. 논문은 매우 복잡하고 장기적인 계획이 필요한 작업 (4x4 퍼즐 해결 등) 이나, 매우 무작위적이고 예측 불가능한 물리 법칙을 가진 환경 (순간 이동 포털 등) 에서는 약간 어려움을 겪을 수 있다고 지적합니다.
양질의 과거 데이터 "도서관"이 있어야 합니다. 데이터가 희소하거나 나쁘다면 CARL 은 패턴을 찾을 수 없습니다.

요약

CARL은 로봇이 어디에 있든 "걷기"는 "걷기"임을 인식하도록 가르치는 방법입니다. 동일한 단계가 필요한 상황을 수학적으로 그룹화함으로써, 로봇이 환경의 서로 다른 부분에서 학습한 기술을 재사용할 수 있게 하여, 더 길고 복잡한 작업을 해결할 때 더 똑똑하고, 빠르며, 효율적으로 만듭니다.

기술 요약: 오프라인 계층적 강화학습에서 재사용 가능한 기술을 위한 국소 역학 규칙성 활용

문제 정의

계층적 강화학습 (HRL) 은 시간적으로 확장된 기술을 발견하고 재사용함으로써 장기 과제를 해결하는 것을 목표로 합니다. 그러나 다양한 맥락에서 진정으로 재사용 가능한 기술을 확보하는 것은 지속적인 과제입니다. 기존 접근법들은 기술과 정책을 함께 학습할 때 훈련 불안정성을 겪거나, 재사용성을 효과적으로 활용하지 못하는 경우가 많습니다. 목표 조건부 정책은 훈련을 분리했지만, 진정한 기술에 내재된 시간적 추상화와 일관된 재사용성을 종종 상실합니다. 구체적으로, 전역 상태 - 목표 공간에서 직접 추론하면 하위 정책이 동일한 행동이 다른 전역 맥락에서 언제 재사용될 수 있는지 인식하기 어렵습니다.

방법론

저자들은 오프라인 데이터셋에서 국소 역학의 표현을 학습하여 기술 재사용을 용이하게 하기 위해 CARL(재사용 가능한 국소 제어를 위한 대비적 행동 기반 표현) 을 제안합니다.

이론적 기반: 국소 역학과 동형

핵심 직관은 국소 역학입니다: 상태 공간의 많은 국소 영역은 유사한 역학을 공유하며, 이는 서로 다른 전역 맥락에서의 국소 전이가 유사한 행동 시퀀스를 필요로 함을 의미합니다.

k-볼 MDP: 저자들은 상태 $s$ 를 루트로 하는 유한 시간 MDP(즉, $k$ -볼) 를 정의하여 국소 역학을 형식화합니다. 이는 $k$ 단계 내에 도달 가능한 모든 상태를 포함합니다.
역학 동형성: 두 상태가 해당 $k$ -볼 MDP 들이 *역학 동형 (dynamics-bisimilar)*일 때 국소 역학을 공유하는 것으로 간주됩니다. 이는 동일한 행동 시퀀스 하에서 전이 확률이 동등한 관계가 존재함을 의미하며, 이러한 상태들은 단기 목표 달성 행동에 대해 상호 교환 가능하게 취급될 수 있습니다.

실용적 알고리즘: CARL

고차원 연속 영역에서 동형성을 직접 추정하는 것은 계산적으로 불가능합니다. 대신, CARL 은 행동적 유사성을 휴리스틱으로 활용합니다. 가설은 근접 전문가 오프라인 데이터셋에서 동일한 $k$ -단계 행동 시퀀스 $a_k$ 를 허용하는 상태 - 목표 쌍 $(s_1, g_1)$ 과 $(s_2, g_2)$ 는 행동적으로 유사하다는 것입니다.

CARL 은 대비적 학습 목적 함수 (InfoNCE) 를 사용하여 상태 - 목표 쌍에 대한 임베딩 $\phi(s, g)$ 와 행동 시퀀스에 대한 임베딩 $\psi(a_k)$ 를 학습합니다:
$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$
이 목적 함수는 상태 - 목표 쌍을 이를 달성하는 행동 시퀀스와 정렬합니다. 결과적으로, 유사한 국소 기술을 필요로 하는 상태 - 목표 쌍은 전역 위치에 관계없이 잠재 공간 내에서 서로 가까이 임베딩됩니다.

HRL 통합

CARL 은 기존 계층적 오프라인 RL 알고리즘, 구체적으로 HIQL과 HGCBC에 통합됩니다.

학습된 표현 $\phi(s, g)$ 는 하위 정책과 가치 함수의 입력으로 사용됩니다.
상위 정책은 이 학습된 표현 공간에서 서브목표를 출력합니다.
이를 통해 하위 정책은 각 영역마다 정책을 처음부터 다시 학습하지 않고도 서로 다른 전역 맥락에서 동일한 기술 (행동 시퀀스) 을 재사용할 수 있습니다.

주요 기여

국소 역학의 형식화: 이 논문은 장기 가치 동등성이 아닌 국소 역학 (k-볼 MDP 와 동형을 통해) 에 기반한 상태 동등성을 정의하여 기술 재사용을 위한 원칙적 기반을 제공합니다.
CARL 알고리즘: 오프라인 데이터에서 국소 역학 구조를 근사하고, 필요한 행동 시퀀스에 따라 상태 - 목표 쌍을 클러스터링하는 실용적인 대비적 학습 프레임워크입니다.
실증적 검증: CARL 을 HIQL 및 HGCBC 에 통합하는 것이 다양한 작업 (이동, 조작, 복잡한 퍼즐) 과 모드 (상태 기반 및 픽셀 기반) 에서 OGBench벤치마크의 하류 성능을 크게 향상시킨다는 것을 입증했습니다.
표현 구조 분석: 시각화 (UMAP) 와 최근접 이웃 분석은 CARL 이 유사한 국소 행동을 필요로 하는 서로 다른 전역 상태 (예: 미로 내 다른 위치에서의 "뒤로 걷기") 를 성공적으로 클러스터링함을 확인시켜 줍니다.

결과

이 논문은 OGBench 스위트에 대한 광범위한 실험 결과를 보고합니다:

상태 기반 작업: HIQL+CARL 은 표준 HIQL 에 대해 20/22의 승률을 기록했으며, "거대 미로"(+30% 씩의 장면 작업) 및 "큐브"조작 작업과 같은 복잡한 환경에서 상당한 개선을 보였습니다. HGCBC+CARL 은 HGCBC 에 대해 21/21의 승률을 기록했습니다.
픽셀 기반 작업: 시각 환경에서 HIQL+CARL 은 HIQL 에 대해 13/14의 승률을 기록했으며, 장기 항미로 작업 (예: 대형/거대 변형에서 +30%) 에서 주목할 만한 향상을 보였습니다.
애블레이션 연구:
- 대비 vs 예측: 대비 목적 함수 (InfoNCE) 는 직접 회귀 (예측) 손실보다 성능이 우수하여, 기술 재사용을 위한 잠재 기하학을 조직하는 데 더 효과적임을 시사합니다.
- 행동 시퀀스 vs 단일 행동: 단일 행동을 모델링하는 것보다 전체 행동 시퀀스 ( $a_k$ ) 를 모델링하는 것이 우월하여 시간적 구조의 중요성을 확인시켰습니다.
- 샘플링: "내부 샘플링"(k-단계 시간 범위 내의 중간 상태 사용) 은 "표면 샘플링"(종단점만 사용) 보다 더 좋은 성능을 보였습니다.
강건성: CARL+HIQL 은 기준선 HIQL 과 데이터셋 커버리지 및 불균형에 대해 유사한 민감도를 보여주어, CARL 이 데이터 요구 사항을 악화시키지 않음을 나타냅니다.

중요성과 주장

저자들은 국소 역학 구조가 기술 추출 및 재사용을 위한 원칙적 기반을 제공한다고 주장하며, 이는 HRL 이 장기 의사결정의 핵심인 시간적 추상화와 다시 연결되도록 돕습니다. CARL 은 허용하는 단기 행위에 따라 상태 - 목표 쌍을 클러스터링하는 임베딩을 학습함으로써, 기존 계층적 RL 프레임워크를 개선하는 기술 재사용을 위한 구체적인 메커니즘을 제공합니다.

이 논문은 이 접근법이 상위 정책이 하위 기술을 더 효과적으로 추론할 수 있게 하여, 전역적으로 다른 맥락 (예: 미로의 다른 부분에서 인간형 로봇이 일어나는 행동) 간에 행동을 전이할 수 있게 한다고 강조합니다. 이 방법이 오프라인 데이터셋과 고정된 시간 범위에 의존하지만, 결과는 명시적으로 국소 재사용성을 모델링하는 것이 특히 모든 맥락마다 하위 정책을 다시 학습하는 것이 비효율적인 복잡하고 고차원적인 로봇 공학 분야에서 성능 이점을 unlocked 시킨다고 시사합니다.

이 연구는 한계에 대해 겸손하게, 추출 시간 범위 $k$ 의 선택이 환경에 의존적이며 확률적 역학이나 극단적인 조합 일반화가 있는 특정 작업의 성능은 여전히 어렵다고 지적합니다. 향후 연구는 자동 기술 발견, 행동 추상화, 그리고 상위 정책 표현을 탐구할 것을 제안합니다.