🤖 machine learning

Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning

이 논문은 데이터셋의 행동을 고정된 타겟으로 삼는 기존 방식 대신, 잠재 변수(latent) 기반의 동적 라우팅(dynamic routing)을 통해 데이터가 지원하는 행동 영역을 유연하게 학습함으로써, 추론 비용은 낮게 유지하면서도 성능은 높인 단일 단계(one-step) 오프라인 강화학습 알고리즘인 DROL을 제안합니다.

원저자: Zhancun Mu, Guangyu Zhao, Yiwu Zhong, Chi Zhang

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhancun Mu, Guangyu Zhao, Yiwu Zhong, Chi Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존의 문제점: "고집불통 가이드북" (Pointwise Correspondence)

기존의 방식(FQL 등)은 아주 똑똑한 '베테랑 가이드(Teacher)'가 있습니다. 이 가이드는 "A 식당에 가면 이 메뉴를 시켜야 해"라고 딱 정해줍니다. AI(Student)는 이 가이드를 따라 하려고 노력하죠.

그런데 문제가 생깁니다. AI가 공부를 하다 보니, **"A 식당 메뉴도 좋지만, 바로 옆 B 식당 메뉴가 훨씬 맛있겠다(높은 Q값)!"**라는 사실을 깨달았습니다.

하지만 기존 방식은 'A 식당 = 특정 메뉴'라는 연결 고리가 너무 강력하게 묶여 있습니다. AI는 "A 식당 메뉴를 배우라"는 명령과 "더 맛있는 걸 찾아라"는 명령 사이에서 갈등하다가, 결국 둘 다 애매하게 맛없는 중간 지점을 선택해 버립니다. 즉, 새로운 맛집을 발견해도 기존의 고정관념(데이터와의 연결) 때문에 더 나은 선택을 하지 못하고 주저앉는 것이죠.

2. DROL의 해결책: "유연한 역할 분담" (Dynamic Routing)

이 논문에서 제안하는 DROL은 이 문제를 **'역할 분담(Routing)'**이라는 아주 영리한 방법으로 해결합니다.

이제 AI는 가이드북을 만들 때, 한 명의 가이드가 모든 걸 책임지는 게 아니라 **여러 명의 '예비 가이드(Candidate Set)'**를 동시에 운영합니다.

상황: A 식당 근처에 맛있는 메뉴들이 여러 개 있습니다.
DROL의 방식:
1. 여러 명의 예비 가이드(K명)를 세워둡니다.
2. 데이터(실제 맛집 정보)가 들어오면, 그 정보와 가장 가까운 곳에 있는 가이드 한 명에게만 "이게 진짜 맛집이야!"라고 알려줍니다(Winner-only update).
3. 만약 어떤 가이드가 "옆 동네 맛집이 더 맛있어!"라고 판단해서 그쪽으로 이동하고 싶다면, 그 가이드는 자유롭게 이동합니다.
4. 그럼 그 가이드가 떠난 빈자리는 다른 예비 가이드가 자연스럽게 맡아서 기존 맛집 정보를 지켜줍니다(Responsibility Transfer).

이것이 핵심입니다! 기존 방식은 한 명의 가이드가 "맛집 지키기"와 "새 맛집 찾기"를 동시에 하느라 쩔쩔맸다면, DROL은 **"새 맛집을 찾아 떠나는 가이드"**와 **"기존 맛집을 지키는 가이드"**를 분리해 버린 것입니다.

3. 요약하자면 (Metaphor Summary)

기존 방식: 한 명의 요리사에게 "레시피를 똑같이 따라 해!"라고 하면서 동시에 "더 맛있는 재료를 찾아봐!"라고 시키는 격입니다. 요리사는 혼란에 빠져 맛이 애매해집니다.
DROL 방식: 여러 명의 요리사를 둡니다. 한 명이 새로운 비법을 찾아 떠나면, 다른 요리사가 즉시 그 자리를 메워 기존의 맛을 유지합니다. 덕분에 전체적인 맛(성능)은 계속 좋아지면서도, 원래의 맛(데이터의 범위)을 잃지 않습니다.

4. 결과적으로 무엇이 좋아졌나요?

이 방식을 사용했더니, AI가 **"기존 데이터를 벗어나지 않으면서도(안전성), 훨씬 더 똑똑하고 효율적인 행동(성능)을 하는 법"**을 배웠습니다. 특히 복잡하고 선택지가 많은 환경(OGBench 등)에서 기존 방식보다 훨씬 뛰어난 성적을 거두었습니다.

한 줄 요약: "고정된 연결 고리를 끊고, 역할 분담을 통해 '안전함'과 '발전'이라는 두 마리 토끼를 모두 잡은 기술"입니다.

[기술 요약] DROL: 오프라인 강화학습을 위한 동적 라우팅 기반의 1-step 액터 학습

1. 문제 정의 (Problem Statement)

오프라인 강화학습(Offline RL)의 핵심 과제는 고정된 데이터셋 내에서 지원되는 행동 영역(Action Support)을 벗어나지 않으면서도, 가치 함수(Critic)를 극대화하는 정책을 학습하는 것입니다. 특히 멀티모달(Multimodal) 환경(예: OGBench)에서는 동일한 상태에서 여러 개의 유효한 행동이 존재할 수 있습니다.

최근에는 추론 비용을 낮추기 위해 반복적인 샘플링(Iterative sampling) 과정을 거치는 강력한 '교사(Teacher) 모델'로부터, 단 한 번의 샘플링으로 행동을 생성하는 **'1-step 액터(Student)'**를 추출(Distillation)하는 방식이 주목받고 있습니다. 그러나 기존의 추출 방식(예: FQL)은 다음과 같은 구조적 한계를 가집니다:

점별 대응(Pointwise Correspondence)의 문제: 특정 잠재 변수(Latent $z$ )에 대해 교사 모델이 생성한 특정 행동 $\tilde{a}$ 와 학생 모델의 출력 $f_\theta(s, z)$ 를 강제로 일치시키려 합니다.
충돌 발생: 만약 Critic이 제안하는 더 높은 가치의 행동(Higher Q)이 교사가 지정한 $\tilde{a}$ 와 방향이 다를 경우, 손실 함수는 두 방향 사이의 '타협점'을 찾으려 합니다. 이 과정에서 데이터가 지원하는 더 나은 행동이 근처에 있음에도 불구하고, 기존의 대응 관계에 묶여 최적의 행동으로 나아가지 못하는 현상이 발생합니다.

2. 제안 방법론 (Methodology: DROL)

본 논문은 **"보존해야 할 것은 잠재 변수와 행동 간의 일대일 대응 관계가 아니라, 데이터가 지원하는 국소적 행동 영역(Local Support)이다"**라는 핵심 아이디어를 제안합니다.

핵심 메커니즘: Top-1 Dynamic Routing

DROL은 학습 시에만 여러 개의 후보 행동을 생성하고, 데이터셋의 행동을 가장 잘 설명하는 후보에게만 책임을 부여하는 방식을 사용합니다.

후보군 생성 (Candidate Set): 각 상태 $s$ 에 대해, 유계된 잠재 사전 분포(Bounded Latent Prior)로부터 $K$ 개의 잠재 변수를 샘플링하여 $K$ 개의 후보 행동 $\hat{a}_1, \dots, \hat{a}_K$ 를 생성합니다.
동적 라우팅 (Top-1 Dynamic Routing): 데이터셋의 각 행동 $(s, a)$ 에 대해, 현재 후보군 중 $a$ 와 가장 가까운(Euclidean distance 기준) 후보 $k^*$ 를 찾습니다.
$k^*(s, a) = \arg \min_{k \in [K]} \|\hat{a}_k - a\|_2^2$
승자 독식 업데이트 (Winner-only Update): 오직 선택된 '승자(Winner)' 후보 $k^*$ $k^{*}$ 에 대해서만 다음 두 가지 손실을 적용합니다:
- Behavior Cloning (BC): 데이터 행동 $a$ 와 가까워지도록 함 (Support 보존).
- Critic Guidance: 가치 $Q(s, \hat{a}_{k^*})$ 를 높이도록 함 (성능 개선).
책임 전이 (Responsibility Transfer): 학습이 진행됨에 따라 후보들의 위치가 변하면, 특정 데이터 영역을 담당하던 '승자'가 바뀔 수 있습니다. 이를 통해 한 후보는 더 높은 가치 방향으로 이동하고, 다른 후보가 기존의 데이터 영역을 떠맡는 식의 유연한 최적화가 가능해집니다.

3. 주요 기여 (Key Contributions)

새로운 관점 제시: 1-step 추출 과정에서 '잠재 변수-교사 행동' 간의 고정된 대응 관계가 불필요한 제약임을 밝히고, '국소적 행동 지원(Local Support)' 보존이 더 중요함을 논증했습니다.
DROL 알고리즘 제안: 동적 라우팅을 통해 후보군 간의 역할 분담과 책임 전이를 가능하게 하여, 데이터의 분포를 유지하면서도 Critic의 가이드에 따라 자유롭게 성능을 개선할 수 있는 구조를 설계했습니다.
이론적 분석:
- Non-collapse: 승자 독식 방식이 후보군을 한 점으로 붕괴시키지 않고 데이터 분포에 맞춰 분산됨을 증명.
- Handoff Mechanism: 라우팅을 통해 어떻게 행동의 책임이 후보 간에 전이되는지 수학적으로 설명.
- Coverage: 후보군 수 $K$ 가 커질수록 데이터 영역을 커버할 확률이 높아짐을 입증.

4. 실험 결과 (Results)

성능 (OGBench & D4RL):
- OGBench: 1-step 방식임에도 불구하고, 반복적 샘플링을 사용하는 무거운 모델(Iterative policies)과 대등하거나 이를 능가하는 성능을 보였습니다. 특히 antmaze-giant와 같은 복잡한 태스크에서 $K$ 값을 튜닝했을 때 성능이 비약적으로 상승했습니다.
- D4RL: Adroit 태스크에서 FQL과 대등한 성능을 보였으며, AntMaze에서도 강력한 성능을 유지했습니다.
효율성: 추론(Inference) 시에는 여전히 단 한 번의 잠재 변수 샘플링만 사용하므로, 기존 1-step 액터와 동일하게 매우 빠르고 저렴한 실행 비용을 유지합니다.
메커니즘 검증: 시각화 및 지표 분석을 통해 후보군이 붕괴되지 않고 데이터 영역을 나누어 점유(Voronoi partition)하며, $K$ 가 커질수록 데이터 재구성 손실(BC Loss)이 감소함을 확인했습니다.

5. 의의 (Significance)

DROL은 **"효율적인 추론(1-step)"**과 "강력한 성능(Iterative-level)" 사이의 간극을 메우는 실용적인 방법론을 제시했습니다. 기존 방식이 가진 '고정된 대응 관계'라는 족쇄를 풀어줌으로써, 오프라인 데이터의 분포를 존중하면서도 에이전트가 더 높은 보상을 향해 유연하게 탐색할 수 있는 길을 열었다는 점에서 학술적/실무적 가치가 높습니다.