🤖 machine learning

Zero-Shot Off-Policy Learning

이 논문은 후속 측도(successor measures)와 정적 밀도 비율(stationary density ratios) 사이의 이론적 연결을 활용하여 최적의 중요도 샘플링 비율을 추론함으로써, 다양한 벤치마크에 걸쳐 학습 없이 새로운 작업에 적응할 수 있게 하는 제로샷 오프-폴리시(zero-shot off-policy) 학습 방법을 제안한다.

원저자: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 새로운 복잡한 요리법을 배우려고 노력 중이라고 상상해 보세요. 하지만 음식을 맛보는 것도, 새로운 재료를 사는 것도 금지되어 있습니다. 당신에게는 오직 누군가가 수년 전에 적어 내려간, 수천 개의 레시피가 담긴 거대하고 먼지 쌓인 요리책 한 권뿐입니다. 이것이 바로 **제로샷 오프-폴리시 학습(Zero-Shot Off-Policy Learning)**의 과제입니다.

AI의 세계에서 연구자들은 "행동 파운데이션 모델(Behavioral Foundation Models, BFMs)"을 구축하고자 합니다. 이들을 'AI 셰프'라고 생각해 보세요. 이들은 수백만 권의 레시피 북(오프라인 데이터)을 읽었지만, 정작 특정 고객을 위해 실제로 요리를 해본 적은 없습니다(새로운 작업). 고객이 "매콤한 파스타를 원해요"라고 말할 때, AI는 오직 자신이 가진 오래된 책들의 지식만을 사용하여, 시행착오(trial-and-error) 없이 즉각적으로 요리하는 방법을 알아내야 합니다.

문제점: "책 밖의 함정" (The "Out-of-Book" Trap)

이 논문은 현재 AI 셰프들이 작동하는 방식의 주요 결함을 지적합니다.

당신의 AI 셰프가 "매콤한 파스타" 요청을 받았다고 가정해 봅시다. AI는 오래된 책들을 훑어보다가 "매콤한 국수" 레시피를 발견합니다. 그리고 그 레시レシピ를 따르려고 시도합니다. 하지만 여기서 문제가 발생합니다. 그 오래된 책들은 오직 아주 작고 특정한 주방에서만 요리했던 셰프가 작성했을 수도 있습니다. 그 책에는 "물 끓이기"에 대한 지침은 가득할지 몰라도, 그 셰프가 한 번도 해본 적이 없기 때문에 "마늘 다지기"와 같은 지침은 완전히 빠져 있을 수 있습니다.

만약 AI 셰프가 이 새로운 요리를 만들려고 한다면, 데이터가 다루지 않은 부분(마늘 다지기 단계 등)에서 막힐 수 있습니다. 기술적인 용어로, 이는 **분포 변화(distributional shift)**라고 불립니다. AI가 자신의 훈련 데이터가 한 번도 방문하지 않은 "주방"(상태 공간, state-space)의 영역에서 행동을 수행하려고 하는 것입니다. 이로 인해 AI는 터무리한 추측을 하거나, 자신의 계획이 얼마나 훌륭한지를 과대평가하게 되며, 결국 실패하게 됩니다.

해결책: ZOL (Zero-Shot Off-Policy Learning)

저자들은 ZOL이라는 새로운 방법을 제안합니다. 그들은 두 가지 개념 사이의 숨겨진 수학적 연결 고리를 발견했습니다:

계승 측도(Successor Measures): "내가 이 행동을 취하면 어디로 가게 될 것인가?"를 예측하는 방법.
정상 밀도 비율(Stationary Density Ratios): "나의 새로운 계획이 기존의 책들에 있는 행동과 비교했을 때 얼마나 더 (혹은 덜) 가능성이 높은가?"를 측정하는 방법.

창의적 비유: "인기 지도" (The "Popularity Map")

오래된 데이터(요리책)를 교통량이 많은 거리(데이터에서 자주 방문됨)와 텅 빈 흙길(드물게 방문됨)이 있는 도시의 지도라고 상상해 보세요.

기존의 AI: 새로운 목적지가 주어지면, AI는 단순히 그곳을 향해 직선을 긋습니다. 만약 그 선이 본 적 없는 빈 흙길을 가로지른다면, AI는 경험이 없음에도 불구하고 그곳으로 가도 괜찮다고 가정합니다. 그러다 사고를 냅니다.
ZOL (새로운 AI): ZOL은 오래된 책들을 바탕으로 "인기 지도"(밀도 비율)를 만듭니다. 계획을 확정하기 전에 ZOL은 스스로에게 묻습니다. "이 계획이 내가 한 번도 가본 적 없는 흙길을 달려야 하는 것을 요구하는가?"

만약 대답이 "예"라면, ZOL은 단순히 "아니오"라고 말하는 데 그치지 않습니다. 대신, 계획을 재가중치(re-weighting) 합니다. ZOL은 이렇게 말합니다. "좋아, 목적지까지 갈 수는 있어. 하지만 내가 알고 있는 번화하고 잘 포장된 도로에 더 가깝게 경로를 조정하면서, 동시에 목표에 도달해야 해."

작동 원리 (The "Magic Trick")

논문은 AI의 내부 "두뇌"(구체적으로 **순방향-역방향 표현(Forward-Backward representations)**이라 불리는 프레임워크)가 이미 이 "인기 지도"를 만드는 비밀을 품고 있다고 주장합니다.

새로운 훈련 불필요: AI는 직접 요리 연습을 하러 나갈 필요가 없습니다(온라인 상호작용 없음). AI는 초기 "독서" 단계에서 이미 학습한 수학적 원리를 사용합니다.
즉각적인 조정: 새로운 작업이 들어오면, ZOL은 간단한 보정 계수를 계산합니다. 이는 실질적으로 AI에게 다음과 같이 지시하는 것과 같습니다. "네 계획 중 데이터가 없는 부분은 무시하고, 네 경험에 의해 뒷받침되는 부분에 집중해."
결과: AI는 안전하면서도(데이터가 존재하는 영역 내에 머물며) 목표를 달一个할 수 있는 새로운 최적의 경로를 찾아냅니다.

이것이 왜 중요한가

저자들은 가상 인간을 걷게 하거나, 뛰게 하거나, 미로를 통과하게 하는 등의 다양한 "로봇" 작업들을 통해 이를 테스트했습니다.

테스트: 그들은 AI에게 이전에 본 적 없는 새로운 작업(예: "뒤로 걷기")을 주었습니다.
비교: 다른 방법들은 답을 추측하려다 종종 실패하거나 환각(hallucination, 없는 것을 만들어냄) 현상을 보였습니다.
ZOL의 승리: ZOL은 일관되게 더 나은 솔루션을 찾아냈습니다. ZOL은 단순히 추측하는 것이 아니라, 자신의 "도서관"의 한계에 맞춰 전략을 지능적으로 조정하면서도 퍼즐을 해결했습니다.

요약하자면

이 논문은 AI가 연습 없이도 새로운 작업에 즉각적으로 적응할 수 있는 방법을 소개합니다. AI는 새로운 작업이 자신이 가진 데이터가 없는 "낯선 영역"으로 발을 들이게 하는지 수학적으로 체크함으로써 이를 수행합니다. 만약 그렇다면, ZOL은 AI를 익숙하고 안전한 땅으로 부드럽게 밀어 넣어, AI가 미지의 세계에서 충돌하지 않고 문제를 해결하도록 보장합니다. 이는 마치 어떤 길이 포장된 도로이고 어떤 길이 흙길인지 정확히 아는 GPS를 가진 것과 같아서, 지도를 벗어나지 않으면서도 목적지에 안전하게 도착할 수 있도록 즉시 경로를 재탐색해 주는 것과 같습니다.

기술 요약: 제로샷 오프-폴리 학습 (Zero-Shot Off-Policy Learning, ZOL)

1. 문제 정의

본 논문은 행동 파운데이션 모델(Behavioral Foundation Models, BFMs) 패러다임 내에서의 제로샷 오프-폴리 학습(Zero-Shot Off-Policy Learning) 과제를 다룹니다. BFM은 대규모의 라벨이 없는 보상 없는(reward-free) 데이터셋에서 사전 학습되어 재사용 가능한 행동 사전 지식(behavioral priors)을 학습하며, 이를 통해 테스트 시점에 추가적인 학습 없이(예: 텍스트 프롬프트, 목표, 또는 모션 캡처를 통해) 새로운 태스크에 적응할 수 있는 에이전트입니다.

그러나 이러한 추론 기반 적응은 오프-폴리(off-policy) 및 오프라인 강화 학습(RL)에서 발생하는 결정적인 실패 모드인 분포 변화(distributional shift) 문제를 계승합니다.

불일치(The Mismatch): 새로운 태스크 명세에 의해 유도된 정책은 사전 학습 데이터셋에 제대로 표현되지 않았거나 아예 존재하지 않는 상태-행동 영역(Out-of-Distribution, OOD)을 쿼리하게 됩니다.
결과(The Consequence): 표준적인 제로샷 추론(예: 보상 투영을 통한 잠재 벡터 $z$ 선택)은 가치 추정(value estimation) 및 가치 함수 과대평가(value function overestimation)에서 체계적인 오류를 초导致합니다. 에이전트는 외삽된 가치(extrapolated values) 하에서는 최적으로 보이지만, 실제로는 데이터에 의해 지원되지 않는 방문 분포를 유도하는 잠재 벡터를 선택할 수 있으며, 이는 하위 최적(suboptimal)이거나 안전하지 않은 행동으로 이어집니다.
공백(The Gap): DICE(DualDICE, OptiDICE)와 같은 기존 솔루션들은 태스크별 최적화가 필요한데, 이는 "제로샷" 요구 사항과 상충됩니다. ReLA, LoLA와 같은 다른 빠른 적응 방법들은 온라인 환경 상호작용과 온-폴리(on-policy) 롤아웃에 의존하며, 이는 비용이 많이 들고 BFM의 완전한 오프라인 성격을 위반합니다.

핵심 질문은 다음과 같습니다: 태스크별 온라인 최적화 없이, 전체 BFM 유도 정책 군(family of policies)에 대한 최적의 정적 점유 비율(stationary occupancy ratios)을 추정하여, 빠른 테스트 타임 적응을 가능하게 하면서 오프-폴리 병리 현상을 피할 수 있는가?

2. 방법론: 제로샷 오프-폴리 학습 (ZOL)

저자들은 **Successor Measures (SM)**와 Stationary Density Ratios 사이의 간극을 메우는 훈련이 필요 없는(training-free) 테스트 타임 절차인 ZOL을 제안합니다.

이론적 통찰

이 방법은 Successor Measures(SM)를 추정하는 데 사용되는 Forward-Backward (FB) 프레임워크(Touati & Ollivier, 2021)에서 유도된 이론적 연결에 기초합니다.

Successor Measures (SM): SM인 $M^\pi$ 는 정책 $\pi$ 의 할인된 미래 방문(discounted future visitation)을 특징짓습니다. FB 프레임워크에서, successor density $m_\pi$ 는 저계수 인수분해(low-rank factorization)를 통해 근사됩니다: $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$ , 여기서 $F$ 는 포워드 임베딩이고 $B$ 는 백워드 임베딩입니다.
밀도 비율 항등식(Density Ratio Identity): 저자들은 $w_{\pi/\beta} = d_\pi / d_\beta$ (정책의 방문을 데이터셋과 일치시키기 위해 필요한 보정 계수)가 초기 분포 $\rho_0$ 하에서의 기대 successor density와 비례한다는 정확한 항등식(Eq. 9)을 도출했습니다:
$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$
저계수 추정기(Low-Rank Estimator): FB 근사를 항등식에 대입함으로써, 밀도 비율은 백워드 임베딩의 단순한 선형 함수가 됩니다:
$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$
여기서 $W_{\pi_z}$ 는 초기 분포에 대한 기대 포워드 임베딩입니다. 결정적으로, 이 추정기는 **데이터 전용(data-only)**입니다. 즉, 데이터셋 $D$ 에 존재하는 샘플 $(s, a)$ 에 대해서만 평가되므로, 정책이 지원되지 않는 영역에 확률을 할당하지 않도록 보장합니다.

알고리즘

ZOL은 BFM의 사전 학습을 수정하지 않고 세 단계로 작동합니다:

사전 학습(Pretraining): 오프라인 데이터셋에 대해 표준 TD 목적 함수를 사용하여 FB 임베딩( $F$ 및 $B$ )을 학습시킵니다.
잠재 초기화(Latent Initialization): 보상 $r_T$ 가 주어지는 새로운 태스크에 대해, 보상을 백워드 특징에 투영하여 초기 태스크 임베딩 $c_T$ 를 추론합니다: $c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$ .
잠재 최적화(Latent Optimization): 다음의 **정규화된 가중 리턴(regularized weighted return)**을 최대화하도록 잠재 벡터 $z$ $z$ 를 최적화합니다:
$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$
- 가중치 재설정(Reweighting): $w_{\pi_z/\beta}$ 항은 감독(supervision)의 가중치를 데이터셋이 지원하는 영역으로 재설정하여 분포 변화를 보정합니다.
- 정규화(Regularization):
  - $\chi^2$ 패널티: 중요도 가중치(importance weights)의 극단적인 분산을 방지합니다.
  - 신뢰 영역(Trust region, $L_{trust}$ ): 최적화된 잠재 벡터가 초기 태스크 임베딩으로부터 급격히 벗어나는 것을 방지하여 파괴적인 드리프트를 막습니다.
  - 보상 중심화(Reward centering): 상수 보상 오프셋으로 인해 발생하는 사소한 해법(예: "아무것도 하지 않는" 정책)을 방지합니다.

최적화는 시작 상태의 몬테카를로 샘플링을 사용하여 $W_{\pi_z}$ 를 추정하면서 $z$ 에 대한 경사 상승법(Adam)을 통해 수행되며, 초기 상태 샘플링 외에는 환경과의 상호작용을 필요로 하지 않습니다.

3. 주요 기여

이론적 가교(Theoretical Bridge): 본 논문은 Forward-Backward successor representation이 오프-폴리 보정에 필요한 정적 밀도 비율을 암묵적으로 포함하고 있다는 새로운 이론적 연결을 확립했습니다. 이를 통해 사전 학습된 구성 요소로부터 최적의 보정 가중치를 직접 계산할 수 있습니다.
ZOL 알고리즘: 밀도 비율 재가중치를 통해 지원 제약(support constraints)을 명시적으로 강제함으로써, 오프-폴리 과대평가 및 외삽 오류를 완화하는 간단하고, 훈련이 필요 없으며, 상호작용이 필요 없는 테스트 타임 적응 방법을 제공합니다.
실험적 검증: ZOL은 다양한 벤치마크(ExORL, OGBench, SMPL Humanoid)에서 평가되었으며, 특히 롱 호라이즌(long-horizon) 및 고차원 태스크에서 성능과 리턴 측면에서 최신 제로샷 베이스라인(FB, HILP, TD-JEPA) 및 온라인 적응 방법(LoLA, ReLA)을 일관되게 능가했습니다.
절제 및 분석: 표준 제로샷 추론이 지원 편향(support bias)으로 인해 실패하는 반면, ZOL은 유도된 점유(induced occupancy)와 정렬함으로써 태스크 구조를 성공적으로 회복함을 보여주는 최소한의 2D 토이 예제를 제공합니다.

4. 실험 결과

저자들은 세 가지 벤치마크에서 ZOL을 평가했습니다:

ExORL (Deep-Mind Control Suite): ZOL은 Walker, Cheetah, Quadruped, PointMass 도메인 전반에서 베이스라인 대비 일관된 이득을 달しまいました. 특히 롱 호라이즌 태스크와 고차원 도메인(예: Quadruped)에서 눈에 띄는 개선을 보였으며, 환경 롤아웃 없이도 LoLA, ReLA와 같은 온라인 방법보다 우수한 성능을 보였습니다.
OGBench (Long-Horizon Goal-Conditioned RL): 시간적 스티칭(temporal stitching)이 필요한 태스크(예: AntMaze, Cube manipulation)에서 ZOL은 FB 및 다른 베이스라인보다 우수한 성공률을 달성했습니다. 또한 완전히 오프라인 상태에서 작동하면서도 온라인 방법(LoLA/ReLA)과 대등하거나 그 이상의 성능을 보여주었습니다.
SMPL Humanoid (Motion Tracking): 사전 학습된 FB-CPR 모델을 사용하여, ZOL은 AMASS 데이터셋에서 모션 트래킹 성능을 향상시켰으며, 베이스라인인 FB-CPR 추론보다 실질적으로 더 나은 정책을 찾아냈습니다.

모든 벤치마크에서 ZOL은 하이퍼파라미터 선택에 대한 견고성을 입증하였으며, 최소한의 튜닝만을 요구했습니다.

5. 의의 및 주장

본 논문은 오프-폴리 학습과 제로샷 적응 분야를 연결한다고 주장합니다. 주요 의의는 견고한 제로샷 적응이 반드시 값비싼 온라인 상호작용이나 태스크별 최적화를 필요로 하는 것은 아니라는 점을 입증한 데 있습니다.

추론 격차 완화(Mitigating the Inference Gap): 저자들은 BFM의 성능 격차가 모델의 표현 능력 때문이 아니라, 추론 절차 자체의 하위 최적성에서 발생한다고 주장합니다. ZOL은 밀도 비율 재가중치를 통해 적응 과정이 사전 학습 분포에 기반하도록 함으로써 이 문제를 해결합니다.
훈련이 필요 없는 적응(Training-Free Adaptation): 미세 조정(fine-tuning)이나 온라인 롤아웃을 요구하는 방법들과 달리, ZOL은 기존 FB 구조를 활용하여 테스트 타임에 분포 변화를 보정하는 "플러그 앤 플레이(plug-and-play)" 솔루션을 제공합니다.
이론적 정당성(Theoretical Justification): 이 연구는 FB 표현이 왜 오프-폴리 보정에 적합한지에 대한 원칙적인 근거를 제공하며, 휴리스틱한 적응을 넘어섭니다.

한계점: 저자들은 ZOL이 학습된 FB 인수분해의 표현 편향(representational bias)을 물려받는다는 점을 인정합니다. 만약 밀도 비율 추정이 부정확하거나, 다운스트림 태스크가 엄격하게 지원 외(out-of-support) 행동을 지속적으로 요구하는 경우, 이 방법의 보수적인 성격(지원 제약을 강제함)이 성능과 안전성 사이의 트레이드오프를 발생시킬 수 있습니다. 향후 연구 방향으로는 불확실성을 고려한 보정 및 부분 관측 가능(partially observable) 도메인으로의 확장이 포함됩니다.