🤖 machine learning

STITCH-OPE: Trajectory Stitching with Guided Diffusion for Off-Policy Evaluation

STITCH-OPE는 가이드된 확산(guided diffusion)과 궤적 스티칭(trajectory stitching)을 활용하여 고차원, 장기 호라이즌 설정에서 기존 오프-폴리시 평가(off-policy evaluation) 방법의 한계를 극복하고, 분산을 크게 줄이고 정확도를 향상시킨 모델 기반 생성 프레임워크이다.

원저자: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hossein Goli, Michael Gimelfarb, Nathan Samuel de Lara, Haruki Nishimura, Masha Itkina, Florian Shkurti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비디오 게임을 하는 법을 가르치려 한다고 상상해 보세요. 하지만 로봇이 실제로 현실 세계에서 게임을 직접 플레이하게 할 수는 없습니다. 아마도 그 로봇은 너무 비싸거나, 혹은 그 게임이 너무 위험할 수도 있기 때문입니다. 대신, 당신에게는 다른 로봇(이하 "Old Bot")이 게임을 플레이하는 모습을 담은 오래된 영상 기록물이라는 거대한 도서관이 있습니다. 당신의 목표는 이 오래된 기록들을 보고 나서, 새로운 로봇("New Bot")이 얼마나 잘할지를 알아내는 것입니다. 이것을 **오프 폴리시 평가(Off-Policy Evaluation, OPE)**라고 부릅니다.

문제는 Old Bot과 New Bot이 매우 다르게 플레이할 수 있다는 점입니다. 만약 New Bot이 Old Bot이 한 번도 해본 적 없는 행동을 시도한다면, 그 오래된 기록들은 쓸모가 없게 됩니다. 만약 당신이 단순히 예전 데이터를 늘리고 줄여서 New Bot의 점수를 추측하려 한다면, 특히 길고 복잡한 게임의 경우 수학적 계산이 엉망이 되고 혼돈 속으로 폭발해 버릴 것입니다.

여기, 영리한 영상 편집자이자 창의적인 감독 역할을 하는 새로운 방법인 STITCH-OPE가 등장합니다.

기존 방식들의 문제점

이 문제를 해결하려는 이전의 시도들은 마치 영화 전체를 예측하기 위해 시작부터 끝까지 모든 프레임을 한 번에 거대한 도약으로 예측하려는 것과 같았습니다.

"중요도 샘플링(Importance Sampling)" 접근법은 마치 고장 난 영화의 볼륨을 조절하기 위해 모든 프래임의 볼륨을 엄청나게 큰 숫자로 곱하는 것과 같았습니다. 영화가 길어지면 볼륨이 너무 커져서 스피커를 깨뜨려 버립니다(분산 폭발).
"모델 기반(Model-Based)" 접근법은 세상을 완벽하게 시뮬레이션하는 모델을 만드는 것과 같았습니다. 하지만 첫 1초에서 아주 작은 실수만 저질러도, 그 실수는 매 초마다 점점 더 커져서 결국 끝에 가서는 시뮬레이션이 완전히 틀려버리게 됩니다.

STITCH-OPE의 솔루션: "레고" 전략

STITCH-OPE는 긴 영화를 작고 관리 가능한 덩어리로 나눔으로써 게임의 판도를 바꿉니다. 긴 레고 다리를 만드는 것을 생각해 보세요. 다리 전체를 한꺼번에 끼워 맞추려고 하면 어렵고 부러지기 쉽지만, 대신 작은 조각들을 하나씩 만들어서 한 섹션의 끝을 다음 섹션의 시작과 연결하는 방식입니다.

작동 방식은 다음과 같습니다:

"숏 클립(Short-Clip)" 편집자:
STICH-OPE는 한 번에 전체 10분짜리 영상을 생성하는 모델을 훈련시키는 대신, 게임의 짧은 클립만을 생성하는 "디퓨전 모델(Diffusion Model, 무작위 노이즈 상태에서 선명한 이미지를 만들어내는 똑똑한 AI)"을 훈련시킵니다. 예를 들어, 8초짜리 클립을 생성하도록 학습하는 것입니다. 이 모델은 지저지고 노이즈가 섞인 버전의 클립을 받아, 그것이 마치 실제 Old Bot이 할 법한 움직임처럼 보일 때까지 깨끗하게 다듬는 법을 배웁니다.
"스티칭(Stitching)" 기술:
긴 영상을 만들기 위해 STITCH-OPE는 한 번에 모든 것을 생성하지 않습니다. 먼저 8초짜리 클립 하나를 생성하고, 멈춘 뒤, AI에게 이렇게 묻습니다. "자, 네가 방금 이 지점에서 끝났어. 그럼 이제 바로 이 지점에서 시작하는 다음 8초짜리 클립을 생성해 줘." 이렇게 짧은 클립들을 끝과 끝을 이어 붙여서 만듭니다.

왜 멋진가: 만약 AI가 첫 번째 클립에서 작은 실수를 하더라도, 그것이 전체 영화를 망치지 않습니다. AI는 마지막 클립이 실제로 끝난 지점을 기준으로 다음 클립을 조정하기 때문입니다. 이는 다른 방법들을 괴롭히는 "오류 폭발"을 막아줍니다.

"감독의 가이드(Director's Guidance)" (비법 소스):
이제 우리는 이 클립들이 단순히 Old Bot이 하는 행동이 아니라, New Bot이 할 법한 행동처럼 보이게 만들어야 합니다. AI에게는 "New Bot이 무엇을 좋아하는지"를 알려주는 "스코어 함수(Score Function)"가 있습니다.

함정: 만약 당신이 단순히 AI에게 "New Bot이 좋아하는 대로 해"라고 말한다면, New Bot의 스타일이 Old Bot과 완전히 다르기 때문에 AI는 혼란에 빠져 불가능한 동작을 만들어낼 수 있습니다.
해결책: STITCH-OPE는 "부정적 가이드(Negative Guidance)" 기술을 사용합니다. AI에게 이렇게 말하는 것입니다. "New Bot이 좋아하는 것을 하되, 동시에 Old Bot이 사랑했던 것들은 빼라."
비유: 당신이 장면을 연출하고 있다고 상상해 보세요. Old Bot은 원을 그리며 춤추는 것을 좋아합니다. New Bot은 직선으로 달리고 싶어 합니다. 만약 당신이 그냥 "직선으로 달려"라고만 말한다면, 배우는 길을 잃을 수 있습니다. 하지만 "원을 그리며 춤추지 말고, 그다음 직선으로 달려"라고 말한다면, 배우는 무엇을 피해야 하는지 정확히 알게 됩니다. 이는 AI가 Old Bot의 움직임이라는 "편안한 구역(Comfort Zone)"에 갇히는 것을 방지하고, New Bot의 스타일을 탐색하도록 강제합니다.

수치가 말해주는 것

저자들은 D4RL과 OpenAI Gym이라는 유명한 로봇 제어 작업(로봇이 뛰거나, 걷거나, 달리는 등의 작업)을 통해 이 모델을 테스트했습니다. 큰 로봇들을 위해 게임 길이를 768 스텝으로 설정했고, 작은 로봇들을 위해서는 256 또는 196 스텝으로 설정했습니다.

결과는 유망했습니다:

정확도: STITCH-OPE는 15가지 특정 테스트 케이스 중 11가지에서 다른 거의 모든 방법을 이겼습니다.
순위 선정: 심지어 로봇들이 기록물 속의 로봇과 매우 다르더라도, 어떤 로봇이 "최고"인지 찾아내는 데 매우 뛰어난 성능을 보였습니다.
"윈도우(Window)" 크기: 그들은 클립의 길이를 8(윈도우 크기 $w$ )로 생성하는 것이 최적의 지점(Sweet Spot)이라는 것을 발견했습니다. 이는 실수 없이 조각들을 이어 붙이기 위한 균형을 맞춘 결과입니다.

아직 모르는 것들 (현재)

논문은 이 기술이 모든 것에 적용되는 마법의 지팡이는 아니라고 신중하게 밝히고 있습니다.

"불가능한" 움직임: 만약 New Bot이 Old Bot이 한 번도 해본 적 없는 행동(예를 들어, Old Bot은 땅 위를 걷기만 하는데 New Bot은 절벽에서 뛰어내리는 행동)을 하려고 한다면, AI는 혼란에 빠져 가짜의 불가능한 움직임을 만들어낼 수 있습니다. 이 수학적 모델은 Old Bot이 New Bot이 하는 일의 최소한의 일부라도 경험했다는 것을 전제로 합니다.
현실 세계의 복잡성: 컴퓨터 시뮬레이션에서는 잘 작동하지만, 저자들은 데이터가 불완전하거나 로봇이 모든 것을 명확하게 볼 수 없는 지저분한 "실제 현실 세계"의 문제에서도 이 방식이 완벽하게 작동할지는 아직 확신할 수 없다고 인정했습니다.

결론

STITCH-OPE는 길고 두려운 문제들을 작고 엮을 수 있는 조각들로 나누고, AI를 가이드하기 위해 "그건 하지 마"라는 영리한 규칙을 사용하는 것만으로도, 실제 세계에 접촉하지 않고도 새로운 로봇의 성능을 훨씬 더 잘 예측할 수 있음을 시사합니다. 이는 높은 위험이 따르는 상황에서 로봇을 안전하게 테스트하기 위한 큰 진전이지만, 저자들은 이것이 여전히 시뮬레이션 기반의 성공이며, 실제 세계 테스트가 다음 개척지가 될 것임을 강조합니다.

기술 요약: STITCH-OPE

문제 정의

오프폴리시 평가(Off-Policy Evaluation, OPE)는 서로 다른 행동 정책( $\beta$ )으로부터 수집된 오프라인 데이터를 사용하여 타겟 정책( $\pi$ )의 성능을 추정하는 것을 목표로 합니다. 이는 온라인 상호작용이 비용이 많이 들거나 위험한 로보틱스 및 의료 분야와 같은 도메인에서 매우 중요합니다. 그러나 기존의 OPE 방법들은 다음과 같은 두 가지 주요 실패 모드로 인해 고차원, 장기 호라이즌(long-horizon) 문제에서 어려움을 겪습니다:

중요도 샘플링(Importance Sampling, IS): 평가 호라이즌이 길어짐에 따라 분산이 기하급수적으로 증가하는 "호라이즌의 저주(curse of horizon)" 문제를 겪습니다.
모델 기반 방법(Model-Based Methods): 샘플 효율성은 높지만, 긴 궤적에 대한 역학 모델(dynamics models)을 학습할 때 발생하는 **누적 오차(compounding errors)**로 인해 가치 추정이 부정확해질 수 있습니다.
분포 변화(Distribution Shift): 행동 정책 $\beta$ 와 타겟 정책 $\pi$ 사이의 차이는 부정확한 추정을 초래하여, 배포 전 정책 선택을 신뢰하기 어렵게 만듭니다.

모델 프리 밀도 비율 추정(model-free density ratio estimation)을 사용하는 최근의 시도들은 행동 정책과 타겟 정책이 크게 다를 경우 낮은 경험적 성능을 보여왔습니다.

방법론: STITCH-OPE

저자들은 **디노이징 확산 모델(denoising diffusion models)**을 활용하는 모델 기반 생성 프레임워크인 STITCH-OPE(Sub-Trajectory Importance-Weighted Trajectory Composition for Long-Horizon OPE)를 제안합니다. 핵심 혁신은 행동 데이터로 학습된 확산 모델을 가이드하여 타겟 정책의 합성 궤적을 생성하되, 전체 궤적 생성 시 발생하는 누적 오차를 피하는 데 있습니다.

1. 분포 변화 수정을 위한 가이드 확산(Guided Diffusion)

새로운 타겟 정책마다 모델을 다시 학습시키는 대신, STITCH-OPE는 행동 데이터셋( $D_\beta$ )에 대해 사전 학습된 확산 모델을 사용하여 행동 궤적 분포 $p_\beta(\tau)$ 를 학습합니다. 추론 과정에서는 디노이징 과정을 가이드함으로써 타겟 정책 궤적( $p_\pi$ )을 생성합니다.

가이드 함수 $g(\tau)$ 는 타겟 정책과 행동 정책 사이의 우도 비(likelihood ratio)로부터 유도됩니다. 저자들은 이 우도 비를 확산 가이드에서의 분류 밀도로 해석하여, 가이드를 다음과 같이 스코어 함수의 차이로 정식화했습니다:
$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$
이를 통해 모델은 재학습 없이 $p_\beta$ 로부터 $p_\pi$ 로 샘플링 분포를 이동시킬 수 있습니다.

2. 음의 행동 가이드(Negative Behavior Guidance)

핵심적인 기술적 기여는 음의 행동 스코어 항( $-\nabla_\tau \log \beta$ )의 포함입니다.

문제: 타겟 정책 스코어( $\nabla_\tau \log \pi$ )만을 사용하면 가이드된 샘플링 분포가 타겟 정책 하에서 발생 가능성이 낮더라도 행동 정책의 고밀도 영역으로 붕괴(collapse)될 수 있습니다(과잉 정규화).
해결책: 행동 스코어를 빼줌으로써 이러한 붕괴를 방지하고, 모델이 데이터 외 영역(out-of-data)으로 일반화하며 분포 변화를 올바르게 다룰 수 있도록 보장합니다. 저자들은 상대적 중요도를 조절하기 위해 계수 $\alpha$ 와 $\lambda$ (일반적으로 $\lambda < \alpha$ )를 사용하여 이를 일반화했습니다.

3. 조건부 확산을 통한 궤적 스티칭(Trajectory Stitching with Conditional Diffusion)

장기 호라이즌 생성의 누적 오차 문제를 해결하기 위해, STITCH-OPE는 전체 궤적을 한 번에 생성하지 않습니다. 대신:

하위 궤적 생성(Sub-Trajectory Generation): 확산 모델은 길이가 $w \ll T$ 인 짧은 하위 궤적에 대해 학습됩니다.
조건부 샘플링(Conditional Sampling): 생성은 준-자기회귀(semi-autoregressive) 방식으로 수행됩니다. 모델은 이전에 생성된 하위 궤적의 최종 상태를 조건으로 하여 다음 하위 궤적을 생성합니다.
스티칭(Stitching): 이러한 부분적인 롤아웃(rollouts)들을 엔드 투 엔드로 스티칭하여 전체 길이의 궤적을 형성합니다.

이 접근 방식은 행동 궤적 분포를 하위 궤적들의 혼합(mixture)으로 취급합니다. 전체 히스토리가 아닌 직전의 상태만을 조건으로 함으로써, 모델은 더 높은 엔트로피와 행동 데이터의 더 넓은 커버리지를 유지하며, 이는 구성성(compositionality)과 새로운 초기 상태에 대한 일반화 능력을 크게 향提升시킵니다.

이론적 보장

논문은 STITCH-OPE 추정기의 평균 제곱 오차(MSE)에 대한 이론적 경계(Theorem 3.3)를 제공합니다.

완만한 가정(유계된 우도 비 및 학습된 행동 모델의 유계된 오차) 하에서 MSE는 유계됩니다.
결정적으로, 이 경계는 전체 호라이즌 $T$ 가 아니라 하위 궤적 길이 $w$ 에 의존합니다.
결과적으로 표준 중요도 샘플링(표준 IS는 $O(\exp(T))$ 로 스케일링됨)에 비해 분산을 지수적으로 감소시키며, 전체 궤적 확산 방법( $O(T^2)$ )보다 더 유리한 다항식 의존성을 가집니다.

경험적 결과

저자들은 D4RL 벤치마크(Hopper, Walker2d, HalfCheetah)와 OpenAI Gym(Pendulum, Acrobot)에서 STITCH-OPE를 평가했습니다.

성능: STITCH-OPE는 다양한 지표에서 15개 사례 중 11개에서 최신 베이스라인(Fitted Q-Evaluation, Doubly Robust, Importance Sampling, Policy-Guided Diffusion 포함)을 능가했습니다:
- Log RMSE: 오차의 유의미한 감소.
- Rank Correlation: 타겟 정책을 올바르게 순위 매기는 능력 향상.
- Regret@1: 최적의 정책을 선택하는 데 있어 낮은 후회(regret).
확산 정책(Diffusion Policies): 이 방법은 명시적인 확률 분포가 없어 다른 추정기들이 어려움을 겪는, 확산 모델로 정의된 복잡한 타겟 정책을 성공적으로 평가했습니다.
Ablation 연구: 실험을 통해 최적의 성능은 작은 윈도우 크기( $w=8$ )와 음의 행동 항이 존재하는 가이드 구성( $0 < \lambda < \alpha$ )에서 발생함을 확인했습니다.

의의 및 주장

본 논문은 STITCH-OPE가 고차원, 장기 호라이즌 작업에서 견고한 오프폴리시 평가를 입증한 첫 번째 연구라고 주장합니다. 그 의의는 다음과 같습니다:

간극 해소: 궤적 스티칭을 통해 궤적의 충실도(fidelity)를 높임으로써 모델 기반 OPE(샘플 효율성)와 전체 궤적 오프라인 확산(생성 능력) 사이의 간극을 성공적으로 메웠습니다.
확장성: IS 방법에서 나타나는 지수적 분산 폭발 없이 고차원 공간에서 확산 모델을 OPE에 적용할 수 있음을 보여주었습니다.
일반화: 조건부 확산과 음의 행동 가이드의 결합을 통해, 초기 상태나 행동 분포가 행동 정책과 크게 다른 타겟 정책에 대해서도 견고한 평가를 가능하게 합니다.

저자들은 방법론의 한계에 대해 겸허한 태도를 유지하며, 이 방법이 행동 데이터가 타겟 정책의 서포트(support)를 포함한다는 가정(Assumption 3.1)에 의존한다는 점과, 복잡하고 부분적으로 관측 가능한 상태에서 궤적의 충실도를 평가하는 것이 여전히 도전 과제라는 점을 언급했습니다. 또한 로보틱스 이외의 도메인 특화 문제에 대한 적용 가능성도 향후 과제로 남겨두었습니다.