📊 statistics

Generalized Linear Markov Decision Process

이 논문은 이진 또는 유계 보상 및 부분적 보상 관찰의 문제를 해결하기 위해 보상 모델링과 전이 모델링을 분리함으로써 결측치 대치 없이 모든 가용 전이 데이터를 활용하고, 이를 통해 유한 표본 보장과 개선된 경험적 성능을 제공하는 종단 연구를 위한 새로운 오프라인 강화 학습 프레임워크인 GRASP-MDP를 소개한다.

원저자: Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

게시일 2026-08-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 미로를 탐색하는 법을 가르치려 한다고 상상해 보십시오. 이상적인 세상이라면 로봇은 매 동작마다 "왼쪽으로 회전했고, 코인을 발견했습니다, +10점!"과 같은 완벽한 성적표를 받게 될 것입니다. 하지만 병원이나 소셜 미디어 앱과 같은 현실 세계는 훨씬 더 복잡합니다. 로봇은 바로 다음에 일어난 일(왼쪽으로 회전했고 벽을 마주했다는 사실)은 정확히 볼 수 있지만, 그 특정 동작에 대한 성적표는 누락되었거나, 지연되었거나, 혹은 운 좋게 몇 번의 회전에서만 제공될 수도 있습니다. 이것이 바로 우리가 실시간 시행착오를 통해 배우는 대신, 오래전에 기록된 데이터를 사용하여 AI를 학습시키려는 '오프라인 강화 학습(offline reinforcement learning)'의 과제입니다.

이러한 학습을 가능하게 하기 위해, 과학자들은 종로히 '선형 마르코프 결정 과정(Linear Markov Decision Process)'이라는 수학적 지름길을 자주 사용합니다. 이것을 미로가 단순한 직선으로 이루어져 있다고 가정하는 것으로 생각할 수 있습니다. 즉, 시작 지점과 방향을 알면 다음 지점과 얻게 될 점수를 쉽게 예측할 수 있다는 것입니다. 이는 '점수(보상)'가 단순한 숫자일 때 매우 잘 작동합니다. 하지만 만약 보상이 0에서 10 사이의 환자 건강 점수나, '예/아니오'와 같은 이진 결과처럼 까다로운 것이라면 어떨까요? 이러한 보상은 단순한 직선을 따르지 않고 곡선을 그리며 굽어집니다. 게さらに, 성적표가 누락된 모든 데이터를 버린다면, 우리는 미로가 실제로 어떻게 구성되어 있는지에 대한 귀중한 정보를 잃게 됩니다. 이 논문은 규칙이 곡선 형태이고 성적표가 불완전할 때 로봇을 가르치는 문제를 다룹니다.

이 연구를 이끄는 장시니안(Sinian Zhang)과 동료들은 GRASP-MDP라는 새로운 방법론을 소개합니다. 이것을 미로를 풀기 위한 영리한 두 단계의 탐정 전략이라고 생각할 수 있습니다. GRASP-MDP는 누락된 성적표를 짐작하려 애쓰는 대신(이는 잘못된 추측으로 이어질 수 있습니다), 미스터리를 세상이 움직이는 방식과 보상이 무엇인지라는 두 가지 별개의 단서로 분리합니다.

첫째, 이 방법은 '움직임' 부분에 주목합니다. 특정 회전에 대한 점수를 알지 못하더라도, 우리는 로봇이 한 지점에서 다른 지점으로 이동하는 모습은 여전히 볼 수 있습니다. GRASP-MDP는 점수가 붙어 있든 아니든 이 모든 '이동' 기록을 사용하여 미로의 완벽한 지도를 구축합니다. 이 방법은 이동 규칙을 단순하고 선형적으로 취급하여 수학적 계산을 쉽고 신뢰할 수 있게 만듭니다.

둘째, 이 방법은 '보상' 부분을 다룹니다. 건강 점수나 이진 결과와 같은 보상은 곡선형이며 복잡하기 때문에, 이 방법은 '일반화 선형 모델(Generalized Linear Model)'이라는 특별한 도구를 사용하여 그 곡선에 맞춥니다. 결정적으로, 이 방법은 이 곡선을 파악하기 위해 점수가 실제로 기록된 데이터만을 사용합니다. 누락된 데이터에 대해 점수를 만들어내려 하지 않고, 단지 "여기서의 점수는 모르지만, 미로가 어떻게 작동하는지는 정확히 알고 있다"라고 인정하는 것입니다.

이 두 가지 단서를 분리함으로써, GRASP-MDP는 잘못된 점수를 추측하는 함정을 피합니다. 이 방법은 "점수는 놓쳤을지라도, 이동을 직접 보았기에 경로가 명확하다는 것은 알고 있다"라고 말합니다. 이 논문은 이러한 접근 방식이 데이터를 무시하거나 가설로 빈칸을 채우려 했던 기존의 방법들보다 더 효과적임을 수학적으로 증명합니다.

아이디어를 테스트하기 위해 연구팀은 단순한 보상과 복잡한 보상을 모두 포함한 컴퓨터 시뮬레이션을 실행했습니다. 그 결과, 특히 보상 데이터가 불완전할 때 GRASP-MDP가 이전 방법들보다 일관되게 더 나은 전략을 학습한다는 것을 발견했습니다. 또한 연구팀은 다발성 경화증(MS) 환자 4,295명의 실제 의료 데이터셋에 이를 적용했습니다. 이 시나리오에서 '미로'는 환자의 치료 과정이었고, '보상'은 특정 방문 시에만 확인되는 장애 척도(EDSS)였습니다. 이 방법은 장애 척도가 누락된 방대한 양의 치료 이력(이동 데이터)을 성공적으로 활용하여 더 나은 치료 계획을 권고할 수 있었습니다. 결과적으로, 누락된 점수 데이터를 이동 규칙을 학습하는 데 활용함으로써, AI가 그 데이터를 버렸을 때보다 더 현명한 결정을 내릴 수 있음을 보여주었습니다.

요약하자면, GRASP-MDP는 지저듬고 복잡한 현실 세계의 데이터로부터 학습하는 더 똑똑한 방법입니다. 이 방법은 우리가 (전이 과정을 통해) '무슨 일이 일어났는지'는 알 수 있어도 '그것이 얼마나 좋았는지(보상)'는 모를 수 있다는 사실을 존중하며, 가짜 숫자를 만들어내지 않고도 더 나은, 더 신뢰할 수 있는 의사결정 시스템을 구축하기 위해 그 지식을 활용합니다.

기술 요약: 일반화 선형 마르코프 결정 과정 (GRASP-MDP)

1. 문제 정의

종단적 연구(longitudinal studies), 특히 의료 및 디지털 중재 분야에서의 오프라인 강화 학습(Offline RL)은 서로 연결된 두 가지 과제에 직면해 있습니다:

비선형 보상 구조: 결과값은 흔히 이진형(예: 재발 여부)이거나 유계 연속형(예: 0~10 척도의 장애 점수)이며, 이는 표준 선형 마르코프 결정 과정(Linear MDP)의 선형 보상 가정보다는 일반화 선형 모델(GLM)에 의해 자연스럽게 모델링됩니다.
준지도 데이터 부족(Semi-Supervised Data Scarcity): 상태-행동-다음 상태 궤적(trajectories)은 완전히 기록되는 경우가 많지만, 그에 대응하는 보상 관측치는 일부 궤적이나 특정 시점에만 존재할 수 있습니다. 기존 방법들은 전이 데이터만을 사용하여 (지속 가치를 잃는) 정보 손실을 초래하거나, 검증되지 않은 가정을 도입하는 보상 임퓨테이션(reward imputation)에 의존합니다.

표준 선형 MDP 방법은 비선형 보상이 선형 벨만 재귀(Bellman recursion)를 깨뜨리기 때문에 여기서 실패합니다. 또한 기존의 준지도 접근 방식은 전이 역학(transition dynamics)의 추정과 보상 모델링을 명시적으로 분리하지 않습니다.

2. 방법론: GRASP-MDP

저자들은 보상과 전이 추정을 분리하면서도 다루기 쉬운 벨만 구조를 유지하는 프레임워크인 GRASP-MDP(Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes)를 제안합니다.

2.1 모델 가정

GRASP-MDP는 다음과 같은 하이브리드 구조를 가정합니다:

전이 역학 (Transition Dynamics): 전이 커널은 특징 맵 $\phi_p$ 에 대해 선형성을 유지합니다:
$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$
보상 역학 (Reward Dynamics): 조건부 평균 보상은 알려진 링크 함수 $g$ 를 갖는 일반화 선형 모델(GLM)을 따릅니다:
$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$
여기서 $\phi_r$ 과 $\phi_p$ 는 서로 다른 특징 맵이며, 이를 통해 보상 관련 정보와 전이 관련 정보가 서로 다른 통계적 역할을 수행할 수 있도록 합니다.

2.2 비선형-플러스-선형 벨만 완결성 (Nonlinear-Plus-Linear Bellman Completeness)

핵심적인 이론적 통찰은 비선형 보상이 표준 선형 벨만 클래스를 깨뜨리지만, 이 모델이 비선형-플러스-선형 함수 클래스 $\mathcal{F}$ 를 유도한다는 점입니다:
$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$
저자들은 (Proposition 1에서) 임의의 유계 가치 함수 $V$ 의 벨만 백업(Bellman backup)이 이 클래스 $\mathcal{F}$ 에 속함을 증명합니다. 구체적으로, 백업은 비선형 보상 항과 선형 지속 항으로 분해됩니다. 이러한 구조는 보상이 선형일 필요 없이 명시적인 벨만 완결성을 허용합니다.

2.3 알고리즘: 구성 요소별 비관적 가치 반복 (Componentwise Pessimistic Value Iteration)

학습 절차는 분해된 비관적 가치 반복(Algorithm 1)을 사용합니다:

보상 추정: 보상 파라미터 $\theta_h$ 는 보상이 관측된 데이터의 부분 집합( $I^r_h$ )만을 사용하여 GLM(예: 이항 또는 베타 회귀)을 통해 추정됩니다.
전이 추정: 지속 파라미터 $\beta_h$ 는 보상 관측 여부와 관계없이 사용 가능한 모든 상태-행동-다음 상태 전이( $n + N$ 궤적)를 사용하여 추정됩니다. 이는 릿지 회귀(ridge regression)를 통해 수행됩니다.
비관주의 (Pessimism): 알고리즘은 보상과 전이 구성 요소에 대한 별도의 불확실성 반경을 차감함으로써 비관적 Q-함수를 구축합니다:
$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$
- $\hat{\Gamma}_{r,h}$ 는 GLM 곡률과 보상이 관측된 집합의 크기로부터 유도됩니다.
- $\hat{\Gamma}_{p,h}$ 는 전이 특징 공분산과 총 궤적 수로부터 유도됩니다.

이 접근 방식은 보상 임퓨테이션 없이도 전이 전용 관측치가 전이 추정 오차를 줄여줌을 보장합니다.

3. 주요 기여

이론적 프레임워크: 보상-전이 분리에 의해 유도된 비선형-플러스-선형 함수 클래스에 대한 벨만 완결성 확립.
알고리즘 개발: 보상과 전이 불확실성을 각각 제어하는 구성 요소별 비관적 가치 반복 알고리즘.
유한 표본 보장 (Finite-Sample Guarantees): 학습된 정책의 하위 최적성(suboptimality)이 다음 두 가지 별개의 항에 의해 지배됨을 보여주는 이론적 경계 제시:
- $O(\sqrt{d_r/n})$ 에 비례하는 보상 항 (여기서 $n$ 은 보상이 관측된 궤적 수).
- $O(\sqrt{d_p/(n+N)})$ 에 비례하는 전이 항 (여기서 $n+N$ 은 총 궤적 수).
  이는 전이 전용 데이터( $N$ )가 보상이 누락된 상황에서도 전이 불확실성을 줄임으로써 정책 학습을 개선한다는 것을 입증합니다.
확장성: 본 프레임워크는 단계별 보상 관측(궤적 내에서 무작위로 보상이 누락되는 경우) 및 유한한 평균 범위를 갖는 서브 가우시안(sub-Gaussian) 보상으로 확장 가능함을 보여줍니다.

4. 실험 결과

4.1 시뮬레이션

설정: 실험은 이진 및 유계 연속형(Beta 분포) 보상을 포함한 완전 및 부분 보상 관측 상황을 다룹니다.
결과: GRASP-MDP는 보상이 비선형일 때 선형 MDP 베이스라인(PEVI, Local/Global Q-learning)보다 일관되게 우수한 성능을 보였습니다. 부분 보상 관측 상황에서, 전이 전용 궤적을 유지하는 것이 데이터를 버리거나 레이블된 데이터만을 사용하는 방법보다 정책 성능을 크게 향 향상시켰습니다.

4.2 실제 적용: 다발성 경화증 (MS)

맥락: 전자 건강 기록(EHR)을 사용하여 질병 조절 치료(DMT) 전략을 학습합니다.
데이터: Mass General Brigham EHR 및 CLIMB 레지스트리에서 추출한 4,295명의 환자 코호트입니다. 보상은 확장 장애 척도(EDSS)를 기준으로 하며, 이는 유계(0–10)이고 간헐적으로 관측됩니다(환자-기간의 약 40%에서 누락).
결과: 보상 누락 데이터(전이 전용 궤적 유지)를 활용한 GRASP-MDP 정책은 레이블된 데이터만을 사용하거나 표준 선형 베이스라인을 사용했을 때보다 평균 EDSS 및 EDSS $\le$ 4인 개월 수에 대해 수치적으로 유리한 추정치를 달 achieved 했습니다. 이는 보상 보고가 희소한 임상 환경에서 전이 전용 정보를 활용하는 것의 실질적인 이점을 입증했습니다.

5. 의의 및 주장

본 논문은 구조화되어 있고 간헐적으로 관측되는 결과가 있는 오프라인 RL에 대한 원칙적인 해결책을 제공한다고 주장합니다. GRASP-MDP의 의의는 다음과 같습니다:

계산 및 통계적 효율성 유지: 실세계 데이터에서 흔히 나타나는 비선형 보상 구조를 수용하면서도 선형 MDP의 계산 및 통계적 다루기 쉬움을 유지합니다.
효율적인 데이터 활용: 보상 임퓨테이션에 따른 편향을 피하면서, 전이 전용 관측치를 정책 학습에 사용하는 것을 정당화합니다.
불확실성의 분리: 보상 및 전이 오차를 별도로 제어함으로써, 추가적인 전이 데이터와 추가적인 보상 데이터의 가치를 명확히 구분하는 유한 표본 보장을 제공합니다.

저자들은 이 방법이 보상에 대한 '무작위 결측(missing-at-random)' 및 보상 레이블링된 궤적과 전이 전용 궤적 간의 분포 변화(distribution shift)와 같은 표준적인 가정들에 의존하고 있음을 언급했습니다. 또한, 비무작위 결측(non-ignorable missingness)은 여전히 해결해야 할 과제로 남아 있습니다. 본 프레임워크는 서브 선형 후회(sublinear regret) 보장을 갖는 온라인 확장(GLSVI-UCB)을 지원합니다.