기술 요약: 차이-Q 함수(Difference-of-Q Functions)의 직교 추정을 통한 결정 중심 추상화

1. 문제 정의

오프라인 강화 학습(RL)은 안전성이나 비용 문제로 인해 온라인 실험이 불가능한 경우, 과거 데이터를 사용하여 순차적 의사결정 정책을 평가하고 최적화하는 것을 목표로 한다. 현대의 데이터 소스는 풍부하고 고차원적인 상태 정보(예: 텍ка스트, 이미지)를 제공하지만, 표준 오프라인 RL 알고리즘은 보상 및 행동과 무관한 정보를 포함하는 전체 상태 역학(dynamics)과 가치 함수($Q$ 및 $V$)를 학습하려고 시도하기 때문에 어려움을 겪는 경우가 많다. 이러한 "차원의 저주"는 통계적 학습을 늦추고, 최적의 행동 선택에 영향을 미치지 않는 미래 상태를 예측하는 데 귀중한 데이터를 낭비하게 만든다.

본 논문이 다루는 핵심 문제는 결정 중심 추상화(decision-centered abstractions), 즉 최적의 행동을 결정하는 데 필요한 정보만을 보존하는 단순화된 공간으로 상태 공간을 매핑하는 방법을 식별하고 학습하는 것이다. 구체적으로, 저자들은 서로 다른 행동에 대한 $Q$-함수의 차이($\tau = Q(\cdot, a) - Q(\cdot, a')$)를 보존하는 것이 의사결정에 충분한 반면, 절대적인 $Q$-값을 보존하는 것은 무관한 역학 모델링을 요구할 수 있다고 주장한다.

2. 방법론

2.1 결정 중심 추상화

본 논문은 결정 중심 추상화의 공식적인 정의를 도입한다. 전체 $Q$-함수를 보존하거나 전이를 모델링하는 전통적인 상태 추상화와 달리, 결정 중심 추상화 $\phi_t$는 두 상태가 동일한 추상 상태로 매핑될 때, 임의의 행동 쌍에 대한 $Q$-값의 차이가 일정하게 유지되도록 보장한다.

• 좌표 지지 집합(Coordinate Support): 저자들은 이 차이를 보존하는 데 필요한 최소한의 상태 좌표($K_{\Delta, t}$)를 규명한다. 이들은 **가법적 보상 구조(additive reward structures)**를 통합하여 기존의 그래픽 기준(예: IFactor)을 개선한다. 저자들은 가법적 보상 하에서, 행동 간의 차이를 계산할 때 상쇄되는(예: 제어 불가능한 외생 변수) 보상에 영향을 주는 좌표는 절대적인 상태 값을 예측하는 데 필요하더라도 버릴 수 있음을 보여준다.
• 한계: 저자들은 이러한 추상화가 후회(regret)(차선책을 선택했을 때의 비용)는 보존하지만, 최적 정책을 직접 복구하기 위해 추상화된 공간에서 표준 동적 계획법(Bellman planning)을 지원하지는 않을 수 있다고 언급한다. 대신, 이들은 정책 최적화를 위해 대비 함수(contrast function) $\tau$를 학습하는 데 사용된다.

2.2 차이-Q 함수의 직교 추정

$\tau$를 효율적으로 추정하기 위해, 저자들은 R-learner 프레임워크(Nie et al., 2021; Lewis and Syrgkanis, 2021)에 기반한 **동적 직교 추정기(dynamic orthogonal estimator)**를 제안한다.

• 의사 결과물(Pseudo-outcomes): 이 방법은 벨만 방정식을 재귀적으로 펼쳐서 의사 결과물을 구성한다. 저자들은 다음과 같은 언롤링 깊이 $L \in \{0, \dots, T-t\}$로 매개변수화된 일련의 추정기를 정의한다:
  • $L=0$ (One-step): 즉각적인 보상과 추정된 지속 가치(continuation value) $V_{t+1}$을 사용한다. 이 변형은 미래 $Q$-함수를 추정하는 데 의존하지만, 의사 결과물의 분산을 낮춘다.
  • $L=T-t$ (Full unrolling): 미래의 $Q$-함수를 보상과 미래의 대비 함수로 재귀적으로 대체하여, 종단 가치(terminal value) 추정의 필요성을 제거하지만 잠재적으로 분산을 증가시킨다.
• 직교성(Orthogonality): 손실 함수는 넌스 파라미터(nuisance parameters, 행동 정책 $\pi_b$ 및 의사 결과물의 조건부 평균)에 대해 네이만-직교(Neyman-orthogonal)하도록 설계되었다. 이를 통해 넌스 추정기(예: 행동 정책 또는 $Q$-함수 근사기)가 느린 속도로 수렴하더라도($L_4$ 노름에서 $o_p(n^{-1/4})$), 본 추정기는 $\sqrt{n}$-일치성(consistency)을 달성할 수 있다.
• 교차 적합(Cross-fitting): 넌스 함수와 대상 대비 함수 $\tau$를 추정할 때 과적합을 방지하기 위해 $K$-폴드 교차 적합을 사용한다.

2.3 추상화 회복을 위한 희소 학습

결정 중심 추상화를 자동으로 발견하기 위해, 이 방법은 희소 통계 학습(특히 임계값 LASSO)을 직교 추정기와 결래 통합한다.

• 알고 আল고리즘은 $\tau$에 대한 선형 모델의 계수 벡터 $\beta$의 지지 집합(support)을 식별하기 위해 정규화된 손실(L1 패널티)을 최소화한다.
• 제한된 고유값 조건(restricted eigenvalue conditions)과 "beta-min" 조건 하에서, 이 방법은 높은 확률로 실제 지지 집합의 상위 집합을 회복하며, 선택된 집합의 카디널리티가 실제 지지 집합 크의 두 배로 제한된다는 이론적 보증(Proposition 6)을 제공한다.
• 견고성을 위해 시간 단계 전반에 걸쳐 지지 집합을 집계하는 호라이즌 유니온 스크리닝(horizon-union screening) 규칙이 제안된다.

3. 주요 기여

1. 결정 중심 추상화의 정의 및 특성화: 본 논문은 차이-Q 함수만을 보존하는 추상화를 공식적으로 정의한다. 저자들은 (가법적 보상 하에서의) 그래픽 기준을 제공하여, 이러한 추상화가 모델 보존형 또는 $Q$-보존형 추상화보다 엄격하게 더 단순한 형태가 될 수 있음을 보여주며, 이를 통해 행동과 무관한 상태 역학을 효과적으로 필터링한다.
2. 동적 직교 추정기: 저자들은 순차적 의사결정을 위한 R-learner의 일반화된 버전을 개발한다. 두 가지 변형($L=0$ 및 $L=T-t$)을 도입하여 분산 감소와 미래 가치 추정 오류에 대한 민감도 사이의 트레이드오프를 분석한다. 이 추정기가 넌스 함수 추정에 대한 완만한 조건 하에서도 정책 평가를 위한 최적의 수렴 속도를 달축함을 증명한다.
3. 구조 적응형 정책 학습: 직교 추정과 희소 학습(임계값 LASO)을 결합함으로써, 본 논문은 정책 최적화의 수렴 속도가 전체 상태 차원이 아닌 결정 관련 상태 차원에 의존한다는 보증을 확립한다. 이는 실제 결정 신호가 희소한 고차원 환경에서 효율적인 학습을 가능하게 한다.
4. 이론적 보증: 저자들은 정책 가치 수렴 속도가 전체 상태 차원이 아닌 마진 조건(저노이즈 가정)과 결정 중심 지지 집합의 복잡성에 의존한다는 비점근적 경계(non-asymptotic bounds)를 제공한다.

4. 실험 결과

저자들은 시뮬레이션 데이터와 시뮬레이터가 보강된 실제 데이터(승차 공유)를 통해 접근 방식을 검증한다:

• 구조에 대한 적응: 다양한 데이터 생성 프로세스(보상 필터링, 외생/내생 변수, 비선형 주효과)가 포함된 실험에서, 제안된 임계값-LASSO 차이-Q 추정기는 표준 Fitted-Q Evaluation(FQE) 및 보상 필터링 베이스라인보다 일관되게 우수한 성능을 보였다. 이는 전체 상태 역학이 밀집되어 있거나 잘못 지정된 경우에도 희소한 결정 구조에 성공적으로 적응했다.
• 희소 지지 집합 회복: 120개의 상태 좌표(그 중 3개만 행동 관련)를 가진 선형-가우시안 MDP에서, 제안된 방법은 전체 $Q$ 리지 회귀(ridge regression)에 비해 실제 활성 좌표를 회복하고 정책을 학습하는 데 있어 우수한 소표본 성능을 달성했다.
• 분산 감소: $L=0$과 $L=T-t$ 변형을 비교했을 때, $L=0$ (one-step) 추정기가 더 낮은 분산과 전반적으로 더 나은 정책 개선 성능을 보였으며, 이는 이론적 트레이드오프 분석을 확인시켜 준다.
• 승차 공유 적용: 마르코프 간섭 설정(승차 공유)에서, 이 방법은 컨트롤 변수가 없는 베이스라인에 비해, 그리고 TPG(Truncated Policy Gradient)에 비해 차이-Q의 RMSE를 각각 64%와 34% 감소시켰다. 또한 상태 의존적 정책 개선을 더 빠르게 학습할 수 있게 했다.

5. 의의 및 주장

본 논문은 결정 중심 추상화가 전체 환경 역학을 모델링하는 대신, 행동을 구별하는 데 필요한 특정 정보에 통계적 학습 자원을 집중함으로써 오프라인 RL 최적화를 위한 더 효율적인 경로를 제공한다고 주장한다.

• 인과적 ML과 RL의 가교: 이 연구는 차이-Q 함수를 인과 추론에서의 조건부 평균 처치 효과(CATE)에 대한 순차적 아날로그로 위치시킨다. 넌스 함수(행동 정책 또는 $Q$-함수와 같은)에 대한 블랙박스 추정기를 사용하면서도 정책 가치에 대한 빠른 수렴 속도를 달성할 수 있음을 입증함으로써, 인과적 ML의 직교 추정 기술을 활용하여 순차적 의사결정 문제의 분산 감소 및 강건성을 높일 수 있음을 보여준다.
• 실용적 효율성: 이 방법은 결정 관련 구조가 희소하다면 넌스 파라미터에 대한 블랙박스 추정기를 사용하면서도 정책 가치에 대한 빠른 수렴 속도를 달성할 수 있게 한다.
• 제한적 범위: 저자들은 결정 중심 추상화가 모델 기반 추상화와 달리, 추상화된 공간에서의 표준 동적 계획법이 최적 정책을 반드시 복구한다는 것을 보장하지는 않는다는 점을 인정한다. 대신, 이들의 접근 방식은 정책 최적화(예: 그리디 단계 또는 국소적 개선)를 직접 구동하기 위해 대비 함수 $\tau$를 직접 학습하도록 설계되었다.

요약하자면, 본 논문은 많은 운영적 의사결정 문제에서 "중요한 차이"는 전체 상태 표현보다 훨씬 단순하며, 직교 추정이 제한된 오프라인 데이터로부터 이 차이를 효율적으로 학습할 수 있는 통계적 메커니즘을 제공한다고 주장한다.