기술 요약: 조건부 평균 임베딩을 통한 비모수적 리허설 학습

1. 문제 정의: 원치 않는 미래 회피 (AUF)

본 논문은 모델이 원치 않는 결과를 예측하고 이를 방지하기 위한 효과적인 행동을 식별해야 하는 의사결정 과제인 원치 않는 미래 회피 (Avoiding Undesired Future, AUF) 문제를 다룹니다. 표준 예측 작업과 달리, AUF는 행동 가능 변수 $A$에 대한 의사결정 변경 $a$를 최적화하여 목표 결과 $Y$가 원하는 영역 $S$에 속할 확률 (예: $P(Y \in S | X=x, \text{do}(A=a))$) 을 최대화해야 합니다.

핵심적인 어려움은 관찰 데이터에 내재된 교란 편향에 있습니다. 역사적 기록에는 종종 행동 가능 변수 $A$와 결과 $Y$ 모두에 영향을 미치는 비행동 가능 요인 (교란 변수 $U$) 이 포함되어 있습니다. 따라서 능동적 개입 하의 분포 ($P(Y | X, \text{do}(A=a))$) 는 관찰 조건부 분포 ($P(Y | X, A=a)$) 와 현저히 다릅니다. 기존 솔루션인 리허설 학습 프레임워크와 같은 방법들은 주로 제한적인 모수적 가정 (예: 가산 가우시안 노이즈를 갖는 선형 시스템) 에 의존해 왔습니다. 이러한 가정은 데이터 생성 메커니즘이 비선형적이고 비가산적인 복잡하고 실제적인 시스템에서의 적용 가능성을 제한합니다. 또한, 일부 비선형 확장에서 사용되는 휴리스틱 대리 모델들은 종종 진정한 AUF 목적 함수와 괴리되어 최적이지 않은 의사결정을 초래합니다.

2. 방법론

저자들은 데이터 생성에 대한 특정 함수 형태를 가정하지 않는 최초의 비모수적 리허설 학습 프레임워크를 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다:

A. 불연속적 바람직함을 위한 부드러운 대리 모델

기존 AUF 목적 함수는 불연속 지시 함수 $I(Y \in S)$에 의존하는 확률 $P(Y \in S)$를 최대화하는 것을 포함합니다. 이 함수는 미분 불가능하며 표준 재생 커널 힐베르트 공간 (RKHS) 에 존재하지 않아 직접적인 최적화와 커널 기반 추정이 불가능합니다.

• 해결책: 저자들은 부드러운 Probit 대리 모델 $w_\eta(y)$를 도입합니다. 이는 볼록 다면체 $S$를 정의하는 각 선형 제약 조건에 대한 표준 정규 분포의 누적 분포 함수 (CDF) 의 곱으로 정의되며, 이 대리 모델은 하드 지시 함수를 근사합니다.
• 이점: $w_\eta(y)$는 $C^\infty$-연속성을 가지며, 실현 가능 영역 $S$ 밖에서도 0 이 아닌 기울기를 제공하여 양의 샘플이 부족한 경우 최적화를 돕습니다. 이론적 분석은 근사 오차 상한이 $O(\frac{\sqrt{\ln \eta}}{\eta})$임을 입증합니다.

B. 조건부 평균 임베딩 (CMEs) 을 통한 식별 가능성

모수적 가정 없이 관찰 데이터에서 개입 확률을 추정하기 위해, 이 방법은 **조건부 평균 임베딩 (Conditional Mean Embeddings, CMEs)**을 활용합니다.

• 구조적 분해: 중간 변수 $Z$는 행동 가능 변수 $A$, 변경 전 비행동 가능 교란 변수 $U$, 그리고 변경 후 변수 $U_{post}$로 분해됩니다.
• 식별 가능성: 저자들은 관찰 분포로부터 부드러운 AUF 목적 함수가 중첩된 기대값으로 식별 가능함을 증명합니다:
  $$E_{Y \sim P(\cdot|x, \text{do}(a))}[w_\eta(Y)] = E_{U \sim P(\cdot|x)} [ E_{Y \sim P(\cdot|x, u, a)}[w_\eta(Y)] ]$$
  이 공식화는 교란 변수 $U$에 조건을 부여함으로써 관찰 데이터만을 사용하여 개입 기대값을 계산할 수 있게 합니다.

C. 중첩 커널 릿지 회귀 (KRR) 추정기

저자들은 목적 함수를 계산하기 위해 커널 릿지 회귀 기반의 2 단계 중첩 추정기를 개발합니다:

1. 1 단계 (내부 기대값): 결합 컨텍스트 $(x, u, a)$가 주어졌을 때 대리 모델 $w_\eta(Y)$의 조건부 기대값을 추정합니다. 이는 RKHS $\mathcal{H}_{k_y}$에서 $h=(x,u,a)$가 주어졌을 때 $Y$의 CME 를 추정함으로써 달성됩니다.
2. 2 단계 (외부 기대값): $x$가 주어졌을 때 교란 변수 $U$의 분포에 대한 1 단계 결과의 기대값을 추정합니다. 이는 $\mathcal{H}_{k_x}$에서 $x$가 주어졌을 때 $U$의 CME 를 추정하는 것을 포함합니다.

• 폐쇄형 해: 분해 가능한 커널을 가정할 때, 중첩 추정기는 행동의 특징 매핑에 대한 선형 함수로 단순화됩니다: $\hat{J}_\eta(a; x) = \omega(x)^T k_a(a)$. 가중치 벡터 $\omega(x)$는 교란 변수 $U$의 커널 그램 행렬을 통해 명시적으로 교란을 조정하면서 역사적 바람직함과 컨텍스트 관련성을 통합합니다.
• 최적화: 다중 시작 프로젝션 경사 상승 알고리즘을 사용하여 최적의 변경 $a^*$을 찾으며, 이는 추정된 유틸리티가 높은 역사적 행동에서 초기화됩니다.

3. 주요 기여

1. 비모수적 프레임워크: 특정 모수적 형태에 의존하지 않고 비선형 시스템과 비가산 노이즈를 처리할 수 있는 AUF 를 위한 최초의 비모수적 리허설 학습 접근법 제안.
2. 이론적 보장:
   • 관찰 데이터로부터 부드러운 AUF 목적 함수의 식별 가능성 확립.
   • 중첩 KRR 추정기에 대한 유한 표본 오차 상한 및 일관성 보장 유도.
   • Probit 대리 모델의 근사 오차가 매개변수 $\eta \to \infty$로 갈 때 사라짐을 증명.
3. 실증적 검증: 선형 및 비선형 합성 벤치마크와 당뇨병 관리를 위한 NHANES 2011–2018 데이터에서 구축된 실제 데이터 기반 반합성 벤치마크에 대한 평가.

4. 실험 결과

이 방법은 모수적 리허설 방법 (QWZ23, MICNS, CARE) 과 휴리스틱 비모수적 접근법 (Grad-Rh) 을 포함한 여러 기준선과 비교 평가되었습니다.

• 선형 설정: 선형 가산 가우시안 설정에서 제안된 방법은 이러한 특정 조건에서 이론적으로 최적인 CARE 와 유사한 성능을 보이며, 진정한 모수적 형태를 알지 못함에도 불구하고 다른 기준선들을 능가합니다.
• 비선형 설정: 비선형 합성 설정과 은행 대출 사례에서 제안된 방법은 모든 기준선을 현저히 능가하여 복잡한 메커니즘에 대한 뛰어난 적응력을 입증했습니다.
• NHANES 벤치마크: 반합성 당뇨병 데이터셋에서 이 방법은 0.402(행동 없음) 의 기준선 AUF 확률을 0.596으로 향상시켜, 다른 모든 적응 행동 방법들을 능가했습니다.
• 교란 분석: 은행 대출 시나리오에 대한 사례 연구는 교란을 고려하지 않는 방법 (순수 조건부 기대값 사용) 이 기준선 대비 성공 확률을 실제로 감소시키는 최적이지 않은 행동을 제안했음을 보여주었습니다. 제안된 중첩 추정기는 교란 구조를 명시적으로 모델링함으로써 최적의 개입을 올바르게 식별했습니다.

5. 중요성과 주장

본 논문은 전통적인 모수적 가정이 실패하는 복잡하고 비선형적이며 비가산적인 환경으로 리허설 학습을 확장하는 데 그 주요 의미가 있다고 주장합니다. 조건부 평균 임베딩과 부드러운 대리 목적 함수를 활용함으로써, 이 접근법은 관찰 데이터에서 직접 학습 가능한 이론적으로 근거된 비모수적 솔루션을 제공합니다.

저자들은 그들의 방법이 진정한 AUF 목표와 불일치할 수 있는 휴리스틱 대리 모델의 함정과 모델 오명세로 인한 모수적 모델의 한계를 피한다고 강조합니다. NHANES 당뇨병 벤치마크에 대한 성공적인 적용은 의료 개입 및 금융 대출과 같이 시행착오 탐색이 금지되고 데이터가 순수하게 관찰적인 고위험 실제 의사결정을 위한 이 프레임워크의 잠재력을 부각시킵니다. 이 연구는 근본적인 데이터 생성 과정에 대한 강력한 구조적 가정을 요구하지 않는 불확실성 하의 의사결정을 위한 새로운 기준선을 확립합니다.