Partial Identification under Missing Data Using Weak Shadow Variables from Pretrained Models

기술 요약: 결측이 무작위가 아닌 경우(MNAR)의 LLM 활용: 약한 섀도 변수(Weak Shadow Variable) 접근법

1. 문제 정의

본 논문은 데이터가 결측이 무작위가 아닌(Missing Not at Random, MNAR) 상황에서 모집단 통계량, 구체적으로는 평균 $\theta = E[Y]$를 추정하는 과제를 다룹다. 디지털 및 사회과학 맥락(예: 사용자 피드백, 고객 서비스 리뷰)에서 관측된 결과의 확률은 관측되지 않은 값 자체에 의존하는 경우가 많다. 예를 들어, 극단적인 의견을 가진 사용자는 온건한 경험을 가진 사용자보다 피드백을 남길 가능성이 더 높다.

MNAR 하에서는 관측된 데이터만을 기반으로 한 표준 추정량은 편향(bias)을 갖게 되며, 모집단 평균은 강력하고 종종 검증 불가능한 모수적 가정(예: Heckman 선택 모델)이나 제한적인 보조 변수 조건(예: 완전성을 요구하는 고전적 섀도 변수) 없이는 점 식별(point-identification)이 불가능하다. 저자들은 최소한의 가정 하에서 추정량의 날카로운 경계(sharp bounds)를 특징짓기 위한 부분 식별(partial identification) 프레임워크를 제안하며, 동시에 현대적인 머신러닝 예측을 활용하여 이 경계를 좁히는 방법을 제시한다.

2. 방법론

2.1. 선형 계획법(LP)을 통한 부분 식별
저자들은 먼저 보조 정보 없이 관측된 데이터로부터 평균의 날카로운 경계를 식별하기 위한 기초 프레임워크를 구축한다.

• 분해: 모집단 평균은 관측된 결합 확률 $\alpha(y) = P(Y=y, R=1)$와 관측되지 않은 반응 확률 $\pi(y) = P(R=1|Y=y)$로 분해된다.
• 가용 집합(Feasible Set): $\pi(y)$는 알 수 없는 값이므로, 저자들은 관측된 데이터와 일치하는 확률 분포의 가용 집합을 정의한다.
• LP 정식화: 평균을 찾는 문제는 일련의 선형 계획법 쌍으로 재정식화된다. 목적 함수는 평균을 나타내며, 제약 조건은 관측된 데이터의 확률적 구조를 인코딩한다. 보조 변수가 없는 경우, 이러한 경계는 분석적으로 도출되며 결측 확률에 따라 선형적으로 스케일링된다.

2.2. 약한 섀도 변수(Weak Shadow Variables)
식별 경계를 좁히기 위해, 저자들은 약한 섀도 변수($F$)를 도입한다. 이는 대규모 언어 모델(LLM)의 예측값과 같은 것이다.

• 정의: 변수 $F$는 배제 제약 조건(exclusion restriction)인 $F \perp\!\!\!\perp R \mid Y, X$를 만족하는 약한 섀도 변수이다. 즉, 참된 결과 $Y$와 공변량 $X$가 주어졌을 때, 섀도 변수는 결측 메커니즘에 대한 추가적인 정보를 제공하지 않는다.
• 완전성 완화: 고전적인 섀도 변수 방법과 달리, 이 접근법은 완전성 조건(completeness condition)을 요구하지 않는다 (즉, $F$가 $Y$의 분포를 완전히 식별할 것을 요구하지 않는다). 이를 통해 $Y$와 약하게 상관관계가 있을 뿐인 불완전한 예측 모델(예: LLM)을 사용할 수 있게 한다.
• 정교화된 LP: $F$의 포함은 LP 정식화에 추가적인 선형 제약 조건을 도입한다. 정교화된 식별 영역은 이러한 제약 조건들에 의해 정의된 가용 집합들의 교집합이다. 만약 섀도 변수가 충분히 유익하다면(랭크 조건을 만족한다면) 경계는 단일 점으로 수렴(점 식별)하지만, 그렇지 않다면 좁혀진 구간으로 남게 된다.

2.3. 유한 표본 추정 및 추론
직접적인 플러그인(plug-in) 추정량은 유한 표본에서 부적절할 수 있는데, 이는 표본 제약 조건이 불일치할 수 있는 불가능성(infeasibility) 문제와 비매끄러움(non-smoothness) 문제(추정치의 미세한 변화가 활성 제약 조건을 바꿀 수 있음) 때문이다.

• 국소화된 페널티 추정량(Localized Penalized Estimator): 저자들은 국소화된 페널ized 선형 계획법을 제안한다. 이 방법은 $L_1$ 페널티 항($K\|Aw - \beta\|_1$)을 추가하여 등식 제약 조건을 완화하고, 결정 변수를 유계 박스 $[0, K]$ 내로 제한한다. 이는 실현 가능성(feasibility)과 리프시츠 연속성(Lipschitz continuity)을 보장한다.
• 데이터 기반 튜닝: 데이터 기반 알고리즘이 "인증 갭(certification gap)"을 최소화함으로써 국소화 반경 $K$를 선택하며, 이를 통해 추정량이 모집단 타겟과 일치하면서 불필요한 분산을 피하도록 보장한다.
• 서브샘플링 추론: LP 값 함수가 비매끄럽기 때문에(잠재적인 다중 최적해로 인해), 표준 부트스트랩 방법은 실패한다. 저자들은 식별 영역 끝단의 유효한 신뢰 구간을 구축하기 위해 서브샘플 부트스트랩(Politis and Romano, 1994)을 제안한다. 이 방법은 LP 특유의 "최적해 전환(optimizer-switching)" 동작을 고려한다.

2.4. 민감도 분석
프레임워크에는 배제 제약 조건 위반에 대한 강건성을 정량화하기 위한 민감도 분석(가정 2)이 포함되어 있다. 민감도 파라미터 $\rho$를 도입함으로써, 저자들은 조건부 독립 가정이 근사적으로 성립하도록 허용하며, $\rho$가 증가함에 따라 식별 영역이 단조롭게 확장되도록 한다.

3. 주요 기여

1. 새로운 LP 프레임워크: 본 논문은 보조 예측이 있는 설정과 없는 설정을 통합하는 MNAR 하의 선형 계획법 프레임워크를 도입한다. 이는 기초 사례에 대한 폐쇄형 해(closed-form solution)를 제공하며, 보조 신호가 어떻게 경계를 좁히는지에 대한 분석적 결과를 제공한다.
2. 약한 섀도 변수: 저자들은 완전성 조건을 완화함으로써 섀도 변수 접근법을 일반화한다. 이를 통해 배제 제약 조건을 만족하면서도 단독으로는 점 식별을 생성하지 못하는 "불완전한" 보조 신호(예: LLM 예측)를 사용할 수 있게 한다.
3. 강건한 추정과 추론: 저자들은 국소화된 페널티를 사용하는 실행 가능한 유한 표본 추정량을 개발하고, 서브샘플링 기반 추론 절차를 확립한다. 이 접근법은 $\sqrt{n}$ 수렴 속도를 보장하며, LP에 다중 해가 있거나 표준 부트스트랩이 실패하는 경우에도 유효한 신뢰 영역을 제공한다.

4. 실험 결과

저자들은 시뮬레이션과 실제 고객 서비스 대화 데이터(USS 데이터셋)를 이용한 준합성(semi-synthetic) 실험을 통해 방법을 평가한다.

• 시뮬레이션:

  • 국소화된 페널티 추정량은 파라메트릭 $\sqrt{n}$ 수렴 속도를 달성한다.
  • $K$에 대한 데이터 기반 선택기는 최적의 모집단 반경을 일관되게 회복한다.
  • 서브샘플링 추론은 비가우시안 극한 분포를 올바르게 근사하는 반면, 표준 부트스트랩 방식은 심각한 편향과 잘못된 커버리지(예: 목표 90% 대비 82%)를 보인다.

• 준합성 실험 (LLM 기반 섀도 변수):

  • 프롬프트 설계: 섀도 변수를 생성하기 위해 다양한 LLM 프롬프트 전략(디지털 트윈, 일반 사용자, 서비스 감사관)을 테스트했다. 결과는 탈개인화되고 과업 중심적인 프롬프트(예: "목표 달성 여부"를 평가하는 "서비스 감사관")가 관련성(결과 $Y$와의 상관관계)과 독립성(배제 제약 조건 충족) 사이의 최적의 절충안을 제공함을 보여준다.
  • 성능: LLM 기반의 약한 섀도 변수를 포함하면 섀도 변수가 없는 기본 LP에 비해 식별 구간의 너비가 83% 감소한다.
  • 비교: 제안된 방법(섀도 변수 구간의 중간값 사용)은 평균 절대 오차(MAE) 0.06을 달성하여, 고전적인 MNAR 베이스라인들(완전 사례 분석(CCA), 나이브 임퓨테이션, Heckman 선택 모델, 패턴 혼합 모델)을 크게 앞질렀다. 집합 추정 측면(진리에 대한 Hausdorff 거리)에서 섀도 변수 방법은 1.07(집계된 LP)에서 0.18로 거리를 단축했다.

5. 의의 및 주장

본 논문은 자신의 프레임워크가 전통적인 MNAR 방법론에 대한 강건하고 다루기 쉬운 대안을 제공한다고 주장한다.

• 강건성: 부분 식별 관점을 채택함으로써, 모수적 선택 모델에 내재된 모델 오설정(model misspecification)의 위험을 피한다.
• 실용성: 완벽한 예측 모델을 요구하지 않으면서도 보조 신호로서 성장하는 LLM의 가용성을 활용한다. 섀도 변수의 "약한(weak)" 특성은 고전적 방법의 엄격한 완전성 조건보다 실제 적용 시 더 타당하다.
• 유효성: 제안된 추론 절차는 식별 영역에 대한 유효한 커버리지 보장을 제공하며, LP 추정량의 비매끄러움이 초래하는 통계적 문제를 해결한다.

저자들은 단순한 이진 또는 저차원의 LLM 예측이라 할지라도 식별 경계를 크게 좁힐 수 있으며, 이 접근법이 피드백이 체계적으로 누락되는 플랫폼 평가 및 사회과학 연구에 매우 가치 있다는 결론을 내린다.