기술 요약: 미관측 교란 요인 하에서의 역성향 점수를 이용한 교차 헤드 어텐션 업리프트 네트워크

1. 문제 정의

업리프트 모델링(Uplift modeling)은 개인의 행동에 대한 처치(treatment)의 한계 효과인 개별 처치 효과(Individual Treatment Effect, ITE)를 추정하는 것을 목표로 합니다. 본 논문은 이 영역의 두 가지 주요 과제를 다룹니다:

1. 경직된 그룹 간 모델링: 기존 방법론들은 처치 그룹과 대조 그룹 사이의 내재적 유사성을 활용하는 동시에, 처치로 인한 변화를 충분히 식별해내는 능력을 유지하는 데 어려움을 겪습니다. 많은 접근 방식이 그룹을 독립적으로 취급하거나(공유 구조를 무시함), 동적인 상호작용 메커니즘이 부족한 경직된 멀티 태스크 아키텍처를 사용합니다.
2. 미관측 교란 요인(Unobserved Confounding): 표준 업리프트 모델은 모든 교란 요인이 관측되었다는 "강한 무관성(strong ignorability)" 가정을 따르는 경우가 많습니다. 그러나 복잡한 실제 시스템(예: 광고 입찰)에서는 잠재적 교란 요인이 처치 할당과 결과 모두에 영향을 미칩니다. 이러한 미관측 교란 요인이 존재하는 상황에서, 표준 역성향 점수(Inverse Propensity Score, IPS) 가중치 방식은 편향되지 않은 추정치를 제공하지 못하며, 추가적인 가정이나 데이터 없이는 ITE 식별 가능성(identifiability)이 훼ons됩니다.

2. 방법론

제안된 프레임워크는 아키텍처를 위한 **교차 헤드 어텐션 업리프트 네트워크(Cross-Head Attention Uplift Network, CHAUN)**와 미관측 교란 요인 하에서의 디바이어싱(debiasing)을 위한 **강건한 적대적 역성향 점수(Robust Adversarial Inverse Propensity Score, RA-IPS)**라는 두 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 교차 헤드 어텐션 업리프트 네트워크 (CHAUN)

CHAUN은 어텐션 메커니즘으로 강화된 듀얼 헤드 아키텍처를 통해 그룹 간 상관관계를 유연하게 모델링하도록 설계되었습니다.

• 공유 특징 임베딩: 연속형 및 희소 특징들을 통합된 공유 표현($x_{rep}$)으로 처리합니다.
• 이중 분기 인코딩: 네트워크는 병렬 MLP를 사용하여 처치 특화 표현($x^t_{rep}$)과 대조 특화 표현($x^c_{rep}$)을 생성합니다.
• 교차 헤드 어텐션: 독립적인 예측 헤드 대신, CHAUN은 어텐션 게이트 융합 메커니즘을 사용합니다. 이는 처치 표현과 대조 표현 사이의 내적 유사성을 기반으로 어텐션 가중치를 계산합니다. 이를 통해 모델은 그룹 간 정보를 동적으로 통합할 수 있으며, 각 그룹에 대한 최종 예측은 두 표현의 가중치 결합이 됩니다. 이 설계는 처치 특이적 이질성을 보존하면서도 그룹 간 유사성을 명시적으로 활용합니다.
• 성향 학습: 별도의 성향 학습기(Propensity Learner)는 공유 표현을 사용하여 명목 성향 점수 $\hat{p}(x)$를 추정합니다. $\hat{p}(x) = t$와 같은 병리적 해(pathological solutions)를 방지하기 위해, 기대 역성향 가중치의 합이 1이라는 이론적 성질에 기반하여 전역적 정규화 제약 조건이 부과됩니다.

2.2 강건한 적대적 역성향 점수 (RA-IPS)

진정한 성향 점수 $\pi(x, u)$에 접근할 수 없는 상황에서 미관측 교란 요인을 해결하기 위해, 저자들은 RA-IPS를 제안합니다.

• 이론적 기초: 본 논문은 진정한 성향 점수(미관측 교란 요인 포함)를 알 수 있다면, 교란 요인을 직접 관측하지 않더라도 ITE가 식별 가능하고 IPS 추정치가 편향되지 않음을 증명합니다(정리 1).
• 적대적 정식화: 진정한 성향 점수를 사용할 수 없으므로, RA-IPS는 진정한 성향 점수가 명목 성향 점수 $\tilde{\pi}(x)$의 근방에 존재한다고 가정합니다. 진정한 점수는 로짓 공간(logit space)에서 미관측 교란의 강도를 나타내는 하이퍼파라미터 $\Gamma$에 의해 제한되는 명목 점수의 섭동(perturbation)으로 모델링됩니다.
• 불확실성 집합 및 최적화: 이 방법은 성향 가중치에 대한 불확실성 집합을 정의합니다. 실행 불가능한 가중치 구성을 초래할 수 있는 이전의 강건한 방법들(예: RD-IPS)과 달리, RA-IS는 진정한 가중치의 합이 명목 가중치의 합과 수렴하도록 보장하는 전역적 제약을 도입합니다(대수의 법칙에 기반).
• 최악의 경우 최적화: 모델은 이 제약된 불확실성 집합 내에서 최악의 시나리오를 위해 최적화됩니다. 이는 허용 가능한 가중치에 대해 IPS 손실을 최대화하는 동시에 명목 가중치 분포로부터의 이탈을 억제함으로써 달성되며, 이를 통해 미관측 교란에 대한 강건성을 높입니다.

3. 주요 기여

1. CHAUN 아키텍처: 어텐션을 통해 그룹 간 상호작용을 동적으로 매개함으로써 그룹 간 유사성과 처치 특이적 식별력 사이의 균형을 효과적으로 맞추는 새로운 업리프트 모델링 프레임워크를 제시합니다.
2. 미관측 교란 하에서의 식별 가능성: 진정한 성향 점수에 대한 접근이 미관측 교란 요인이 존재하더라도 ITE 식별 가능성과 편향되지 않은 IPS 추정을 위한 충분 조건임을 입증하는 이론적 증명을 제공합니다.
3. RA-IPS 방법론: 진정한 성향 점수를 필요로 하지 않는 강건한 디바이어싱 기술입니다. 이론적으로 근거가 있는 불확실성 집합 위에서 적대적 학습을 활용하여 미관측 교란 요인으로부터 발생하는 편향을 완화합니다.
4. 실증적 검증: 공개 데이터셋(CRITICO-UPLIFT, LAZADA) 및 생산 환경의 이커머스 데이터셋에 대한 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 CHAUN과 RA-IPS를 최신 베이스라인(S-Learner, T-Learner, TARNet, CFRNet, DragonNet 등 포함)과 비교 평가했습니다.

• 전반적인 성능: CHAUN은 세 가지 데이터셋 모두에서 최신 기술(state-of-the-art) 성능을 달성하였으며, 12개 평가 지표 중 9개(LIFT@30, AUUC, QINI, PUC)에서 1위를 차지했습니다. 특히 베이스라인인 DragonNet과 비교하여 QINI 점수에서 최대 **25.6%**의 상대적 개선을 보였습니다.
• 미관측 교란에 대한 강건성: 특징 마스킹(feature masking)을 통해 미관측 교란을 시뮬레이션한 실험에서, RA-IPS는 표준 IPS 및 RD-IPS 방법보다 우수한 성능을 보였습니다. RA-IPS는 미관측 교란 시나리오에서 표준 IPS 대비 QINI 점수를 최대 5.4% 향상시켰습니다.
• 어블레이션 연구(Ablation Studies): 교차 헤드 어텐션 모듈을 제거하거나(BaseNet) MMoE로 대체했을 때, 특히 고차원 데이터셋에서 성능 저하가 발생하여 CHAUN의 특정 어텐션 메커니즘의 효용성을 입증했습니다.
• 민감도 분석: RA-IPS의 성능은 교란 강도 하이퍼파라미터 $\Gamma$의 작은 값에 대해 안정적이었으나, $\Gamma$가 증가함에 따라 성능이 변동하는 모습을 보여, 교란 강도를 모를 경우 주의 깊은 튜닝이 필요함을 시사했습니다.

5. 의의 및 주장

본 논문은 제안된 방법들이 현재 업리프트 모델링의 결정적인 한계점들을 해결한다고 주장합니다:

• 아키텍처의 유연성: CHAUN은 어텐션을 통해 그룹 간 상관관계를 동적으로 모델링함으로써 기존 멀티 헤드 아키텍처의 경직성을 극복하는 일반화된 프레임워크를 제공합니다.
• 디바이어싱의 이론적 엄밀성: 진정한 성향 점수의 충분성을 확립함으로써, 본 논문은 강건한 디바이어싱을 위한 이론적 토대를 제공합니다.
• 실무적 강건성: RA-IPS는 미관측 교란 요인이 만연하고 진정한 성향 점수에 접근할 수 없는 실제 환경을 위한 실질적인 솔루션을 제공하며, 인과 추론 작업에서 모델의 안정성과 정확성을 크게 향상시킵니다.

저자들은 유연한 어텐션 기반 아키텍처와 적대적 강건성 기술을 결합하는 것이 실제 세계의 인과 추론을 위해 효과적임을 입증했다고 결론짓습니다.