기술 요약: 모델 품질이 사용자 참여에 미치는 영향 식별

1. 문제 제기: LLM 배포에서의 "평가-참여 격차(Eval-Engagement Gap)"

대규모 언어 모델(LLM) 개발 팀은 지속적인 딜레마에 직면해 있다: 오프라인 벤치마크는 성능 향상(예: 코딩 점수 12% 증가)을 안정적으로 측정하고, 배포 후 데이터 또한 사용자 참여의 증가를 보여준다. 그러나 특정 모델 품질 개선과 참여도 상승 사이의 인과 관계를 설정하는 것은 매우 어렵다.

표준적인 실험적 접근 방식은 다음과 같은 "배포 환경"으로 인해 이 맥별 맥락에서 실패한다:

• 동시적 교란 요인(Simultaneous Confounding): 모델 출시가 마케팅 캠페인, 언론 보도 및 계절적 수요 변화와 동시에 발생한다.
• 통제 집단의 부재: 글로벌 롤아웃(Global Rollout)은 노출되지 않은 통제 집단의 존재를 불가능하게 한다.
• 운영상의 제약: 장기 홀드아웃 설계(사용자를 구형 모델에 유지하는 방식)는 유지 관리 비용, 사용자 경험의 파편화, 더 나은 성능을 제공하지 않는 것에 대한 윤리적/실무적 비용 때문에 실행이 어려운 경우가 많다.
• 기존 방법론의 한계: 회귀 불연속 설계(Regression Discontinuity in Time, RDIT)는 미관찰된 교란 요인(예: 마케팅)이 출시 경계에서의 연속성 가정을 위반하기 때문에 실패한다. 표준 매칭 및 이중차분법(Difference-in-Differences, DiD)은 비교 가능한 통제 단위의 부재나 편향된 홀드아웃의 존재로 인해 어려움을 겪는다.

결과적으로, 팀들은 오프라인의 이득이 예측 가능한 라이브 결과로 이어지지 않거나, 반대로 참여도가 모델 품질이 아닌 외부 요인에 의해 상승하는 "평가-참여 격차"를 목격하곤 한다.

2. 방법론: 버전 내 변이 기반 인과 추정량(A Within-Version Causal Estimator)

본 논문은 LLM 배포의 구조적 특징인 역량별 품질 개선의 이질성을 활용하는 식별 전략을 제안한다. 새로운 모델 버전이 전 세계적으로 배포되더라도, 그 품질 개선은 결코 균일하지 않다. 예를 들어 코딩 능력은 크게 향상될 수 있지만, 창의적 글쓰기는 완만하게 향상되거나 정체될 수 있다.

핵심 식별 전략

이 방법은 "경험된 품질(experienced quality)"의 **버전 내 변이(within-version variation)**에 의존한다.

• 논리: 동일한 모델 버전을 사용하는 사용자라도 각자의 태스크 분포에 따라 경험하는 품질 개선의 수준은 다르다. 코딩에 집중하는 사용자는 큰 품질 향상을 경험하는 반면, 소설 작법에 집중하는 사용자는 작은 향상을 경험한다.
• 가정: 이러한 변이는 **외생적(exogenous)**이다. 이는 새로운 모델의 품질에 의한 반응(내생적)이 아니라, 기존의 사용자 선호도와 워크플로우(구조적)에 의해 결정된다.
• DAG (유향 비순환 그래프): 이 접근 방식은 조건부 독립 가정을 공식화한다: $Y_{it}(q) \perp \perp Q^c_{it} | V, X$. 모델 버전($V$)과 기초 사용자 특성($X$)에 대해 조건화한 후, 품질 노출($Q^c$)은 교란되지 않는다.

주요 기술 구성 요소

1. 고정 가중치 설계(Frozen-Weights Design): 역인과관계(사용자가 품질 개선 때문에 태스크를 변경하는 현상)를 방지하기 위해, 이 방법은 **사전 기간 사용 패턴(고정 가중치)**을 사용하여 품질 노출을 계산한다. 이 가중치들은 현재 버전의 품질이 관측되기 전에 고정된 값들이다.
2. 변동 공유 구조(Shift-Share Structure): 노출 지표는 기초 사용자 태스크 가중치와 버전별 글로벌 품질 변화의 내적 곱으로 구성된다. 이는 기초 공유(baseline shares)의 외생성에 의존하는 Bartik (shift-share) 식별 프레임워크와 일치한다.
3. 통계 모델: 이진 주간 결과(예: 활성 일수)에 대해 **일반화 가법 혼합 모델(Generalized Additive Mixed Model, GAMM)**을 적합시킨다.
   • 명세: $E[Y_{it}] = \text{logit}^{-1}(s(Q^c_{it}) + V + s(\text{week}) + u_i + X_i \cdot \delta)$.
   • 통제 변수: 버전 고정 효과($V$)는 모든 버전 간 교란 요인을 흡수한다. 사용자 랜덤 절편($u_i$)과 기초 공변량($X$)은 개인적 특성을 통제한다.
   • 스무딩(Smoothing): 매끄러운 함수 $s(Q^c_{it})$는 비선형 관계의 탐지를 가능하게 한다.
4. 측정 오차 교정: 관찰된 태스크 가중치가 실제 선호도의 노이즈 섞인 대리 지표임을 인정하며, 이로 인해 발생하는 **고전적 변수-오류 편향(classical errors-in-variables bias, 감쇄 효과)**을 다룬다.
   • 교정: 사용자 태스크 가중치의 기간 간 상관관계를 통해 추정된 신뢰도 비율($\hat{\lambda}$)을 사용하는 디스아테뉴에이션(disattenuation) 접근법을 적용한다. 교정된 계수는 $\beta_{KL} = \hat{\beta} / \hat{\lambda}$이다.

3. 검증 및 결과

본 방법론은 알려진 실제값(ground-truth) 인과 효과($\beta = 1.0$ for active days)를 가진 **합성 데이터(synthetic data)**를 사용하여 검증되었다.

회복 성능(Recovery Performance)

• 원시 회복(Raw Recovery): 교정되지 않은 추정량은 실제 주입된 효과의 **81% ~ 88%**를 회복한다. 남은 12~19%의 감쇄는 사용 가중치의 측정 오차에 기인한다.
• 교정된 회복(Corrected Recovery): 디스아테뉴에이션 교정($\hat{\lambda} = 0.861$ 적용)을 적용한 후, 추정치는 1.017 (102% 회복)이 되며, 부트스트랩 신뢰 구간은 **[0.915, 1.109]**로 실제 값인 1.0을 성공적으로 포함한다.
• 표준 접근 방식과의 비교:
  • 표준 로지스틱(버전 통제 없음): **63%**만을 회복한다 (편향: -0.371).
  • 실시간 가중치(내생적): **62%**만을 회복한다.
  • 사용자 DiD / 고정 효과 OLS: 69~78%를 회복하며, 경계가 있는 결과값에 대한 함수 형태의 오지정(misspecification) 문제를 겪는다.

민감도 및 허위 검증(Falsification)

• 사전 기간 길이: 사전 기간이 길어질수록 회복 성능이 단조롭게 개선된다 (3주 시기 78.5% vs 7주 시기 86.7%). 이는 데이터 가용성과 측정 정밀도 사이의 트레이드오프를 보여준다.
• 허위 검증 테스트:
  • 순열 검사(Permutation): 사용자 간 품질 노출을 섞었을 때 아무런 신호가 나타나지 않았다 ($p=0.76$). 이는 본 방법론이 효과를 환각(hallucinate)하지 않음을 확인시켜 준다.
  • 결과 특이성(Outcome Specificity): 방법론은 인과 관계가 주입된 "활성 일수"에서는 효과를 정확히 탐지하지만, 인과 관계가 주입되지 않은 "프롬프트 볼륨"에서는 무효(null) 결과를 반환한다.
• 다중 결과물 캘리브레이션: 본 방법론은 다양한 결과 유형(활성 일수, 이탈 위험, 세션 시간)에 대해 우수한 성능을 보이지만, 선형 디스아테뉴에이션 교정이 특정 오차 구조(Berkson error) 하의 비선형 또는 연속형 결과에 대해 과잉 교정할 수 있음을 언급한다.

4. 주요 기여

1. 새로운 식별 전략: 본 논문은 A/B 테스트 홀드아웃 없이도 이질적인 모델 개선과 고정된 사용자 행동을 활용하여 품질 효과를 분리해내는 버전 내 인과 추정량을 소개한다.
2. 배포 격차 해결: 기업용 AI 환경에서 전통적인 실험이 불가능한 상황에 대한 실질적인 해결책을 제공한다.
3. 측정 오차 처리: 고정 가중치를 실제 선호도의 대리 지표로 사용할 때 발생하는 감쇄 편향을 명시적으로 정량화하고 교정함으로써, 적절한 교정을 통해 완전한 인과적 회복이 가능함을 입증한다.
4. 벤치마킹: 기존의 관찰적 방법들(표준 회귀, 표준 DiD)이 이 특정 배포 맥락에서 인과 효과를 유의미하게 과소 추정(보통 20~25% 포인트 차이)한다는 것을 입증한다.

5. 의의 및 주장

본 논문은 제품 팀이 모델 품질에 대한 인과적 투자 결정을 내릴 수 있도록 돕는 실용적인 비실험적 대안을 제공한다고 주장한다.

• 실행 가능성: 이 접근 방식은 새로운 데이터 수집, 개인정보 침해, 혹은 운영상의 홀드아웃을 요구하지 않는다. 기존의 오프라인 품질 등급과 사용 로그를 활용한다.
• 강건성: 버전 고정 효과가 엄격히 통제되는 한, 다양한 랜덤 시드와 사전 기간 길이에 대해 강건함을 보인다.
• 한계점: 저자는 이 접근 방식이 사용자 태스크 분포가 외생적 도구로서 기능할 만큼 안정적이라는 가정에 의존한다고 겸허히 밝힌다. 실제 상황에서 사용자 선호도의 구조적 변화가 심할 경우, 고정 가중치는 ITT(Intention-to-Treat) 대리 지표 역할을 하게 되어 장기적으로 측정 오차를 증폭시킬 수 있다. 또한, 모델의 모든 카테고리가 동일한 규모로 개선되지 않아야 한다는 전제가 필요하다. 만약 모델이 모든 역량을 정확히 동일한 크기로 개선한다면, 버전 내 변이가 사라져 추정기를 적용할 수 없게 된다.

결론적으로, 본 논문은 모델 개선의 구조적 이질성과 사전 배포 사용자 행동의 외생성을 활용함으로써, 오프라인 벤치마크와 라이브 제품 성과 사이의 간극을 메우고 모델 품질이 사용자 참여에 미치는 인과적 영향을 높은 정밀도로 회복할 수 있음을 보여준다.