기술적 요약: 로그의 부분적 증언: 교란된 모델 선택 하의 언어 모델 생성 평가

문제 정의

언어 모델 (LLM) 의 오프라인 평가는 점점 더 실제 배포 환경에서 수집된 사용 로그, 선호도 데이터, 그리고 판정자 주석에 의존하고 있습니다. 그러나 모델 선택이 사용자 주도일 경우, 이러한 로그는 **교란 (confounding)**의 영향을 받습니다. 즉, 사용자가 어떤 모델을 선택하는지에 영향을 미치는 동일한 관찰되지 않은 사용자 측 요인 ($U$) 이 해당 모델의 출력에 대한 판정에도 영향을 미친다는 것입니다. 결과적으로, 기록된 점수의 단순 비교는 공통의 인과적 관심량을 추정하는 대신, 자기 선택된 하위 집합들을 혼합하게 됩니다.

무작위 실험 (EXP) 은 모델 선택을 덮어쓰는 방식으로 이러한 편향을 깨뜨릴 수 있지만, 실제 상황에서는 종종 희소하고 비용이 많이 들며 방해가 됩니다. 대규모 편향된 관찰 샘플과 소규모 무작위 샘플을 결합하는 기존 문헌은 일반적으로 단위별 결과가 두 샘플 모두에서 관찰된다고 가정합니다. 그러나 LLM 평가에서는 "결과 (generated text)"가 먼저 후보 모델들에 대해 재생성된 후에야 점수가 매겨질 수 있으므로, 무작위 샘플에서도 목표 결과가 직접 관찰되지 않는다는 추가적인 복잡성이 존재합니다.

방법론: 세 가지 소스 설계

본 논문은 이 문제를 **식별 (인과값 회복)**과 **추정 (오차 감소)**으로 분리하여 해결하기 위한 세 가지 소스 설계를 제안합니다.

데이터 소스

1. 관찰 로그 (OBS): 자기 선택된 모델 선택, 맥락, 출력, 그리고 결과에 대한 대규모 데이터셋입니다. 이는 규모와 보조 감독을 제공하지만 교란된 상태입니다.
2. 무작위 실험 (EXP): 모델 선택이 무작위화되어 실현된 출력에 대한 교란되지 않은 결과 레이블을 제공하는 소규모 데이터셋입니다.
3. 오프라인 시뮬레이터 (SIM): 캐시된 맥락에서 후보 모델을 재생성하여 원래 선택과 관계없이 모든 모델에 대한 반사실적 출력 (매개변수) 을 생성하는 메커니즘입니다.

인과 구조 및 가정

이 프레임워크는 관찰된 맥락 ($X$), 잠재적 사용자 상태 ($U$), 선택된 모델 ($A$), 생성된 출력 ($M$), 그리고 결과 ($Y$) 를 포함하는 인과 그래프를 사용하여 시스템을 모델링합니다. 주요 가정은 다음과 같습니다:

• A1 (무작위화): EXP 에서 $A \perp U | X$입니다.
• A2 (SIM 유효성): 시뮬레이터는 개입 매개변수 분포 $P(M | X, do(A=a))$를 정확하게 매칭합니다.
• A3 (결과 일관성): 조건부 결과 법칙 $P(Y | X, M, U)$은 OBS, EXP, 그리고 개입 세계 전반에 걸쳐 불변입니다.
• A4 (잠재 매개변수 교란 부재): $(X, A)$를 조건으로 할 때, $U \perp M$입니다. 이는 프레임워크를 단일 라운드, 상태 없는 생성으로 제한합니다.
• A5 (맥락 정렬): 목표 맥락 분포는 EXP 맥락 분포와 일치합니다.

식별 정리

본 논문의 핵심 이론적 결과 (정리 1) 는 SIM 과 EXP 가 인과적 모델 값을 식별하는 데 공동으로 충분하며, 식별을 위해 OBS 는 불필요함을 입증합니다.

• 무작위 실험은 편향되지 않은 점수 매기기 규칙 $r^*(x, m) = E[Y | X=x, M=m, EXP]$을 식별합니다.
• 시뮬레이터는 개입 매개변수 분포 $p_{sim}(m | x, a)$를 제공합니다.
• 인과적 값은 시뮬레이션된 매개변수 분포에 걸쳐 점수 매기기 규칙을 적분함으로써 회복됩니다:
  $$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$$
  $$\mu(a) = E_{X}[q(X, a)]$$
  관찰 로그 (OBS) 는 인과적 비교를 검증하기 위해가 아니라, 식별 이후에 통계적 효율성을 높이기 위해 (분산을 줄이기 위해) 만 참여합니다.

추정기 군집

목표가 식별되면, 본 논문은 OBS 를 활용하여 추정 오차를 줄이는 방식이 서로 다른 여섯 가지 추정기 군집을 평가합니다:

1. EXP-Only: 무작위화된 결과만을 사용하여 보상 모델을 적합합니다. 편향은 없으나 EXP 가 작을 경우 분산이 높습니다.
2. OBS-Only: 기록된 결과를 기반으로 보상 모델을 적합합니다. 분산은 낮으나 교란 편향을 계승합니다.
3. Representation-EXP: OBS 보조 레이블을 사용하여 저차원 대리 표현 $\psi$를 학습한 후, EXP 데이터를 사용하여 $\psi$에 대해 보상 헤드를 적합합니다.
4. Grounded: OBS 로 훈련된 기준 예측기 $f_{OBS}$로 시작하여 EXP 를 사용하여 대리 공간에서 교정 항을 학습합니다.
5. CVCI (교차 검증 인과 추론): OBS 와 EXP 회귀 문제를 직접 통합하고, EXP 에서의 인과적 교차 검증을 통해 통합 가중치 $\lambda$를 선택합니다.
6. CVCI-Residual: OBS 기준 ($Y - f_{OBS}$) 주변에서 목표를 잔차화하고, 잔차 적합을 대리 공간에서 통합합니다.

실증 결과

저자들은 이러한 추정기들을 통제된 반합성 검증과 두 가지 실제 작업 캐시 벤치마크 (CNN/DailyMail 요약 및 SWE-bench Verified 코딩) 에서 평가했습니다.

• 보편적 우위의 부재: 단일 추정기 군집이 모든 체제에서 우세하지는 않습니다. 성능은 무작위화된 EXP 감독의 양과 관찰 구조와 목표 보상 간의 정렬 여부에 크게 의존합니다.
• 요약 벤치마크:
  • CVCI는 48 가지 설정에서 평균 순위가 가장 높고 초과 후회 (excess regret) 가 가장 낮았습니다.
  • EXP 예산 ($n_{EXP}$) 을 늘리는 것은 EXP 기반 추정기를 크게 개선시켰으나, 매끄러운 보상 지도 하에서는 OBS 예산 ($n_{OBS}$) 을 늘리는 것은 체감 효과를 보였습니다.
  • 보상 지도가 "날카로워진" (비선형) 경우, 대리 표현과 목표 간의 정렬이 저하되어 표현 기반 방법들의 성능이 떨어졌습니다.
• 코딩 벤치마크:
  • 순위는 보상 정의에 따라 변화했습니다. 보상이 "패치 품질" (보조 특징) 을 우선시할 때, Representation-EXP가 경쟁력 있는 성능을 보였습니다.
  • 보상이 "실제 수정 성공" (보조 패치 통계로 잘 포착되지 않는 이진 결과) 을 우선시할 때, OBS 기반 군집 (OBS-Only, CVCI) 이 Representation-EXP 를 앞질렀습니다.
  • 이는 OBS 에서 파생된 대리 변수의 유용성이 특정 목표 보상에 관련된 신호를 유지하는지에 달려 있음을 보여줍니다.

중요성과 주장

본 논문은 관찰 데이터의 한계를 인정하면서도 그 규모를 폐기하지 않는 오프라인 LLM 평가를 위한 엄격한 프레임워크를 제공한다고 주장합니다.

• 식별 vs 추정: 주요 기여는 식별 (SIM+EXP 로 해결됨) 과 추정 (OBS 가 도움을 줌) 의 이론적 분리에 있습니다. 이는 OBS 가 인과적 편향을 수정할 수는 없으며, 무작위화와 시뮬레이션을 통해 편향이 제거된 후에만 분산을 줄일 수 있음을 명확히 합니다.
• 실무 지침: 실증 결과는 추정기 선택이 "목표 정렬" 진단에 의해 안내되어야 함을 시사합니다. 관찰 데이터의 구조 (예: 보조 레이블) 가 목표 보상과 잘 정렬된다면, 하이브리드 방법 (CVCI 또는 Grounded 등) 이 효과적입니다. 반면, 목표가 관찰 대리 변수에 존재하지 않는 신호 (예: 패치 품질 대 실제 수정 성공) 에 의존한다면, OBS 보조 방법은 순수 무작위 기준선보다 우월한 성과를 내지 못할 수 있습니다.
• 범위: 저자들은 겸손하게 이러한 결론이 일회성 캐시 평가 설정에 적용됨을 지적합니다. 이 프레임워크는 단일 라운드 생성 (가정 A4) 을 가정하며, 캐시된 목표를 넘어선 다중 라운드 상호작용 설정이나 더 넓은 인구 수준의 불확실성은 아직 다루지 않습니다.

요약하자면, 본 논문은 대규모 로그가 규모 측면에서 가치 있지만, 인과적 평가를 위해서는 그 자체로는 불충분하다고 주장합니다. 유효한 식별을 위한 최소 요구 사항은 시뮬레이터와 결합된 소규모 무작위 실험이며, 관찰 데이터는 데이터와 평가 목표 간의 특정 정렬에 의존하는 분산 감소 도구로 기능합니다.