Who Drifted: the System or the Judge? Anytime-Valid Attribution in LLM Evaluation Pipelines

기술 요약: 누가 표류했는가? LLM 평가 파이프라인에서의 상시 유효한 속성 판별(Anytime-Valid Attribution)

1. 문제 제점

LLM(대규모 언어 모델) 제품의 지속적인 평가는 점점 더 "LLM-as-judge(판사로서의 LLM)" 파이프라인에 의존하고 있습니다. 이 시스템에서는 강력한 모델이 상호작용을 점수화하여 성능 저하 시 경고를 발생시킵니다. 이 시스템의 근본적인 가정은 판사가 '고정된 척도' 역할을 한다는 것입니다. 즉, 점수의 하락은 제품의 퇴보를 의미한다는 것입니다. 그러나 판사 자체도 API 기반 모델로서, 조용한 버전 업데이트, 프롬프트 수정 또는 정책 변경의 대상이 될 수 있습니다.

모니터링 시스템이 알람을 발생시킬 때, 시스템은 모호한 문제에 직면합니다: 제품의 품질이 저하된 것인가, 아니면 판사의 채점 동작이 변한 것인가? 잘못된 속성 판별(attribution)에 대응하는 것은 비용이 많이 듭니다. 팀은 건강한 제품을 롤백하거나, 알람을 "판사 표류(judge drift)"로 치부하여 퇴보를 방치할 수 있습니다. 롤링 z-검정(rolling z-tests)과 같은 고전적 통계 방법은 이러한 연속적 모니터링 맥락에서 실패하는데, 이는 **상시 유효성(anytime-validity)**이 결여되어 있기 때문입니다. 매 단계마다 고정된 $\alpha$ 값을 가진 검정을 반복 실행하면 허위 알람률(false-alarm rate)이 팽창하여, 표류가 없는 스트림에서도 가짜 탐지가 발생하게 됩니다.

2. 방법론

본 논문은 **상시 유효한 e-프로세스(anytime-valid e-processes)**와 인간 중심의 앵커(human-anchored) 속성 규칙을 사용하여 시스템 표류(system drift)와 판사 표류를 분리하는 프레임워크를 제안합니다.

A. 예산 기반 메인 모니터 (시스템 표류 탐지)
시스템은 품질 퇴보를 탐지하기 위해 계층화된 예측 기반 모니터(Csillag et al., 2025b; Angelopoulos et al., 2023을 따름)를 사용합니다:

• 아키텍처: 저렴한 판사($\mu$)가 모든 항목을 점수화하는 동안, 고가의 강력한 판사($y$)는 고정된 예산 하에 샘플링된 부분집합을 점수화합니다.
• 메커니즘: 각 (루브릭 $\times$ 계층) 셀에 대해, 예측 기반 e-프로세스는 평균 점수가 건강한 기준선 아래로 떨어지지 않았다는 귀무가설을 테스트하기 위해 "부(wealth)"를 축적합니다.
• 비용 효율성: 시스템은 e-wealth 에스컬레이션 트리거를 사용합니다. 표류의 증거가 축적됨에 따라 강력한 판사를 위한 샘플링 확률이 증가합니다. 이를 통해 시스템은 전체 평가 비용의 약 1/3만 사용하면서도 국소적인 사각지대 퇴보를 탐지할 수 있으며, 상시 유효성을 유지합니다(어떤 중단 시간에서도 허위 알람률이 제한됨을 보장).

B. 앵커 구축 (판사 표류 탐지)
속성 모호성을 해결하기 위해, 저자들은 고정된 인간 레이블에 앵커를 둔 두 번째 독립적 e-프로세스를 도입합니다:

• 앵커 세트 ($A$): 모니터링 시작 전 추출된, 고정된 인간 레이블($h$)을 가진 고정된 홀드아웃(held-out) 컬렉션입니다.
• 인터리브(Interleave): 일정한 비율(예: 매 $1/\rho$ 항목마다)로, 현재의 강력한 판사가 무작위로 선택된 앵커 항목을 재채점합니다.
• E-프로세스: 배팅 e-프로세스는 현재 판사의 앵커 점수와 고정된 인간 레이블 사이의 격차를 추적합니다.
• 비대칭성: 앵커 항목과 인간 레이블은 고정되어 있으므로, 판사의 변화만이 격차 분포를 변화시킬 수 있습니다. 시스템 표류는 들어오는 항목에는 영향을 미치지만, 앵커의 격차는 변화시키지 못합니다. 이는 판사 표류만을 탐지하는 "일방향 거울"을 생성합니다.

C. 속성 규칙 (가드 윈도우)
시스템은 메인 프로세스의 중단 시간($\tau_{sys}$)과 앵커 프로세스의 중단 시간($\tau_{anc}$)을 **가드 윈도우(guard window, $W$)**를 사용하여 결합하여 $\{none, system, judge\}$ 중 하나의 판결을 내립니다:

• 판사(Judge) 판결: 앵커 프로세스가 먼저 작동하고($\tau_{anc} < \infty$), 메인 프로세스가 가드 윈도우 내에서 작동하면($\tau_{sys} \le \tau_{anc} + W$), 판결은 judge입니다. 논리는 오염된 판사가 메인 알람을 무효화한다는 것입니다.
• 시스템(System) 판결: 메인 프로세스가 먼저 작동하고 앵커 프로세스가 가드 윈도우 내에서 작동하지 않으면, 판결은 system입니다.
• 경쟁 상태(Race Condition): 이 설계는 "속성 경쟁(attribution race)"에 의존합니다. 오판을 방방지하기 위해, 앵커 프로세스는 오염된 메인 프로세스가 잘못된 시스템 알람을 트리거하기 전에 판사 표류를 탐지할 수 있도록 프로비저닝되어야 합니다.

3. 주요 기여

1. 앵커 구축 및 속성 규칙: 인간에 의해 앵커링된 상시 유효한 e-프로세스를 사용하여 시스템 표류와 판사 표류를 명시적으로 분리하고, 이진 알람이 아닌 삼중 상태 판결을 내리는 새로운 방법을 제시합니다.
2. 이론적 보장:
   • 상시 유효성(Anytime-Validity): 앵커 패밀리는 데이터 의존적 중단 시간에서도 제한된 허위 알람률($\alpha_{judge}$)을 유지합니다.
   • 일방향 식별(One-Way Identification): 앵커 프로세스는 수학적으로 시스템 표류에 민감하지 않도록 설계되었습니다. 즉, 시스템 표류는 앵커의 격차를 변화시킬 수 없으며, 오직 판사의 변화만이 이를 트리거할 수 있습니다.
   • 속성 경쟁(Attribution Race): 논문은 앵커 프로세스가 메인 프로세스보다 빠르게 판사 표류를 탐지해야 한다는 설계 법칙을 확립합니다. 오판(판사 표류 중 발생하는 잘못된 시스템 알람)은 가드 폭, 앵커율, 앵커 세트 크기의 함수입니다.
   • 직교성(Orthogonality): 앵커 예산과 메인 프로세스 설정은 독립적이어서, 판사 지연 시간과 시스템 탐지력을 별도로 튜닝할 수 있습니다.
3. 실제 표류에 대한 경험적 검증: 이 방법은 재튜닝 없이 두 가지 도메인(HelpSteer2 및 TL;DR 요약)에서 두 가지 실제 판사 변화(조용한 버전 업데이트 및 엄격한 프롬프트 정책 업데이트)에 대해 테스트되었습니다.
4. 운영적 우월성: 제안된 e-프로세스는 클래식한 베이스라인(나이브한 롤링 z-검정 및 보정된 Page–Hinkley 탐지기)에 비해 허위 알람 제어 및 미세한 표류 탐지 측면에서 크게 우수한 성능을 보였습니다.

4. 결과

• 탐지 정확도:
  • 조용한 버전 업데이트: 60/60 회의 실행에서 판사 표류로 탐지되었으며, 판사에서 시스템으로의 오판(misattribution)은 0이었습니다.
  • 엄격한 프롬프트 변경: HelpSteer2에서 (가드 폭 $W=300$일 때) 110/120 회의 실행에서 올바르게 속성이 판별되었습니다. 프롬프트 변화가 더 심했던 TL;DR 도메인에서는 완벽한 속성 판별(240/240)을 보여주었습니다.
  • 오판(Misattribution): 판사 표류 중 발생하는 잘못된 시스템 알람률은 가드 윈도우($W$)가 증가함에 따라 단조 감소하였으며, 이는 "속성 경쟁" 이론을 확인시켜 줍니다.
• 베이스라인 비교:
  • 업계 표준인 나이브 롤링 z-검정은 표류가 없는 스트림에서도 **75%**의 확률로 허위 알람을 생성했습니다.
  • 보정된 Page–Hinkley 탐지기는 허위 알람 예산은 준수했으나, 미세한 실제 버전 업데이트를 탐지하는 데 실패했으며(HelpSteer2에서 탐지율 8%), 별도의 홀드아웃 보정 데이터가 필요했습니다.
• 비용 효율성: 모니터는 모든 항목을 강력하게 평가하는 비용의 약 0.64 (또는 "더 저렴하지만 둔감한" 체제에서는 0.21) 수준에서 작동하면서도 유효한 탐지 보장을 유지합니다.

5. 의의 및 주장

본 논문은 LLM 운영의 핵심적이고 아직 해결되지 않은 실패 모드, 즉 연속적 모니터링에서 제품의 퇴보와 판사의 불안정성을 구분하지 못하는 문제를 해결한다고 주장합니다.

• 실질적 영향: 이 구조는 판사 표류가 정의된 오류 예산($\alpha_{judge}$)을 초과하여 시스템의 책임으로 돌려지지 않도록 명확한 보장을 제공합니다. 이는 팀이 (건강한 모델을 롤백하는 것과 같은) 값비싼 잘못된 운영 결정을 내리는 것을 방지합니다.
• 이론적 기여: **상시 유효성(anytime-validity)**이 단순한 이론적 미사여구가 아니라, 고정된 호라이즌의 방법론들이 순차적 검정 하에서 처참하게 실패하기 때문에 연속적 모니터링에서 실질적으로 필수적인 요소임을 입증합니다.
• 설계 법칙: 논문은 속성 판별이 하나의 '경쟁(race)'임을 확립합니다. 즉, 앵커 예산은 앵커 프로세스가 오염된 메인 프로세스가 잘못된 시스템 알람을 트리거하기 전에 판사 표류를 탐지할 수 있도록 크기가 조정되어야 한다는 구체적인 "공동 프로비저닝(co-provisioning)" 레시피를 제공합니다.
• 한계: 저자들은 이 방법이 인간의 레이블이 유효한 참조값으로 남아 있다고 가정하며(기준이 진화할 경우 주기적 갱신 필요), 고정된 예산 하에서의 최적의 배팅 전략이나 최소 오판을 주장하는 것이 아니라 '유효성'과 '식별 가능성'을 목적으로 함을 겸허히 밝히고 있습니다.

요약하자면, 본 논문은 "표류 알람"이라는 모호한 신호를 검증 가능한 속성 판별로 전환함으로써, 측정 대상인 "제품"만큼이나 그 척도가 되는 "판사" 또한 엄격하게 모니터링할 수 있는 견고하고 비용 효율적인 프레임워크를 제시합니다.