기술 요약: 버전 업데이트 시 샘플 수준의 LLM 퇴보를 예측하는 보편적 신호는 존재하지 않는다

문제 정의

프런티어 대규모 언어 모델(LLM)은 일반적으로 벤치마크 상의 총체적 정확도를 향상시키는 빈번한 업데이트를 거칩니다. 그러나 이러한 업데이트는 부정적 반전(negative flips), 즉 이전 모델($M_{old}$)에서는 정답이었던 특정 사례가 새로운 모델($M_{new}$)에서는 오답이 되는 현상을 초래할 수 있습니다. 총체적 지표들은 이러한 퇴보를 가려버리지만, 이는 고도의 신뢰성이 요구되는 애플리케이션에서 심각한 위험을 초래합니다.

본 연구가 다루는 핵심 문제는 추론 시점에서의 샘플 수준 퇴보 예측입니다. 저자들은 모델 파라미터나 정답 레이블에 대한 접근 권한 없이, 추론 중에 사용 가능한 신호들이 부정적 반전이 발생할 가능성이 높은 샘플을 효과적으로 식별할 수 있는지 조사합니다. 연구는 다음 두 가지를 구분합니다:

1. 단일 모델 신호: 단일 모델 버전에서 도출된 불확실성 지표 (예: 신뢰도, 로짓 마진).
2. 교차 버전 신호: 동일한 입력에 대해 $M_{old}$와 $M_{new}$의 행동을 비교하는 지표 (예: 출력 KL 발산, 가능도 드리프트).

검증된 가설은 교차 버전 간의 불일치가 본질적으로 퇴보를 예측하는지, 아니면 신호의 유효성이 태스크 구조 및 특정 모델 업데이트에 따라 달라지는지에 관한 것입니다.

방법론

실험 설정

본 연구는 약 2년간의 릴리스를 포괄하는 4개의 오픈 웨이트 모델 제품군(Qwen, Llama, Mistral, Gemma)에 걸쳐 6개의 모델 업데이트 쌍을 평가합니다. 여기에는 5개의 동일 제품군 업데이트와 1개의 경계 사례(Llama-2 $\to$ Llama-3)가 포함됩니다.
평가는 세 가지 태스크 제품군의 6개 벤치마크에 걸쳐 수행됩니다:

• 객관식 질의응답 (MCQ): MMLU-Pro, GPQA.
• 수학적 추론: GSM8K, MATH-full.
• 코드 생성: HumanEval, MBPP.

재현 가능한 부정적 반전 레이블을 확보하기 위해 모델은 결정론적 방식(greedy decoding, temperature 0)으로 디코딩됩니다. 예측 대상은 이진 레이블 $z(x) = \mathbb{I}\{c_{old}(x)=1 \land c_{new}(x)=0\}$입니다.

신호 분류

저자들은 두 종류의 신호 군을 비교합니다:

1. 단일 모델 신호:
   • 신뢰도(Confidence): 최대 소프트맥스 확률(MCQ) 또는 길이 정규화된 시퀀스 로그 가능도(생성형).
   • 로짓 마진(Logit Margin): 상위 1위와 2위 옵션 간의 로짓 차이(MCQ).
   • 어텐션 엔트로피(Attention Entropy): 어텐션 가중치의 Rényi-2 엔트로피(MCQ).
2. 교차 버전 신호:
   • 출력 KL/JSD: 옵션 분포 간의 발산(MCQ).
   • 가능도 드리프트(Likelihood Drift): 고정된 궤적(과거 또는 현재 모델)을 두 모델에서 점수화할 때 발생하는 퍼 토큰 음의 로그 가능도(NLL)의 차이.
   • Top-k 토큰 KL: 생성 모델의 상위-$k$ 토큰으로 제한된 다음 토큰 분포 간의 KL 발산.
   • 표현 드리프트(Representation Drift): 마지막 레이어 은닉 상태 간의 코사인 거리.

평가 프로토콜: 부가 가치 테스트 (Added-Value Test)

각 신호의 고유한 예측력을 격리하기 위해 저자들은 통합 부가 가치 테스트를 채택합니다.

• 베이스라인: 신규 모델의 신뢰도만을 사용하는 로지스틱 회귀 모델 ($LR(conf_{new})$).
• 증강 모델: $LR(conf_{new}, s)$, 여기서 $s$는 후보 신호입니다.
• 지표: 5-겹 교차 검증 AUROC의 변화량($\Delta$CV-AUROC). 신호는 단순히 신뢰도가 이미 포착한 정보를 복제하는 것이 아니라, 신뢰도 베이스라인보다 성능을 개선할 때만 유용하다고 간주됩니다.

주요 결과

1. 태스크 의존적 유효성

모든 태스크와 업데이트에 대해 보편적으로 부정적 반전을 예측하는 단일 신호는 존재하지 않습니다. 유효성은 태스크 출력 구조와 강하게 상관되어 있습니다:

• MCQ 태스크: 신규 모델의 신뢰도가 가장 강력한 예측 변수입니다. 교차 버전 신호(예: 출력 KL)는 높은 단독 AUROC를 보이지만, MCQ의 정답 여부가 하나의 이산적인 선택에 달려 있기 때문에 신뢰도 이상의 부가 가치를 거의 제공하지 못합니다.
• 수학적 추론 (어려운 태스크): MATH-full 벤치마크에서는 교차 버전 가능도/KL 신호(특히 새로운 궤적의 가능도 드리프트 및 토큰 KL)가 신뢰도를 일관되게 능가합니다. 더 단순한 GSM8K에서는 신뢰도만으로도 충분합니다.
• 코드 생성: 교차 버전 신호(가능도 드리프트 및 토큰 KL)가 가장 빈번한 이득을 제공합니다. 코드의 정답 여부는 기능적(전체 궤적에 의존적)이므로, 유창하고 높은 신뢰도를 가진 생성이라도 단위 테스트에서 실패할 수 있습니다. 궤적 수준의 신호는 신뢰도가 놓치는 정보를 포착합니다.

2. 업데이트 전반에 걸친 보편적 승자 부재

특정 태스크 제품군 내에서도 최적의 신호는 모델 업데이트 쌍마다 다릅니다. 예를 들어, 가능도 드리프트가 코드 태스크에서 자주 도움이 되더라도, 그 크기와 방향은 업데이트에 따라 달라집니다.

3. 난이도 vs. 퇴보

부정적 반전은 단순히 이전 모델에게 "가장 어려운" 사례들만은 아닙니다. MCQ에서 낮은 이전 모델 신뢰도가 반전과 상관관계를 갖는 반면, 수학적 추론과 코드 생성에서는 이 관계가 크게 약화됩니다. 이전 모델의 신뢰도만으로는 업데이트 시 어떤 샘플이 반전될지 안정적으로 식별할 수 없습니다.

4. 레이블 프리 적용 가능성 (Label-Free Applicability)

그라운드 트루스(정답)가 없는 실제 배포 상황을 시뮬레이션하기 위해 전체 데이터셋에서 평가했을 때 ($M_{old}$-정답 샘플로 필터링하지 않음):

• 신규 모델의 신뢰도 성능은 크게 하락합니다 (예: MMLU-Pro에서 AUROC $\approx$ 0.6).
• 일부 교차 버전 신호(예: 새로운 궤적의 가능도 드리프트)는 더 안정적이고 정보력이 높게 유지되며, 이는 고위험 샘лю를 이전 모델로 다시 라우팅하는 선택적 폴백(selective fallback) 전략을 지원합니다.

5. 신호 결합

여러 교차 버전 신호를 결합하는 것이 최선의 개별 신호보다 성능을 높이는 경우는 드뭅니다. 이는 이러한 지표들 사이에 상보성보다는 경쟁 관계가 존재함을 시사합니다.

의의 및 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 부정적 반전의 특성화: 부정적 반전이 이전 모델의 난이도나 낮은 신뢰도로 완전히 설명되지 않음을 입증했습니다. 특히 태스크 복잡도가 증가할수록 이러한 경향이 뚜렷합니다.
2. 태스크 의존적 신호 패턴 식별: 최적의 예측 신호는 태스크 제품군에 따라 달라짐을 밝혔습니다. MCQ에는 신뢰도가 충분하지만, 코드 및 복잡한 수학과 같은 생성형 태스크에는 교차 버전의 가능도/KL 신호가 더 우수합니다.
3. 실용적인 폴백 메커니즘 제시: 특정 교차 버전 신호가 그라운드 트루스 레이블 없이도 정보력을 유지함을 보여줌으로써, 생산 환경에서 퇴보 위험을 완화하기 위한 선택적 폴백 전략을 가능하게 합니다.
4. 경쟁 vs. 상보성 규명: 여러 교차 버전 신호를 결합하는 것이 일반적으로 한계 효용 체감(diminishing returns)을 가져온다는 것을 확립하여, 단일히 잘 선택된 신호 하나만으로도 충분하다는 점을 시사했습니다.

결론: 실무자는 모든 업데이트에 대해 신뢰도 기반 필터링만을 기본값으로 설정해서는 안 됩니다. 대신, 특정 태스크와 모델 업데이트 쌍에 맞춰 퇴보 예측 신호를 매칭해야 합니다. 코드 및 복잡한 수학과 같은 생성형 태스크의 경우, 교차 버전의 행동 비교는 단일 모델의 신뢰도가 제공할 수 없는 필수적인 가드레일을 제공합니다.