Domain-Shift-Aware Conformal Prediction for Large Language Models

기술 요약: 대규모 언어 모델을 위한 도메인 변화 인지형 컨포멀 예측 (Domain-Shift-Aware Conformal Prediction)

문제 정의
대규모 언어 모델(LLM)은 종종 사실과 다른 내용을 지나치게 확신하며 출력하는 현상(환각 현상)을 보이는데, 이는 의료나 금융과 같은 고위험 분야에서 심각한 위험을 초래할 수 있습니다. 컨포멀 예측(Conformal Prediction, CP)은 유한 샘플에 대해 분포 불변(distribution-free) 커버리지 보장을 제공하는 원칙적인 불확실성 정량화(Uncertainty Quantification, UQ) 프레임워크를 제공하지만, 표준 CP는 **교환 가능성 가정(exchangeability assumption)**에 의존합니다. 이 가정은 교정(calibration) 데이터와 테스트 데이터가 동일한 분포에서 추출되어야 함을 요구합니다. 그러나 실제 배포 환경에서는 도메인 변화(domain shift)가 만연합니다. 사용자 행동의 변화나 입력 분포의 변화로 인해 테스트 프롬프트가 과거의 교정 데이터와 크게 달라지는 경우가 빈번합니다. 이러한 변화가 발생할 때, 표준 CP는 예측 집합(prediction sets)이 실제 정답을 포함하기에는 너무 좁게 생성되는 언더 커버리지(under-coverage) 문제를 겪으며, 결과적으로 신뢰할 수 있는 불확실성 보장을 제공하는 데 실패합니다.

방법론: DS-CP 프레임워크
저자들은 레이블이 지정된 타겟 데이터 없이도 도메인 변화 하의 LLM에 CP를 적용할 수 있도록 설계된 도메인 변화 인지형 컨포멀 예측(Domain-Shift-Aware Conformal Prediction, DS-CP) 프레임워크를 제안합니다. 이 방법은 고차원의 비구조화된 프롬프트 공간에서 밀도 비율(density ratio)을 추정하는 것이 불가능하다는 점을 다음과 같은 단계들을 통해 해결합니다:

1. 의미론적 임베딩(Semantic Embedding): 원시 토큰 공간에서 직접 작동하는 대신, 이 프레임워크는 사전 학습된 임베딩 모델 $h: \mathcal{X} \to \mathcal{Z}$를 사용하여 프롬프트를 저차원의 의미론적 공간으로 투영합니다. 이는 교차 도메인 유사성을 포착하여, 도메인 변화를 임베딩 분포의 변화로 특징지을 수 있게 합니다.
2. 밀도 비율 추정(Density Ratio Estimation): 임베딩 공간 내에서 소스(교정) 프롬프트와 타겟(테스트) 프롬프트를 구분하는 도메인 분류기를 학습시킵니다. 이 분류기는 타겟 도메인과의 근접성에 따라 교정 샘플에 부여할 가중치인 밀도 비율 $\tilde{r}(z) = \frac{dP'_Z}{dP_Z}(z)$를 추정합니다.
3. 정규화된 가중치 부여(Regularized Weighting): 큰 도메인 변화나 작은 샘플 크기로 인해 밀도 비율이 매우 불균형해질 경우, 예측 집합이 전체 출력 공간으로 퇴화할 위험(degeneracy)을 방지하기 위해 저자들은 정규화 단계를 도입합니다.
   • 경험적 점수 분포는 다음과 같이 구성됩니다:
     $$\hat{\mu}_n = \sum_{i=1}^n \frac{\hat{w}_i}{\sum \hat{w}_j + \lambda} \delta_{S_i} + \frac{\lambda}{\sum \hat{w}_j + \lambda} \delta_{\infty}$$
     여기서 $\hat{w}_i$는 추정된 교정 샘플의 밀도 비율이며, $\lambda$는 타겟 데이터에만 의존하지 않고 교정 데이터에 의해서만 결정되는 정규화 파라미터입니다. ($\lambda$는 일반적으로 $\max_i \hat{w}_i$로 선택되어 타당성과 적응성 사이의 균형을 맞춥니다.)
4. 예측 집합 구축: 새로운 프롬프트에 대한 최종 예측 집합은 이 가중치가 적용된 경험적 분포의 $(1-\alpha)$ 분위수(quantile)로 정의됩니다.

이론적 보장
본 논문은 DS-CP에 대한 유한 샘플 커버리지 경계(finite-sample coverage bounds)를 입증합니다:

• 하한(Lower Bound): 커버리지 확률은 $1 - \alpha$에서 특정 갭 항(gap term)을 뺀 값 이상임이 보장됩니다. 이 갭은 정규화된 가중치와 임베딩 공간에서의 교정 및 테스트 점수 분포 간의 총 변동 거리(total variation distance)에 따라 달라집니다.
• 매끄러움 조건(Smoothness Condition): 저자들은 비적합성 점수(nonconformity score)가 의미론적 임베딩에 대해 매끄럽게 변화한다면, 원시 프롬프트 분포가 서로 다르더라도 커버리지 갭이 작게 유지됨을 보여줍니다.
• 보수성(Conservativeness): 상한(upper bound)을 통해, 정규화 항 $\lambda$가 관련 교정 데이터의 유효 샘플 크기가 작을 때 통제된 수준의 보수성(과잉 커버리지)을 도입함을 보여줍니다.
• 표준 CP로의 회귀: 교환 가능성 조건(도메인 변화가 없는 경우) 하에서, 이 방법은 표준 CP와 정확히 일치하게 되어 이상적인 설정에서의 유효성 손실이 없음을 보장합니다.

실험 결과
이 프레임워크는 도메인 변화를 시뮬레이션하기 위해 서로 다른 주제 카테고리를 별개의 도메인으로 취급한 MMLU 벤치마크에서 평가되었습니다. 실험은 9개 모델 제품군에 속하는 16개의 오픈 소스 LLM을 대상으로 수행되었습니다.

• 커버리지(Coverage): 표준 CP는 목표치인 90% 커버리지를 달am하는 데 자주 실패했으며, 교정 및 테스트 도메인이 멀어질 때 이 수치가 크게 하락하는 모습을 보였습니다. 반면, DS-CP는 모든 모델과 도메인 쌍에 대해 목표 수준에 더 가깝게 커버리지를 유지하며 지속적으로 개선된 성능을 보였습니다.
• 집합 크기(Set Size): DS-CP는 변화를 보상하기 위해 표준 CP보다 약간 더 큰 예측 집합을 생성했지만, 그 증가 폭은 미미했습니다. 이는 유효성 회복과 효율성 유지 사이의 성공적인 트레이드오프를 입증합니다.
• 적응성(Adaptivity): 분석 결과, DS-CP는 표준 CP가 실패하는 어려운 사례(언더 커버리지가 발생하는 경우)에서는 선택적으로 커버리지를 교정하는 반면, 표준 CP가 이미 유효한 경우에는 최소한의 조정만을 수행함으로써 단순한 균등 집합 확대가 아님을 증명했습니다.

의의 및 주장
본 논문은 실세계 배포 환경에서 LLM을 위한 신뢰할 수 있는 불확실성 정량화를 향한 실질적인 단계를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 교환 가능성을 넘어선 CP의 확장: 표준 CP가 무너지는 시나리오인 LLM의 도메인 변화를 다루기 위한 체계적이고 이론적으로 근거가 확실한 방법을 제시합니다.
2. 의미론적 적응: 원시 텍스트가 아닌 의미론적 임베딩을 활용함으로써, 고차원 LLM 입력에 대한 밀도 비율 추정을 가능하게 만들었습니다.
3. 균형 잡힌 신뢰성: 통계적 유효성(커버리지 보장 유지)과 적응성(특정 타겟 도메인에 맞춘 예측 집합 제공) 사이의 균형을 달성하여, 안전이 중요한 애플리케이션에서 발생하는 신뢰할 수 없는 예측 문제를 해결합니다.

저자들은 임베딩 및 밀도 비율 추정기의 품질에 대한 의존성, 레이블이 없는 타겟 프롬프트의 필요성, 그리고 현재 다지선다형 과업에 집중되어 있다는 점 등 한계점을 언급했습니다. 그러나 DS-CP가 도메인 변화 하의 고차원적이고 비구조화된 LLM 프롬프트 특성에 맞게 설계된 원칙적인 컨포멀 예측의 적응 모델임을 강조합니다.