[기술 요약] 언어 모델 출력 분포의 꼬리 위험(Tail Risks) 추정

1. 문제 정의 (Problem Statement)

현재의 언어 모델(LLM) 안전성 평가는 주로 **'어떤 입력(Prompt)이 유해한 출력을 유도하는가?'**라는 입력 분포(Input Distribution)에 집중되어 있습니다. 하지만 모델이 수십억 번 호출되는 실제 배포 환경에서는, 특정 입력에 대해 유해한 출력이 나올 확률이 매우 낮더라도(예: $10^{-4}$), 반복적인 호출로 인해 유해한 결과가 반드시 발생하게 됩니다.

기존 방식의 한계는 다음과 같습니다:

• 확률적 특성 무시: 단일 또는 소수의 샘플링만 수행하므로, 모델이 특정 문맥에서 유해한 답변을 내놓을 '확률'을 정확히 측정하지 못합니다.
• 계산 비용 문제: 유해한 출력이 매우 드물게 발생하는 '희귀 사건(Rare Event)'의 경우, 이를 확인하기 위해 수만 번의 단순 반복 샘플링(Brute-force Monte Carlo)을 수행하는 것은 계산적으로 불가능에 가깝습니다.

2. 방법론 (Methodology)

본 논문은 희귀 사건을 효율적으로 추정하기 위한 중요도 샘플링(Importance Sampling, IS) 기법을 제안합니다.

핵심 아이디어: "안전한 모델을 유해한 모델로 변형하여 샘플링하기"

직접 타겟 모델(Target Model)에서 샘플링하는 대신, 유해한 출력을 더 잘 내놓도록 의도적으로 조작된 **제안 모델(Proposal Model)**을 만들어 샘플링한 뒤, 그 결과를 가중치(Likelihood Ratio)로 재조정하여 타겟 모델의 실제 확률을 추정합니다.

주요 기술 단계:

1. 활성화 스티어링 (Activation Steering): 모델의 내부 활성화 값(Residual Stream)에 특정 벡터(예: 거부 방향의 반대 벡터)를 더해 모델의 성향을 강제로 변화시킵니다. 이를 통해 유해한 답변을 더 자주 생성하는 '안전하지 않은(Unsafe)' 모델을 만듭니다.
2. 제안 모델 최적화 (Refining Proposal Models): 제안 모델이 타겟 모델과 너무 다르면 추정치의 분산(Variance)이 커져 정확도가 떨어집니다. 이를 방지하기 위해 다음 세 가지 하이퍼파라미터를 최적화합니다.
   • $\lambda_{steer}$ (Steering Intensity): 스티어링 벡터를 얼마나 강하게 적용할 것인가.
   • $\alpha_{mix}$ (Mixture of Models): 제안 모델과 타겟 모델을 어떤 비율로 섞을 것인가.
   • $t_{switch}$ (Model Switching): 문장의 앞부분은 제안 모델로, 뒷부분은 타겟 모델로 생성할 것인가.
3. 교차 엔트로피 방법 (Cross-Entropy Method): 위 하이퍼파라미터들을 자동으로 최적화하여 추정치의 분산을 최소화하는 최적의 제안 모델을 찾습니다.

3. 주요 기여 (Key Contributions)

• 효율적인 희귀 사건 추정 도구: 유해한 출력이 매우 드문 경우에도 적은 샘플로 정확한 확률을 계산할 수 있는 엔드투엔드 파이프라인을 구축했습니다.
• 다양한 미정렬(Misalignment) 측정: 유해성(Harmfulness)뿐만 아니라 아첨(Sycophancy), 환각(Hallucination)과 같은 모델의 미정렬 특성에도 이 기법을 적용할 수 있음을 보여주었습니다.
• 입력 민감도 분석: 동일한 의미를 가진 질문이라도 표현(Paraphrase)이 살짝 바뀌면 유해 확률이 수 차례의 자릿수(Orders of magnitude)만큼 변할 수 있음을 입증했습니다.
• 배포 위험 예측: 극값 이론(Extreme Value Theory)을 결합하여, 평가 데이터셋의 확률을 바탕으로 실제 배포 시 발생할 최악의 위험(Worst-case risk)을 예측하는 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

• 샘플 효율성: 기존의 Brute-force Monte Carlo 방식보다 10~20배 적은 샘플만으로도 유사한 정확도의 추정치를 얻었습니다. 예를 들어, $10^{-4}$ 수준의 확률을 단 500개의 샘플만으로 추정할 수 있었습니다.
• 수렴 속도: Importance Sampling(IS) 방식이 단순 Monte Carlo(MC) 방식보다 훨씬 빠르게 실제 값에 수렴함을 확인했습니다 (Figure 3).
• 재작성(Rewriting)의 영향: Grok-3를 이용해 질문을 재작성했을 때, 원래 질문에서는 매우 낮았던 유해 확률이 재작성된 질문에서는 급격히 높아지는 사례들을 다수 발견했습니다 (Table 2, Figure 6).

5. 의의 및 결론 (Significance)

이 논문은 AI 안전성 평가의 패러다임을 '입력의 다양성'에서 '출력의 확률적 분포'로 확장해야 한다고 주장합니다.

모델이 겉보기에 안전해 보이더라도(Greedy decoding 시 안전함), 실제 대규모 배포 환경에서는 '꼬리 위험(Tail Risk)'에 의해 유해한 행동이 빈번하게 발생할 수 있습니다. 본 연구에서 제안한 방법론은 모델의 잠재적 위험을 사전에, 그리고 매우 효율적으로 탐지할 수 있는 실질적인 도구를 제공하며, 이는 향후 안전한 AI 배포를 위한 필수적인 평가 프로세스가 될 것입니다.