기술 요약: 분산 정렬 적대적 증류를 통한 블랙박스 LLM 불확실성 추정

문제 제기

대형 언어 모델 (LLM) 은 추론 및 생성 분야에서 상당한 진전을 이루었으나, 사실적 오류가 있는 그럴듯한 정보를 생성하는 '할루시네이션'에 여전히 취약합니다. 이 문제는 더 크고 지시 따르기 (instructive) 능력이 뛰어난 모델에서 더욱 심화되는데, 이러한 모델들은 종종 과도한 확신을 보여 신뢰성에 대한 잘못된 인식을 초래합니다. 불확실성 정량화 (UQ) 는 유망한 완화 전략이지만, 기존 방법들은 API 를 통해서만 접근 가능한 블랙박스 LLM(예: GPT-4, Claude-3) 에 적용될 때 치명적인 한계에 직면합니다:

1. 다중 샘플링 방법(예: 의미 엔트로피) 은 불확실성을 추정하기 위해 여러 번의 추론 호출이 필요하여, 실시간 응용 프로그램에는 계산 비용이 많이 들고 비효율적입니다.
2. 내부 상태(예: 로짓, 숨겨진 활성화) 에 의존하는 단일 샘플링 방법은 이러한 매개변수를 공개하지 않는 폐쇄형 소스 모델에는 적용할 수 없습니다.
3. 자기 평가 방법은 특정 미세 조정 없이는 신뢰할 수 있는 추정을 산출하지 못하는 경우가 많습니다.

이 연구가 해결하는 핵심 과제는 다음과 같습니다: 내부 모델 상태나 다중 샘플링 반복에 접근할 수 없이 단일 입력 - 응답 쌍만으로 블랙박스 LLM 의 실시간 불확실성을 예측할 수 있는 방법은 무엇인가?

방법론: 분산 정렬 적대적 증류 (DisAAD)

저자들은 대상 블랙박스 LLM 의 출력 분포를 근사하는 경량 프록시 모델을 활용하는 2 단계 프레임워크인 DisAAD를 제안합니다. 이 프록시 모델은 "블랙박스 LLM 이 알고 있는지 아닌지"를 판단하도록 훈련되어, 결과적으로 대상 모델의 불확실성 특성을 계승합니다.

1. 분산 정렬 적대적 증류

첫 번째 단계는 작은 프록시 모델 ($M_p$) 을 훈련하여 대상 블랙박스 LLM($M_B$) 의 출력 분포에서 고확률 영역을 모방하는 데 중점을 둡니다.

• 데이터 수집: 대상 LLM 에 다양한 프롬프트로 쿼리를 보내 증류 데이터셋 ($D_{distill}$) 을 구축합니다. 각 프롬프트에 대해 여러 응답을 생성한 후, 상호 의미적 일관성이 가장 높은 상위 $M$개의 응답을 선택합니다. 이 전략은 대상의 조건부 출력 분포에서 고확률 영역을 분리해냅니다.
• 적대적 훈련 아키텍처: 이 프레임워크는 생성 - 판별 설정을 사용합니다:
  • 생성자 (프록시 모델): 대상 LLM 과 일관된 응답을 생성하도록 학습하는 **저랭크 적응 (LoRA)**을 통해 미세 조정된 기반 모델 (예: LLaMA3).
  • 판별자: 프록시가 생성한 응답과 대상 블랙박스 LLM 의 응답을 구별하도록 훈련된 모델.
• 최적화 목적: 프록시 모델은 복합 손실 함수를 최소화하도록 최적화됩니다:
  • 태스크 손실 ($L_{task}$): 프록시의 다음 토큰 예측을 대상의 응답과 정렬시키는 토큰 단위 증류 손실.
  • 정규화 손실 ($L_{reg}$): 프록시 모델이 생성한 출력을 판별자가 "가짜"로 확신 있게 분류하지 못하게 하는 시퀀스 단위 제약.
  • 훈련은 판별자가 프록시와 대상 출력 사이를 더 이상 구별하지 못할 때까지 교차 방식으로 진행되며, 이는 프록시가 대상의 분포와 성공적으로 정렬되었음을 나타냅니다.

2. 프록시 기반 불확실성 정량화

두 번째 단계에서는 훈련된 프록시 모델을 사용하여 블랙박스 LLM 의 새로운 쿼리에 대한 불확실성을 추정합니다.

• 재현: 입력 프롬프트 $x$와 블랙박스 응답 $y_B$가 주어지면, 프록시 모델은 응답을 재현하여 내부 신호 (로짓) 를 추출합니다. 이는 본래 접근할 수 없는 정보입니다.
• 증거 딥러닝: 추출된 로짓은 디리클레 분포의 증거 매개변수로 간주됩니다. 이를 통해 불확실성을 두 가지 구성 요소로 분해할 수 있습니다:
  • 알레토릭 불확실성 (AU): 데이터 불확실성 (분포의 뾰족함) 을 반영합니다. 높은 AU 는 모델이 특정 토큰에 대해 확신이 없음을 나타냅니다.
  • 에피스테믹 불확실성 (EU): 모델 불확실성 (지식 격차) 을 반영합니다. 높은 EU 는 분포가 뾰족하더라도 (과도한 확신) 모델이 확신 있는 예측을 할 지식을 부족함을 나타냅니다.
• 신뢰도 추정: 최종 응답 신뢰도는 시퀀스 내 가장 불확실한 토큰들에서 AU 와 EU 의 시너지 효과를 집계하여 계산됩니다.

주요 기여

1. 블랙박스 UQ 를 위한 새로운 패러다임: DisAAD 는 내부 모델 상태에 접근하거나 다중 샘플링 반복을 수행할 필요성을 제거하여, 단일 입력 - 응답 쌍만을 사용하여 실시간 불확실성 정량화를 가능하게 합니다.
2. 분산 정렬 프록시 학습: 이 논문은 작은 프록시 모델이 적대적 증류를 통해 대상 LLM 의 출력 분포 고확률 영역을 근사하는 방법을 소개하며, 이를 통해 프록시가 대상의 불확실성을 특성화할 수 있게 합니다.
3. 실증적 검증: 광범위한 실험을 통해 대상 LLM 크기의 단 **1%**에 불과한 프록시 모델이 최첨단 베이스라인보다 우수한 불확실성 추정 성능을 달성함을 입증했습니다.

실험 결과

이 방법은 TruthfulQA(진실성), BioASQ(생의학), TriviaQA(일반 상식) 의 세 가지 벤치마크에서 평가되었습니다.

• 성능: 블랙박스 환경 (GPT-4 및 LLaMA2-70B 대상) 에서 DisAAD 는 평균 AUROC 0.7321 및 AUPR 0.9134를 달성했습니다. 이는 최상위 베이스라인 대비 평균 AUROC 18.2% 및 **AUPR 22.9%**의 상당한 개선을 의미합니다.
• 화이트박스 방법과의 비교: 내부 상태에 접근하지 못함에도 불구하고, DisAAD 는 대부분의 경우 로짓을 사용하는 LogTokU 를 포함한 화이트박스 방법보다 우수한 성능을 보였습니다. 예를 들어, LLaMA2-70B 를 대상으로 할 때 DisAAD 는 LogTokU 대비 AUROC 를 6.7% 향상시켰습니다.
• 효율성: 이 프레임워크는 효과적인 프록시 모델을 훈련시키기 위해 소량의 증류 데이터셋 (약 100 개의 프롬프트에서 추출한 약 1,000 개의 샘플) 만 필요합니다. 성능은 약 50 개의 증류 프롬프트 이후 안정화됩니다.
• 모델 크기: 다양한 프록시 크기 (1B, 3B, 8B) 로 수행한 실험은 비단조적 관계를 드러냈으며, 3B 모델이 최적의 결과를 달성했습니다. 더 큰 모델 (8B) 은 과도한 확신 문제를 계승하는 경향이 있었으며, 더 작은 모델 (1B) 은 복잡한 불확실성 모델링을 위한 역량이 부족했습니다.

중요성 및 주장

이 논문은 DisAAD 가 특히 상업용 블랙박스 모델과 관련된 안전-중요 응용 분야에서 LLM 불확실성 정량화를 위해 더 효과적이고 실용적인 패러다임을 제공한다고 주장합니다. 경량 프록시를 통해 할루시네이션을 탐지할 수 있게 함으로써, 이 방법은 다중 샘플링의 계산 오버헤드나 내부 매개변수 접근의 프라이버시 제약 없이 LLM 의 더 안전하고 신뢰할 수 있는 배포를 가능하게 합니다.

저자들은 한계를 인정하며, 이 방법이 토큰 단위 불확실성에 초점을 맞추고 더 높은 수준의 의미적 불일치를 간과할 수 있음을 지적합니다. 또한, 적대적 증류에 대한 의존성은 증류 데이터셋의 품질에 의존성을 초래하지만, 실험은 제한된 샘플로도 방법이 견고함을 시사합니다. 이 연구는 현실 세계 시나리오에서 블랙박스 LLM 의 신뢰성을 향상시키기 위한 한 걸음으로 제시됩니다.