기술 요약: LLM 추론의 중간 단계 불확실성을 위한 임베딩 교란

문제 정의

대형 언어 모델 (LLM) 은 추론 작업에서 중요한 돌파구를 이루었지만, 여전히 신뢰할 수 없거나 오해의 소지가 있는 출력을 생성하기 쉽습니다. 최종 답변에 대한 모델의 신뢰도를 추정하기 위한 불확실성 정량화 (UQ) 기법이 존재하지만, 추론 사슬 내의 중간 단계 불확실성을 평가하는 데는 종종 부적절합니다. 기존 방법들은 다음과 같은 한계를 겪고 있습니다:

• 샘플링 기반 접근법(예: 자기 일관성)은 일치를 확인하기 위해 여러 응답을 생성해야 합니다. 이는 최종 답변에는 효과적일 수 있지만, 계산 비용이 많이 들고 오류가 발생한 특정 중간 단계를 정확히 찾아내는 데 어려움을 겪습니다.
• 확률 기반 지표(예: 토큰 확률, 엔트로피, 마진)는 언어적으로 드물지만 올바른 저확률 토큰과 실제 추론 오류를 나타내는 토큰을 구별하지 못하는 경우가 많습니다. 또한 추론 오류를 감사하는 데 필요한 장기적 문맥 의존성을 포착하는 데도 어려움을 겪습니다.
• 베이지안 기반 방법(예: 가중치 교란) 은 특히 대규모 모델의 경우 계산적으로 부담스러울 수 있습니다.

해결된 핵심 문제는 모델의 불확실성이 가장 높은 추론 사슬 내의 특정 토큰이나 단계를 식별할 수 있는 효율적이고 세분화된 지표의 부재입니다. 이는 잠재적인 오류를 나타냅니다.

방법론

저자들은 중간 단계 불확실성을 정량화하기 위한 새로운 접근법으로 임베딩 교란을 제안합니다. 핵심 가설은 잘못된 추론 단계에는 이전 토큰의 임베딩에 작은 교란이 가해졌을 때 매우 민감한 토큰이 포함되어 있다는 것입니다. 이 민감성은 모델이 여러 경쟁적인 연속체 (즉, 현재 토큰으로 진행할지 경쟁 토큰으로 진행할지) 사이에서 내부적으로 망설이는 것을 반영합니다.

이 방법은 LLM 이 자기회귀적이라는 전제에 기반합니다. 즉, 토큰 $x_t$의 생성은 오직 이전 토큰 $x_{1:t-1}$에만 의존합니다. 저자들은 토큰 생성 확률을 이전 토큰 임베딩 $H_{1:t-1}$의 함수로 정의합니다. 그리고 이러한 임베딩에 대한 교란에 대한 모델의 민감도를 두 가지 특정 지표로 측정합니다:

1. 무작위 교란 (Rand. Pert.):

   • 입력과 응답의 모든 토큰 임베딩에 무작위 가우시안 잡음 $\Delta \sim \mathcal{N}(0, \sigma^2 I)$이 추가됩니다.
   • 이 지표는 여러 잡음 샘플에 대한 대상 토큰 $x_t$의 로그 확률의 분산으로 정의됩니다:
     $$\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$$
   • 이는 약간의 문맥 변화 하에서 토큰 선택의 불안정성을 포착합니다.

2. 적대적 교란 (Adv. Pert.):

   • 무작위 샘플링 대신, 생성된 응답의 전체 로그 확률을 최대한 감소시키는 방향 (부호화된 기울기 사용) 으로 임베딩이 수정됩니다.
   • 이 지표는 교란 전후의 로그 확률 차이입니다:
     $$\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$$
   • 이는 선택된 토큰과 "경쟁 토큰" 사이의 결정 경계와 가까운 토큰을 식별하며, 적대적 이동에 의해 가장 교란받는 토큰을 나타냅니다.

이론적 통찰:
이 논문은 이러한 교란 민감도가 선택된 토큰과 경쟁 토큰 사이의 결정 경계로부터 현재 임베딩까지의 기하학적 거리를 반비례적으로 근사한다는 이론적 분석을 제공합니다. 높은 민감도 점수는 임베딩이 다른 토큰 (잠재적으로 다른 추론 경로로 이어질 수 있음) 이 선택될 경계 근처에 있음을 의미하며, 이는 높은 불확실성을 신호합니다. 중요한 점은 저자들이 이 지표가 원시 확률 기반 지표에 비해 자연어 토큰 빈도에 의해 덜 편향된다고 주장한다는 것입니다.

주요 기여

1. 새로운 UQ 지표: 최종 답변의 신뢰도와 구별되는 LLM 추론의 중간 단계 불확실성을 포착하도록 특별히 설계된 교란 기반 지표 (무작위 및 적대적) 의 도입.
2. 이론적 정당성: 교란 민감도가 기울기 노름을 근사하며, 이는 다시 경쟁 추론 경로 사이의 결정 경계까지의 거리를 반비례적으로 근사한다는 공식적 증명.
3. 효율성: 제안된 방법들은 계산적으로 효율적인 것으로 입증되었습니다. 적대적 교란은 단 하나의 역전파와 순전파만 필요로 하며, 무작위 교란은 전체 시퀀스에 대해 단일 교란 세트를 재사용하여 다중 샘플링 시도의 막대한 오버헤드를 피합니다.
4. 실증적 검증: 추론 사슬에서 첫 번째 오류 단계를 식별하는 데 있어 기존 베이스라인보다 이러한 지표들이 더 우수함을 보여주는 광범위한 실험.

실험 결과

저자들은 네 가지 모델 (Llama-3.1, OpenMath, Qwen, Mistral) 을 대상으로 수학적 추론(MATH 데이터셋) 및 논리적 추론(BIG-Bench Hard) 작업에서 그들의 방법을 평가했습니다.

• 성능: 무작위 및 적대적 교란 지표 모두 다음을 포함한 베이스라인보다 일관되게 우수했습니다:
  • 토큰 수준: 음의 로그 가능도 (NLL), 엔트로피, 확률 마진, 그리고 베이지안 기반 TokUR.
  • 문장 수준: CCP, TokenSAR, 그리고 그래프 불확실성 (다중 샘플링).
  • MATH 데이터셋에서 적대적 교란은 Llama 의 경우 톱 -3 탐지율 0.65(TokUR 의 0.55 대비) 를, Qwen 의 경우 0.61(TokUR 의 0.56 대비) 을 달성했습니다.
• 효율성: 단일 NVIDIA GH200 GPU 에서 적대적 교란은 생성당 0.28 초만 추가되었으며, 무작위 교란 (20 회 반복) 은 0.90 초를 추가했습니다. 이는 다중 샘플링 접근법보다 훨씬 빠릅니다.
• 할루시네이션 탐지: 사실적 할루시네이션 탐지를 위한 FactScore 데이터셋에서 테스트했을 때, 교란 기반 방법은 다중 샘플링 방법보다 부진한 성능을 보였습니다. 저자들은 이러한 오류 패턴의 근본적인 차이로 인해 이를 설명합니다. 할루시네이션은 종종 교란 하에 안정적으로 유지되는 허위 상관관계나 약한 근거에서 발생하지만, 추론 오류는 경로 선택의 진정한 불안정성을 수반하기 때문입니다.

중요성 및 주장

이 논문은 기존 방법들에 비해 임베딩 교란이 LLM 의 추론 과정을 감사하는 보다 효과적이고 효율적인 방법을 제공한다고 주장합니다. 임베딩 교란에 높은 민감도를 보이는 토큰을 식별함으로써 실무자들은 다음과 같은 작업을 수행할 수 있습니다:

• 모델이 올바른 추론 경로에서 벗어나기 시작하는 정확한 위치를 파악합니다.
• 불확실한 단계에서 특히 트리거되는 반성 기반 메커니즘이나 자기 수정과 같은 세분화된 개입을 가능하게 합니다.
• 생성 과정 자체에서 파생된 해석 가능한 불확실성 신호를 제공함으로써 검증 모델의 개발을 촉진합니다.

저자들은 겸손하게 한계를 인정합니다. 이 방법은 허위 상관관계에 의해 주도되는 할루시네이션을 탐지하지 못할 수 있으며, 정확성에 대한 불확실성과 여러 유효한 추론 경로 사이의 선택에서 비롯된 불확실성을 항상 완벽하게 분리하지는 못합니다. 그러나 이 연구는 확률 기반 또는 샘플링 기반 베이스라인에 비해 절차적 추론 오류를 탐지하는 데 교란 기반 지표가 더 우수한 도구임을 입증했습니다.