기술 요약: 결정 잠재력 표면 (DPS)

문제 제기

대형 언어 모델 (LLM) 의 결정 경계를 분석하는 것은 추론, 인맥 학습 (in-context learning), 할루시네이션, 암기 등 그 핵심 속성을 이해하는 데 필수적입니다. 그러나 주류 LLM 에 대해 이러한 경계를 구성하는 것은 현재 계산적으로 불가능합니다. 제한된 출력 클래스를 가진 전통적인 심층 신경망과 달리, LLM 은 광범위한 어휘 (종종 10 만 개 이상의 토큰) 를 대상으로 작동하며 자기회귀적으로 시퀀스를 생성합니다. 길이 $N_r$인 시퀀스와 어휘 크기 $V$에 대해 출력 공간의 크기는 $V^{N_r}$이며, 이는 결정 영역의 기하급수적 폭발을 초래합니다 (예: Qwen-3 모델의 경우 약 $10^{169,790}$). 기존 접근법들은 문제를 단순한 이진 분류 시나리오로 축소하거나, 실제 구성 없이 결정 경계 개념을 은유적으로만 사용하는 경향이 있어, LLM 결정 경계를 어떻게 효율적이고 엄격하게 구성할지에 대한 질문은 여전히 답이 없습니다.

방법론

본 논문은 **결정 잠재력 표면 (Decision Potential Surface, DPS)**과 그 실용적 근사치인 K-DPS를 중심으로 한 새로운 프레임워크를 제안합니다.

1. 결정 잠재력 표면 (DPS)

저자들은 DPS 를 입력 다양체 (input manifold) 위의 지형으로 정의하며, 각 점은 후보 출력 간의 "경쟁 잠재력"을 인코딩합니다.

• 결정 잠재력 함수 (DPF): 주어진 입력 $x$에 대해, DPF $\Phi^\infty_f(x)$는 생성된 상위 두 시퀀스 ($y_{1*}$ 및 $y_{2*}$) 간의 로그 가능도 차이의 제곱으로 정의됩니다:
  $$\Phi^\infty_f(x) = (\log P_f(y_{1*}|x) - \log P_f(y_{2*}|x))^2$$
• 이론적 동등성: 저자들은 DPS 의 영높이 등고선 (즉, $\Phi^\infty_f(x) = 0$인 등고선) 이 LLM 의 공식적인 결정 경계 (두 개의 서로 다른 시퀀스가 동일한 최대 생성 확률을 가지는 입력들의 집합) 와 수학적으로 동등함을 증명합니다. 이 경계로 분리된 영역들은 시퀀스 공간에서의 보로노이 셀 (Voronoi cells) 에 해당합니다.
• 신뢰도 계층: 0 이 아닌 등고선 ($\epsilon$-등고선) 은 상위 두 후보 간의 일정한 신뢰도 마진 ($\sqrt{\epsilon}$ 네이트) 의 등고선을 나타내며, 입력 공간을 신뢰할 수 있는 영역, 불확실한 영역, 그리고 경계 자체로 분할합니다.

2. K-세분화 결정 잠재력 표면 (K-DPS)

정확한 DPF 를 계산하려면 전체 출력 공간을 열거해야 하므로 (실현 불가능), 저자들은 유한 샘플링을 사용하는 근사치인 K-DPS를 제안합니다.

• 샘플링 메커니즘: K-DPS 는 포괄적인 탐색 대신, 주어진 입력에 대해 모델의 출력 분포에서 $K$개의 독립적이고 동일하게 분포된 (i.i.d.) 시퀀스를 샘플링하여 DPF 를 추정합니다. 이 샘플 세트 내의 상위 두 시퀀스 ($y^K_{1*}, y^K_{2*}$) 를 사용하여 근사 잠재력 $\Phi^K_f(x)$를 계산합니다.
• 복잡도 감소: 이는 계산 복잡도를 $O(V^{2N_r})$에서 $O(K^2)$로 줄여 산업 규모 모델에 대한 분석을 실현 가능하게 합니다.

3. 이론적 오차 한계

본 논문은 K-DPS 와 이상적인 DPS 사이의 근사 오차에 대한 엄격한 이론적 보장을 제공합니다:

• 절대 오차 한계: 오차 $|\Phi^K_f(x) - \Phi^\infty_f(x)|$는 높은 확률로 $1/\sqrt{K}$에 비례하여 제한됩니다.
• 기대 오차 및 집중: 기대 오차와 꼬리 확률이 유도되어, $K$가 증가함에 따라 오차가 빠르게 집중됨을 보여줍니다.
• 로컬 후보 집합 한계: 저자들은 "거의 2 위" 후보들의 확률 질량에 의존하는 한계를 도입하여, 샘플 세트가 실제 1 위와 실제 2 위와 가까운 후보를 포착한다면 오차는 무시할 수 있음을 입증합니다.

주요 기여

1. DPS 의 공식적 정의: 결정 잠재력 함수와 표면의 도입, 그리고 영높이 등고선이 LLM 결정 경계와 동등함을 증명.
2. K-DPS 알고리즘: 증명 가능한 작은 오차로 결정 경계를 근사하기 위해 $K$개의 샘플만 필요한 실용적인 유한 샘플링 근사 알고리즘 제안.
3. 이론적 보장: 절대 오차 한계, 기대 오차 한계, 집중 부등식의 유도 및 샘플링 예산 ($K$) 과 근사 정확도 간의 트레이드오프 확립.
4. 실증적 검증: 오픈소스 LLM (예: Llama-3, Mistral, Tulu) 에 대한 광범위한 실험을 통해 K-DPS 가 실용적인 샘플링 예산 (예: $K \approx 2,500$) 으로 빠르게 수렴하며 모델 행동의 해석 가능한 기하학적 변화를 드러냄을 입증.

결과 및 사례 연구

저자들은 K-DPS 를 두 가지 핵심 영역에 적용하여 그 해석 가능성을 입증합니다:

• 정렬 분석 (Alignment Analysis): AdvBench 프롬프트를 사용하여 정렬 전후 모델의 결정 경계를 시각화한 결과, 정렬된 모델은 훨씬 더 매끄럽고 평탄한 결정 표면을 보이는 것으로 나타났습니다. 정렬되지 않은 모델에서 존재하던 고신뢰도 "취약성 스파이크"가 제거되었으며, 이는 해로운 출력이 발생할 가능성이 높은 좁은 영역을 제거함으로써 정렬이 재브레이크 (jailbreak) 를 완화하는 이유를 설명합니다.
• 기계적 망각 (Machine Unlearning): 이 방법은 망각 알고리즘 (예: 경사 상승법 vs. 부정적 선호도 최적화) 의 부작용을 시각화합니다. 단순한 망각은 결정 다양체의 "재앙적 붕괴"를 초래하여 망각 코퍼스와 관련 없는 거칠고 파편화된 영역을 생성함을 보여줍니다. 반면, 유지 훈련 (retention training) 을 수반하는 방법은 결정 표면의 매끄러움을 유지합니다.

중요성 및 주장

본 논문은 이론적 보장과 계산적 실현 가능성 모두를 갖춘 LLM 의 결정 경계를 구성한 최초의 연구라고 주장합니다.

• 실용성: 결정 경계의 이론적 개념과 자기회귀 생성의 실용적 제약 사이의 간극을 메우며, 단순한 시나리오를 넘어선 접근을 가능하게 합니다.
• 해석 가능성: 결정 잠재력 표면의 "높이"를 시각화함으로써, 이전에 직접 관찰하기 어려웠던 강건성, 정렬, 망각 손상과 같은 현상을 이해할 수 있는 기하학적 렌즈를 제공합니다.
• 이론적 엄밀성: 휴리스틱 불확실성 정량화 방법과 달리, K-DPS 는 명시적인 오차 한계를 가진 원칙적이고 경계를 인식하는 인증을 제공하여, 사후 점수 매기음에서 기하학적 경계 분석으로의 패러다임 전환을 이끕니다.

저자들은 긴 고엔트로피 생성에 대해서는 겸손한 태도를 유지하며, K-DPS 는 제한된 길이의 응답에는 잘 작동하지만, 매우 긴 출력 (예: 8K 토큰) 에 대한 정확한 시퀀스 수준의 경계 구성은 결합 확률의 소실로 인해 본질적인 어려움에 직면한다고 지적합니다. 이러한 regime 에 대해서는 토큰 단위 또는 접두사 조건부 변형이 필요함을 시사합니다.