기술 요약: SAGE – 언어적 불확실성 정렬을 위한 답변 조건부 불확실성 타겟

문제 정의

대규모 언어 모델(LLM)은 근본적인 답변이 불확실하거나 근거가 부족함에도 불구하고 유창하고 그럴듯한 텍스트를 생성하는 경우가 많으며, 이는 실세계에서 심각한 결과로 이어질 수 있는 환각(hallucination) 현상을 초래합니다. 연구자들은 내부 신호(예: 토큰 확률)나 샘플링 기반 신호를 사용하여 불확실성을 추정하는 방법을 탐구해 왔으나, 모델이 명시적으로 확신을 표현하는(예: "제 확신도는 80%입니다") **언어적 불확실성(verbal uncertainty)**은 사용자에게 직접적이고 해석 가능한 신호를 제공합니다.

그러나 **언어적 불확실성 정렬(verbal uncertainty alignment)**에는 중요한 격차가 존재합니다. 즉, 표현된 불확실성이 모델의 실제 행동적 신뢰도를 반영하지 못하는 경우가 많다는 점입니다. 기존 방식들은 불확실성 교정(calibration)을 응답 수준의 문제(예: 단일 출력에 대한 지도 미세 조정 또는 쌍체 선호도 최 optimization)로 취급합니다. 저자들은 이것이 근본적으로 불충분하다고 주장하는데, 단일 응답만으로는 모델의 확률 질량이 해당 답변에 집중되어 있는지 아니면 다양한 가능한 대안들로 분산되어 있는지를 드러낼 수 없기 때문입니다. 이는 모델이 자신의 응답 분포의 안정성과 불확실성 표현을 정렬하는 법을 배우는 대신, 단순히 불확실성 표현을 흉내 내는 데 그치게 만드는 "분포적 맹목성(distributional blindness)"을 초래합니다.

또한, 그룹 수준 타겟(반복적인 롤아웃을 사용하여 불확실성을 추정하는 방식)은 이론적으로는 타당하지만, 기존 방법들은 "보상 신호 병목 현상(reward-signal bottleneck)"을 겪습니다:

1. 최대 답변 빈도(MAF): 답변의 안정성에는 충실하지만 조잡합니다. 의미적 거리와 추론의 변동을 무시하며, 다수 횟수가 일치하면 서로 다른 그룹들을 동일한 점수로 매핑합니다.
2. 의미적 엔트로피(SE): 하드한 의미적 클러스터링을 통해 패러프레이즈를 처리하지만, 불연속적이고 거친 보상을 생성합니다. 클러스터 내부의 작은 변화는 신호를 생성하지 못하는 반면, 경계를 넘어서면 급격한 도약을 일으킵니다.
3. 커널 언어 엔트로로피(KLE): 연속적인 임베딩 유사성을 통해 부드러운 신호를 제공하지만, 작업에 결정적인 답변 구분을 보존하는 데 실패합니다. 일반적인 임베딩 기하학 때문에 서로 배타적인 옵션(예: "A" 대 "B")이나 서로 다른 수치 값을 매우 유사하게 취급하여 불확실성을 과소평가할 수 있습니다.

방법론

본 논문은 이러한 한계를 해결하기 위해 두 부분으로 구성된 프레임워크인 SAGE(Semantic-Answer Guided Entropy) 타겟 구축과 GUPO(Group-Uncertainty Preference Optimization) 학습을 제안합니다.

1. SAGE: Semantic-Answer Guided Entropy

SAGE는 답변 조건부 불확실성 기하 구조를 구축하기 위해 설계된 그룹 수준의 자기 불확실성 타겟입니다. 이는 동시에 답변에 충실하고(answer-faithful), 보상이 부드러우며(reward-smooth), 척도가 보존(scale-preserving)되도록 하는 것을 목표로 합니다.

• 언어적 커널(Linguistic Kernel): 응답의 답변을 담고 있는 콘텐츠 $z_i$를 기반으로 하여, 부드러운 의미적 유사성을 측정하는 연속적인 의미 유사성 커널 $K_{ling}$에서 시작합니다.
• 답변 동등성 커널(Answer-Equivalence Kernel): 일반적인 임베딩이 작업에 결정적인 구분을 흐리는 것을 방지하기 위해, SAGE는 작업 특화된 이진 답변 동등성 커널 $K_{ans}^{bin}$을 도입합니다. 이 커널은 동등한 답변(예: 동일한 객관식 라벨, 정규화된 수치 값, 또는 검증된 기호 표현)에는 1을 할당하고, 그렇지 않은 경우에는 0을 할당합니다.
• 소프트 플로어(Soft Floor): 하드 클러스터링의 불연속성을 피하기 위해, SAGE는 다음과 같은 "소프트 플로어" 메커니즘을 채택합니다:
  $$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$$
  여기서 $c \in [0, 1]$은 답변 분리 정도를 제어합니다. $c=0$은 엄격한 분리를 강제하고, $c=1$은 순수한 언어적 유사성을 회복합니다.
• 결합 커널(Combined Kernel): 최종 커널은 언어적 유사성과 답변 인식 유사성을 결합합니다:
  $$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$$
• 엔트로피 계산: 커널 행렬은 밀도 행렬 $P_A$로 정규화되며, SAGE는 $P_A$의 정규화된 폰 노이만 엔트로피(von Neumann entropy)로 정의됩니다. 낮은 엔트로피는 집중된 응답(낮은 불확실성)을 나타내고, 높은 엔트로피는 의미, 추론 경로 또는 최종 답변의 분산을 나타냅니다.

2. GUPO: Group-Uncertainty Preference Optimization

GUPO는 SAGE를 감독 신호로 사용하는 학습 프레임워크입니다. 표준 방식과 달리, GUPO는 전체 응답이 아닌 응답 $y_i = (z_i, v_i)$의 불확실성 채널($v_i$)만을 최적화합니다.

• 선호도 구축: $K$개의 샘플링된 응답 그룹에 대해, 보상 $r_i$는 표현된 불확실성 $\hat{u}(v_i)$와 SAGE 타겟 $t(G_x)$ 사이의 거리에 따라 계산됩니다.
• 최적화: GUPO는 그룹 내의 불확실성 표현에 대해 선호도 분포를 적용하여, 그룹 수준의 타겟과 더 잘 일치하는 불확실성 표현의 로그 가능도를 최대화하도록 정책을 최적화합니다. 이는 다음과 같이 공식화됩니다:
  $$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$$
  여기서 $p_i^{cal}$은 보상 점수로부터 유도된 선호도 확률입니다.

주요 기여

1. 문제 공식화: 저자들은 언어적 불확실성 정렬을 **분포적 교정 문제(distributional calibration problem)**로 식별하고, 기존의 그룹 수준 타겟(MAF, SE, KLE)이 가지는 "보상 신호 병목 현상"을 지적했습니다.
2. SAGE 타겟: 답변 인식 구조를 응답 기하 구조에 주입하는 새로운 엔트로피 타겟인 SAGE를 도입했습니다. 이는 부드러움을 유지하면서도 일반적인 메트릭이 호환되지 않는 답변(예: 서로 다른 옵션 라벨 또는 별개의 숫자)을 구분하지 못하는 문제를 교정합니다.
3. GUPO 프레임워크: 언어적 불확실성의 교정을 전체 응답 콘텐츠의 최적화로부터 분리하는 불확실성 채널 선호도 최적화 프레임워크인 GUPO를 제안합니다.
4. 실증적 검증: 이 접근 방식은 세 가지 서로 다른 답변 형식(Factual QA - TriviaQA, Mathematical Reasoning - MATH-500, Multiple-choice Reasoning - MMLU-Pro)에 걸쳐 검증되었습니다.

결과

실험 결과, GUPO + SAGE는 기존의 베이스라인(Direct Verbalized, CoT, CSFT, LoVeC-DPO 포함) 및 대안적인 그룹 타겟(MAF, SE, KLE)보다 일관되게 우수한 성능을 보였습니다.

• 교정(Calibration): 이 방법은 모든 벤치마크에서 가장 낮은 **브라이어 점수(Brier scores)**와 **기대 교정 오차(ECE)**를 달달성했습니다. 예를 들어, MMLU-Pro에서 GUPO+SAGE는 차순위 베이스라인의 ECE가 0.179인 것에 비해 0.113으로 낮추었습니다.
• 불확실성 순위(Uncertainty Ranking): **스피어만 상관계수(Spearman correlation)**를 크게 개선하여, 모델이 표현하는 불확실성이 실제 신뢰도에 따라 사례들을 더 잘 순위 매길 수 있음을 보여주었습니다.
• 선택적 정확도(Selective Accuracy): 프레임워크는 고신뢰 구간 하위 집합 정확도(예: MMLU-Pro의 다양한 신뢰도 임계값에서 +22.4 ~ +33.0 퍼센트 포인트 상승)에서 상당한 이득을 얻었으며, 이는 낮은 불확실성이 할당된 예측이 실제로 더 정확할 가능성이 높음을 증명합니다.
• 전이 가능성(Transferability): 개선 사항은 다양한 모델 규모(Qwen2.5-1.5B, 3B, 7B)에서도 유지되었으며, 이는 이 방법이 특정 백본 용량에 의존하지 않음을 시사합니다.

의의 및 주장

본 논문은 **그룹 수준의 행동적 불확실성을 단일 응답의 불확실성 표현으로 증류(distill)**할 수 있는 것은 타겟 구축과 최적화 채널이 모두 적절히 설계되었을 때만 가능하다고 주장합니다.

• 타겟 격차 해소: 저자들은 SAGE와 같이 답변 인식 구조를 갖춘 신뢰할 수 있는 타겟 없이는 보상 신호가 노이즈나 지름길(shortcut)로 붕괴되어, 최적화 도구가 교정된 불확실성과 표면적인 패턴을 구분하는 것을 방해한다고 주장합니다.
• 행동적 정렬: 이 연구는 단순히 불확실성을 "말하는" 법을 배우는 것에서, 모델 자신의 샘플링 행동의 안정성을 "반영하는" 법을 배우는 것으로 패러다임을 전환합니다.
• 실용적 유용성: 언어적 불확실성의 순서와 척도를 개선함으로써, 이 프레임워크는 모델 출력에 대한 신뢰, 검증 또는 중단과 같은 더 효과적인 다운스트림 의사결정을 가능하게 합니다.

한계점: 저자들은 자신의 방법이 언어적 불확실성을 외부적 정답성(truthfulness)이 아닌 행동적 자기 불확실성(샘플링의 안정성)에 정렬시킨다는 점을 겸허히 언급했습니다. 모델은 안정적이지만 틀릴 수 있습니다. 따라서 SAGE는 정답 기반의 교정 및 외부 검증을 대체하는 것이 아니라 이를 보완하는 것으로 제시되며, 특히 의료나 법률과 같이 도메인 특화된 증거가 필요한 고위험 영역에서는 더욱 그러합니다. 또한, 타겟의 품질은 답변 추출 및 동등성 모듈의 신뢰성에 달려 있습니다.