💬 NLP

Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

이 논문은 생성 모델의 불확실성을 정량화하기 위해 언어 모델의 생성된 출력 임베딩 간 기하학적 분산을 von Mises-Fisher 분포를 기반으로 측정하는 새로운 통계적 절차인 '방향성 집중 불확실성 (DCU)'을 제안하며, 이는 기존 휴리스틱 기반 방법보다 유연하고 우수한 성능을 보임과 동시에 다중 모달 도메인에서도 잘 일반화됨을 입증합니다.

원저자: Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

게시일 2026-02-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: AI 는 언제든 "모르겠다"고 말해야 합니다

우리가 AI 에게 질문을 하면, AI 는 항상 정답을 주는 것처럼 보입니다. 하지만 AI 가 사실은 전혀 모르고 있을 때 (예를 들어, 환각 현상) 에도 자신만만하게 거짓말을 할 수 있습니다. 우리는 AI 가 **"이 답변을 얼마나 믿을 수 있는가?"**를 알 수 있는 '신뢰도 게이지'가 필요합니다.

지금까지의 방법 (기존 연구) 은 **'의미론적 엔트로피 (Semantic Entropy)'**라는 방식을 썼습니다.

기존 방법 (요리사 10 명에게 같은 요리를 시키기):
AI 에게 같은 질문을 10 번 물어보고 10 개의 답변을 받습니다. 그런 다음, **"이 10 개의 답변이 의미상 같은가?"**를 분석합니다.
- 예: "서울의 인구는 1 천만 명이다", "서울에는 1 천만 명이 산다" → 의미가 같음 (신뢰도 높음)
- 예: "서울은 한국 수도다", "서울은 일본 도시다" → 의미가 다름 (신뢰도 낮음)
한계점: 이 방법은 텍스트의 의미를 비교하는 복잡한 규칙이 필요합니다. 짧은 질문에는 잘 작동하지만, 그림이 섞인 복잡한 질문이나 긴 글을 요약할 때는 "의미가 같은지"를 판단하는 기준이 모호해져서 실패합니다. 마치 "이 두 문장이 같은 뜻일까?"를 판단하기 위해 매번 철학자가 필요했던 것과 같습니다.

2. 새로운 해결책: DCU (나침반과 방향)

저자들은 **"의미가 같은지 말하지 말고, AI 가 생각한 '방향'이 같은지 보자"**라고 제안합니다.

새로운 방법 (나침반 10 개를 한곳에 모으기):
AI 가 10 번 답변을 생성하면, 각 답변을 **수학적 좌표 (벡터)**로 바꿉니다. 이 좌표들은 3 차원 공간에서 하나의 '방향'을 가리킵니다.
- 신뢰도가 높을 때 (낮은 불확실성): 10 개의 나침반 바늘이 모두 똑같은 방향을 가리킵니다. (예: 모두 북쪽) → AI 는 확신합니다.
- 신뢰도가 낮을 때 (높은 불확실성): 10 개의 나침반 바늘이 서로 다른 방향으로 흩어집니다. (예: 북, 남, 동, 서로 제각각) → AI 는 혼란스럽습니다.

이것을 **'방향성 집중 (Directional Concentration)'**이라고 부릅니다. AI 가 생성한 답변들이 수학적으로 얼마나 한곳에 모여 있는지 (집중되어 있는지) 를 측정하는 것입니다.

3. 왜 이것이 더 좋은가요? (창의적 비유)

기존 방법 (의미 분석):
"이 두 문장이 같은 뜻일까?"를 판단하려면 **전문 번역가 (또는 철학자)**가 필요합니다. 문장이 길어지거나, 그림이 섞이면 번역가가 혼란스러워져서 판단을 못 합니다.
새로운 방법 (DCU):
번역가가 필요 없습니다. 그냥 나침반만 있으면 됩니다.
- 텍스트든, 그림이 섞인 질문이든 상관없습니다. AI 가 어떤 형태로든 답변을 내면, 그것을 수학적인 '방향'으로 바꾸기만 하면 되니까요.
- 마치 무지개 빛깔의 공을 생각해보세요. 색깔 (의미) 이 다르면 비교하기 어렵지만, 공들이 **어느 한곳에 모여 있는지 (집중도)**만 보면 얼마나 AI 가 혼란스러운지 바로 알 수 있습니다.

4. 실험 결과: 복잡한 세상에서도 잘 작동합니다

저자들은 이 방법을 테스트했습니다.

일반적인 질문 (텍스트만): 기존 방법과 비슷한 성능을 냈습니다. (이미 잘하는 일도 잘합니다.)
복잡한 질문 (그림 + 텍스트): 여기서 기존 방법은 엉망이 되었지만, DCU 는 훨씬 잘 작동했습니다. 그림과 글이 섞인 과학 질문을 했을 때, 기존 방법은 "의미가 같은지"를 판단하느라 고생했지만, DCU 는 AI 의 '생각 방향'이 흩어지는지 바로 감지해냈습니다.

5. 결론: AI 의 '자신감 게이지'를 더 똑똑하게 만들다

이 논문이 말하고자 하는 핵심은 다음과 같습니다.

"AI 가 얼마나 확신하는지 알기 위해, 복잡한 '의미 비교'를 할 필요가 없습니다. 대신 AI 가 내놓은 답변들이 **수학적으로 한곳에 모여 있는지 (집중되어 있는지)**만 보면 됩니다. 이 방법은 텍스트뿐만 아니라 그림, 소리 등 어떤 형태의 AI 답변에서도 작동할 수 있어, 앞으로 더 다양한 AI 시스템에 적용될 수 있습니다."

한 줄 요약:
AI 가 "모르겠다"고 말할 때, 우리는 그 답변들이 서로 다른 방향으로 흩어지는지만 보면 되는데, 이 새로운 방법은 그 흩어짐을 나침반처럼 정확하게 측정해줍니다.

1. 문제 정의 (Problem)

생성형 모델 (Large Language Models, LLM 등) 을 신뢰할 수 있는 의사결정이나 민감한 분야에 적용하기 위해서는 모델의 출력에 대한 **불확실성 정량화 (Uncertainty Quantification, UQ)**가 필수적입니다. 기존 연구에서는 주로 샘플링 기반 (Sampling-based) 접근법을 사용하며, 그 중 **의미적 엔트로피 (Semantic Entropy, SE)**가 대표적인 방법론입니다.

기존 방법의 한계: SE 는 여러 번 생성된 답변을 '의미적 동등성 (Semantic Equivalence)'에 따라 클러스터링하고, 이 클러스터 분포의 엔트로피를 계산하여 불확실성을 측정합니다.
핵심 문제점:
1. 엄격한 휴리스틱 의존: 의미적 동등성을 판단하기 위해 텍스트 함의 (Entailment) 모델 등을 사용하는데, 이는 짧은 질문 - 답변 (QA) 작업에는 효과적이지만, 길고 복잡한 텍스트나 다른 모달리티 (이미지 등) 에서는 적용이 어렵습니다.
2. 일반화 부족: 작업 유형 (요약, 생성 등) 이나 모달리티가 달라지면 의미적 클러스터링의 정의가 달라져 성능이 급격히 저하됩니다.
3. 이산적 처리: 텍스트를 이산적인 클러스터로 묶는 과정에서 정보 손실이 발생할 수 있습니다.

2. 방법론 (Methodology)

저자들은 **방향성 집중 불확실성 (Directional Concentration Uncertainty, DCU)**이라는 새로운 프레임워크를 제안합니다. 이는 텍스트의 의미적 유사성이 아닌, 임베딩 공간에서의 기하학적 분산을 기반으로 불확실성을 측정합니다.

핵심 아이디어:
- 동일한 입력에 대해 생성된 여러 출력 (Samples) 을 연속적인 임베딩 벡터로 변환합니다.
- 이 벡터들이 단위 초구 (Unit Hypersphere) 상에서 얼마나 집중되어 있는지 (Directional Concentration) 를 통계적으로 모델링합니다.
- 높은 집중도 (Concentration) = 모델의 응답이 일관적임 = 낮은 불확실성
- 낮은 집중도 (Dispersion) = 모델의 응답이 다양함 = 높은 불확실성
수학적 절차:
1. 샘플링: 입력 $x$ 에 대해 LLM 을 $N$ 번 실행하여 출력 집합 $O(x) = \{y_1, ..., y_N\}$ 을 생성합니다.
2. 임베딩 및 정규화: 각 출력을 사전 학습된 임베딩 모델 ( $\phi$ ) 로 변환한 후 $\ell_2$ 정규화를 수행하여 단위 초구 $S^{d-1}$ 상의 벡터 $z_i$ 를 얻습니다.
  $z_i = \frac{\phi(y_i)}{\|\phi(y_i)\|}$
3. vMF 분포 모델링: 정규화된 벡터들을 폰 미세스 - 피셔 (von Mises-Fisher, vMF) 분포로 모델링합니다.
  - vMF 분포는 평균 방향 $\mu$ 와 집중도 파라미터 $\kappa$ 로 정의됩니다.
  - $\kappa$ 가 클수록 데이터가 평균 방향 주위에 밀집되어 있음을 의미합니다.
4. 불확실성 점수 산출:
  - $\kappa$ 를 최대우도추정 (MLE) 으로 추정합니다.
  - 불확실성 점수는 집중도의 역수인 $\kappa^{-1}$ 로 정의합니다. ( $\kappa$ 가 작을수록 불확실성이 높음)
차별점: SE 와 달리 의미적 클러스터링이나 엔타일먼트 모델을 사용하지 않으며, 임베딩 공간의 기하학적 구조만 활용하므로 작업 및 모달리티에 구애받지 않는 유연성을 가집니다.

3. 주요 기여 (Key Contributions)

새로운 UQ 프레임워크 (DCU) 제안: 텍스트의 의미적 동등성에 의존하지 않고, 임베딩의 기하학적 집중도를 기반으로 한 새로운 불확실성 측정법 개발.
휴리스틱 제거: 특정 작업 (QA 등) 에 맞춰 설계된 의미적 클러스터링 규칙을 제거하여, 텍스트뿐만 아니라 멀티모달 (이미지 + 텍스트) 작업에도 적용 가능한 범용성 확보.
성능 검증: 단순한 텍스트 QA 작업에서는 기존 최첨단 방법인 SE 와 동등하거나 더 나은 성능을 보이며, 복잡한 시각적 질문 답변 (Visual QA) 작업에서는 SE 의 성능 저하를 극복하고 DCU 가 우월한 성능을 입증함.

4. 실험 결과 (Results)

저자들은 텍스트 기반 QA 데이터셋 (TriviaQA, SQuAD, NQ-Open) 과 멀티모달 데이터셋 (ScienceQA) 을 사용하여 실험을 수행했습니다.

단순 텍스트 QA 작업 (TriviaQA, SQuAD, NQ-Open):
- DCU 는 SE 와 비교하여 AUROC (불확실성 점수가 올바른/잘못된 출력을 구분하는 능력) 측면에서 경쟁력 있는 성능을 보였습니다.
- 일부 모델 (Falcon, Mistral 등) 과 데이터셋에서는 SE 를 능가하거나 동등한 성능을 기록했습니다.
- 부트스트랩 (Bootstrap) 재표본추출을 통해 결과의 통계적 유의성을 확인했습니다.
시각적 질문 답변 (Visual QA, ScienceQA):
- SE 의 한계 확인: 멀티모달 환경에서 SE 는 의미적 클러스터링이 어렵거나 텍스트와 이미지의 관계를 제대로 반영하지 못해 AUROC 점수가 매우 낮게 (0.5 수준, 무작위 추측 수준) 나왔습니다.
- DCU 의 우월성: DCU 는 멀티모달 임베딩 (CLIP 등) 을 활용하여 SE 보다 훨씬 높은 AUROC 점수를 기록했습니다 (예: LLaVA 모델에서 DCU 0.67 vs SE 0.51). 이는 DCU 가 복잡한 모달리티에서도 불확실성을 효과적으로 포착할 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

일반화 가능성: DCU 는 특정 작업이나 텍스트 구조에 의존하지 않으므로, 텍스트 생성, 이미지 생성, 멀티모달 생성 등 임의의 모달리티와 작업에 적용 가능한 범용적인 UQ 프레임워크로 자리 잡을 수 있습니다.
에이전트 시스템 통합: 불확실성 추정이 에이전트 (Agent) 시스템의 다음 단계로 전파되기 전에 모델의 숨겨진 상태 (Hidden States) 를 기반으로 실시간으로 불확실성을 감지하고 제어하는 데 활용될 수 있습니다.
미래 전망: 향후 이미지나 오디오 생성과 같은 비텍스트 모달리티에서의 불확실성 정량화, 그리고 에이전트 워크플로우 내의 불확실성 전파 연구로 확장될 수 있습니다.

요약하자면, 이 논문은 기존 생성형 모델의 불확실성 측정 방법이 가진 '의미적 클러스터링'의 한계를 지적하고, **임베딩 공간의 기하학적 집중도 (DCU)**를 활용하여 더 유연하고 강력한 불확실성 정량화 방법을 제안했습니다. 특히 복잡한 멀티모달 작업에서 기존 방법론을 압도하는 성능을 입증함으로써, 차세대 신뢰할 수 있는 생성형 AI 개발의 핵심 기술로 주목받고 있습니다.