💬 NLP

AGSC: Adaptive Granularity and Semantic Clustering for Uncertainty Quantification in Long-text Generation

이 논문은 긴 텍스트 생성 시 할루시네이션 문제를 해결하기 위해 NLI 중립 확률과 가우시안 혼합 모델을 활용한 적응형 세분화 및 의미 클러스터링 기법 (AGSC) 을 제안하여, 사실성과의 상관관계를 개선하면서도 추론 시간을 약 60% 단축하는 불확실성 정량화 프레임워크를 제시합니다.

원저자: Guanran Luo, Wentao Qiu, Wanru Zhao, Wenhan Lv, Zhongquan Jian, Meihong Wang, Qingqiang Wu

게시일 2026-04-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guanran Luo, Wentao Qiu, Wanru Zhao, Wenhan Lv, Zhongquan Jian, Meihong Wang, Qingqiang Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"긴 글을 쓸 때 AI 가 헛소리를 하는지, 진짜인지 어떻게 알 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

AI 가 긴 글을 쓸 때 (예: "아인슈타인에 대해 써줘") 가끔은 사실과 다른 내용을 매우 자신 있게 말하기도 합니다 (이를 '할루시네이션'이라고 합니다). 이 논문은 AI 가 쓴 글의 **신뢰도를 측정하는 새로운 방법 (AGSC)**을 제안합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

🎒 비유: "여행 가이드북 감수단"

AI 가 긴 글을 쓴다는 것은, 여행 가이드북을 여러 명이 동시에 작성해서 합치는 것과 같습니다. 문제는 각자가 쓴 내용이 섞이다 보니, 어떤 사람은 '사실'을 쓰고 어떤 사람은 '망상'을 쓸 수 있다는 점입니다.

기존의 방법들은 두 가지 문제가 있었습니다:

너무 비싸고 느림: 모든 문장을 하나하나 전문가에게 확인하게 하면 시간이 너무 걸립니다.
혼란스러움: '아인슈타인'에 대해 쓸 때, 어떤 사람은 '학창 시절'을, 어떤 사람은 '개인 생활'을 쓰는데, 이 모든 내용을 무작정 섞어서 평가하면 중요한 부분보다 사소한 부분 때문에 전체 점수가 망가질 수 있습니다.

이 논문이 제안한 AGSC는 이 문제를 해결하기 위해 두 가지 똑똑한 전략을 사용합니다.

1. 전략 1: "중립 신호"를 활용한 지능형 필터 (적응형 세분화)

가이드북 감수단에게 "이 문장이 사실인지 확인해 줘"라고 할 때, 모든 문장을 다 확인하면 시간이 너무 걸립니다.

기존 방식: 문장 하나하나를 다 확인함 (비쌈).
AGSC 방식: 먼저 AI 가 쓴 문장을 스캔합니다.
- 만약 문장이 "아, 이건 주제와 상관없는 잡담이야" (중립/무관함) 라면? → 건너뜀 (Skip). (불필요한 확인 생략)
- 만약 문장이 "음... 이건 사실일 수도 있고 아닐 수도 있는데, 좀 애매하네" (중립이지만 불확실성 신호) 라면? → 세밀하게 분해해서 확인. (핵심 부분만 집중)

💡 비유: 식당에서 메뉴를 주문할 때, "물"은 그냥 주지만, "특제 스페셜 요리"는 요리사가 직접 재료를 확인하고 만드는 것과 같습니다. 쓸데없는 일에 시간을 쓰지 않고, 중요한 부분에만 집중하는 지능형 필터입니다.

2. 전략 2: "주제별 그룹"으로 나누어 평가 (의미 기반 군집화)

여러 명이 쓴 가이드북을 합칠 때, '아인슈타인의 학창 시절'에 대한 내용과 '아인슈타인의 개인 취미'에 대한 내용이 뒤섞여 있다면, 어떻게 점수를 매겨야 할까요?

기존 방식: 모든 내용을 한 바구니에 넣고 평균을 냄. (사소한 취미 이야기가 학창 시절의 중요한 사실보다 더 큰 영향을 미칠 수 있음)
AGSC 방식: 내용을 주제별로 묶어서 (클러스터링) 평가합니다.
- '학창 시절' 그룹은 이 그룹끼리만 비교하고 점수를 매깁니다.
- '개인 취미' 그룹은 따로 점수를 매깁니다.
- 그리고 중요한 주제 (학창 시절) 에는 더 많은 비중을, 사소한 주제에는 적은 비중을 두어 최종 점수를 냅니다.

💡 비유: 학교 시험을 볼 때, 수학 문제를 100 점, 체육 문제를 10 점으로 나누어 평가하는 것과 같습니다. 모든 과목을 똑같이 취급하면 수학 실력이 좋은 학생도 체육 실력이 나빠서 전체 점수가 낮아질 수 있지만, 주제별로 중요도를 다르게 매겨서 공정한 점수를 줍니다.

🚀 이 방법이 왜 특별한가요? (결과)

이 논문은 두 가지 큰 성과를 거두었습니다.

정확도 최고 (SOTA): 기존의 방법들보다 AI 가 쓴 글이 사실인지 헛소리인지 더 정확하게 찾아냈습니다. (특히 긴 글에서 여러 주제가 섞여 있을 때 효과적)
속도 60% 향상: 모든 문장을 다 확인하는 대신, 필요한 부분만 골라서 확인하기 때문에 시간을 60%나 절약하면서도 더 좋은 결과를 냈습니다.

📝 한 줄 요약

"AGSC 는 AI 가 쓴 긴 글을 평가할 때, '쓸데없는 잡담'은 건너뛰고 '중요한 부분'만 골라 확인하며, 주제별로 나누어 공정한 점수를 매기는 똑똑한 감수단입니다."

이 기술 덕분에 우리는 AI 가 쓴 긴 보고서나 기사, 소설 등을 더 신뢰하고 사용할 수 있게 될 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 긴 형식의 텍스트 생성 (Long-form Generation) 에서 뛰어난 능력을 보여주지만, 할루시네이션 (Hallucination) 문제가 핵심적인 장애물로 작용합니다. 이를 해결하기 위해 출력의 신뢰성을 평가하는 불확실성 정량화 (Uncertainty Quantification, UQ) 가 필수적입니다. 그러나 기존 방법론은 긴 텍스트 생성에 적용 시 다음과 같은 한계를 가집니다.

효율성과 세분성의 트레이드오프: 기존 LUQ (Long-form Uncertainty Quantification) 와 같은 방법은 문장을 '원자적 사실 (Atomic Facts)' 단위로 세분화하여 검증합니다. 이는 정확도는 높일 수 있으나, 불필요한 연산과 LLM 호출 횟수를 급증시켜 계산 비용이 매우 높습니다.
주제 이질성 (Topic Heterogeneity) 과 집계 문제: 긴 텍스트는 여러 다른 주제 (Semantic Themes) 를 혼합하여 포함하는 경우가 많습니다. 모든 단위를 균일하게 집계할 경우, 사소한 주제나 주제에서 벗어난 (Off-topic) 노이즈가 전체 불확실성 점수에 과도하게 영향을 미쳐 왜곡된 결과를 초래합니다.
중립 (Neutral) 정보의 오용: 기존 NLI(자연어 추론) 기반 방법들은 NLI 의 '중립 (Neutral)' 레이블을 단순히 무시하거나 폐기하는 경향이 있습니다. 하지만 중립은 '관련 없음 (Irrelevance)'일 수도 있고, '불확실성 (Uncertainty)'을 나타내는 신호일 수도 있어, 이를 구분하지 않고 처리하면 중요한 정보가 손실되거나 불필요한 계산이 발생합니다.

2. 제안 방법: AGSC (Methodology)

저자들은 위 문제들을 해결하기 위해 AGSC(Adaptive Granularity and GMM-based Semantic Clustering) 프레임워크를 제안합니다. 이 프레임워크는 크게 세 단계로 구성됩니다.

가. 적응적 세분성 트리거 (Adaptive Granularity Triggering)

핵심 아이디어: NLI 모델의 '중립 (Neutral)' 확률을 활용하여 불필요한 연산을 줄이고, 불확실성이 높은 부분만 세분화합니다.
작동 원리:
1. 앵커 문장과 참조 문장 간의 NLI 점수를 계산합니다.
2. 관련 없음 (Irrelevance) vs 불확실성 (Uncertainty) 구분:
  - 문장이 명확히 '추론 (Entailment)' 또는 '모순 (Contradiction)'으로 분류되면 해당 문장을 유지합니다.
  - '중립 (Neutral)'으로 분류된 경우: '추론 - 모순 간격 (Entailment-Contradiction Gap, $\Delta$ $Δ$ )'을 계산합니다.
    - $\Delta$ 가 임계값 ( $\tau$ ) 보다 크다면: 해당 문장은 불확실성 신호로 간주하여 원자적 사실 (Atomic Facts) 로 분해합니다.
    - $\Delta$ 가 작다면: 해당 문장은 주제와 무관한 노이즈로 간주하여 스킵 (SKIP) 처리합니다.
효과: 불필요한 분해를 방지하여 계산 비용을 대폭 절감하면서도 중요한 불확실성 정보는 포착합니다.

나. GMM 기반 의미 클러스터링 (GMM-based Semantic Clustering)

핵심 아이디어: 긴 텍스트에 포함된 여러 의미 주제를 식별하고, 주제별 가중치를 부여하여 집계를 수행합니다.
작동 원리:
1. 적응적 세분화를 거친 모든 문장 단위를 임베딩 (Embedding) 하고 UMAP 을 통해 차원을 축소합니다.
2. 가우시안 혼합 모델 (GMM) 을 사용하여 소프트 클러스터링 (Soft Clustering) 을 수행합니다.
3. 각 문장 단위가 $k$ 번째 클러스터 (주제) 에 속할 확률 ( $\gamma_{h,k}$ ) 을 산출합니다. (하드 클러스터링과 달리 모호한 경계를 확률적으로 처리)
효과: 사적이거나 노이즈가 많은 소수 주제의 영향력을 줄이고, 주요 주제의 불확실성 점수에 더 높은 가중치를 두어 안정적인 집계 결과를 도출합니다.

다. 불확실성 집계 (Uncertainty Aggregation)

각 클러스터의 질량 (Mass, 해당 주제에 속한 문장들의 총 가중치) 과 클러스터별 불확실성을 계산합니다.
최종 불확실성 점수는 클러스터의 질량에 비례하는 가중치를 사용하여 집계된 값입니다.

3. 주요 기여 (Key Contributions)

적응적 세분성 전략 (Adaptive Granularity Strategy): NLI 의 중립 신호를 활용하여 '분해 (Decomposition)' 또는 '노이즈 필터링 (Skip)'을 동적으로 결정함으로써, UQ 의 정확성과 계산 효율성 사이의 균형을 달성했습니다.
GMM 기반 의미 클러스터링: 잠재된 의미 주제를 모델링하고 주제 인식 (Topic-aware) 가중치를 부여하여, 긴 텍스트의 이질적인 주제 혼합으로 인한 집계 왜곡을 해결했습니다.
최신 성능 달성 (SOTA Performance): BIO 및 LongFact 벤치마크에서 기존 방법론들을 능가하는 사실성 (Factuality) 과의 높은 상관관계를 보였으며, 동시에 추론 시간을 약 60% 단축했습니다.

4. 실험 결과 (Results)

데이터셋: BIO (전기 생성) 및 LongFact (다양한 주제의 긴 사실성 평가) 데이터셋 사용.
모델: GPT-4.1-mini, Qwen2.5-32B, Llama3-70B 등 다양한 생성 모델 평가.
성능 지표: 생성된 텍스트의 사실성 (FActScore) 과 추정된 불확실성 점수 간의 피어슨 상관 계수 (PCC) 및 스피어만 상관 계수 (SCC).
주요 결과:
- AGSC 는 모든 실험 설정에서 기존 베이스라인 (Semantic Entropy, LUQ, KLE 등) 보다 가장 높은 상관관계를 기록했습니다.
- 특히 LongFact 와 같이 주제가 복잡하고 이질적인 데이터셋에서도 AGSC 는 다른 방법들이 급격히 성능이 저하되는 반면, 강건한 성능을 유지했습니다.
- 효율성: LUQ-Atomic(전체 문장을 원자적 사실로 분해) 대비 추론 시간을 약 60% 단축하면서도 더 높은 정확도를 달성했습니다. 이는 불필요한 중립 문장의 분해를 피했기 때문입니다.

5. 의의 및 한계 (Significance & Limitations)

의의:

긴 형식의 텍스트 생성에서 발생하는 할루시네이션을 효율적이고 정확하게 탐지할 수 있는 새로운 패러다임을 제시했습니다.
계산 비용과 정확도 사이의 트레이드오프를 해결하여, 실제 응용 환경 (Critical domains) 에서 LLM 의 신뢰성을 평가하는 데 실용적인 도구가 될 수 있습니다.

한계:

NLI 모델 의존성: 적응적 트리거의 성능이 NLI 모델의 중립 분류 정확도에 크게 의존합니다. 기술적 도메인 (의료, 법률) 에서 일반 NLI 모델이 미묘한 모순을 중립으로 오분류할 경우 실패할 수 있습니다.
공명실 (Echo Chamber) 할루시네이션: 모든 샘플이 동일한 잘못된 정보를 생성하는 경우 (시스템적 오류), 일관성만 높게 나타나 불확실성이 낮게 평가될 수 있습니다.
구조적 제약: 수학 추론이나 코드 생성과 같이 '문장 단위'가 진실의 단위가 아닌 경우에는 적용이 어렵습니다.
언어적 제약: 현재 실험은 영어 중심의 임베딩 및 NLI 모델을 사용하므로, 저자원 언어에서는 성능이 저하될 수 있습니다.

결론

AGSC 는 긴 텍스트 생성에서의 불확실성 정량화 문제를 해결하기 위해 적응적 세분성과 의미 클러스터링을 결합한 혁신적인 프레임워크입니다. 이는 기존 방법론의 계산 비효율성과 주제 이질성 문제를 동시에 해결하며, 사실성과 높은 상관관계를 유지하면서 추론 비용을 대폭 절감하는 성과를 입증했습니다.