IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 발전에도 불구하고, 긴 형식 (Long-Form) 의 자유로운 텍스트 생성에서 발생하는 불확실성 정량화 (Uncertainty Quantification, UQ) 는 여전히 큰 과제로 남아 있습니다.

• 기존 방법의 한계: 최근의 UQ 방법들은 주로 짧은 답변이나 다중 선택형 질문에 제한되어 있으며, 토큰 확률이나 응답 간의 의미적 일관성 (Inter-sample consistency) 을 기반으로 합니다.
• 긴 형식 생성의 특수성: 긴 텍스트 생성에서는 모델이 **논리적 일관성을 유지하기 위해 사실과 다른 정보를 생성 (할루시네이션)**하는 경향이 있습니다.
  • 예: 모델이 한 사람의 직업을 잘못 파악하더라도, 그 오해를 바탕으로 논리적으로 일관된 생애 이야기를 계속 생성할 수 있습니다.
  • 이 경우, 여러 샘플을 추출하더라도 모든 샘플이 동일한 잘못된 정보를 일관되게 생성하므로, 기존 '샘플 간 일관성' 기반 UQ 는 모델이 실제로 그 지식을 가지고 있지 않음을 감지하지 못합니다.
• 핵심 난제: 모델이 생성한 문맥에 의존하여 (Context-dependent) 사실과 다른 정보를 일관되게 만들어내는 '내부적 불신 (Intra-sample unfaithfulness)'을 기존 방법론은 포착하지 못합니다.

2. 제안 방법: IUQ (Interrogative Uncertainty Quantification)

이 논문은 긴 형식 LLM 출력의 불확실성을 정량화하기 위해 질문 - 응답 (Interrogate-then-Respond) 패러다임을 활용한 IUQ 프레임워크를 제안합니다. 이 방법은 **샘플 간 일관성 (Inter-sample consistency)**과 **샘플 내 충실도 (Intra-sample faithfulness)**를 결합합니다.

주요 프로세스

1. 응답 생성 (Response Generation): 주어진 프롬프트에 대해 모델로부터 $N$개의 다양한 긴 형식 응답을 샘플링합니다.
2. 주장 추출 (Claim Extraction): 생성된 긴 텍스트를 LLM 을 사용하여 가장 작은 단위의 사실적 주장 (Atomic Claims) 으로 분해합니다.
3. 질문 생성 (Claim-Level Questioning): 추출된 각 주장 (Claim) 에 대해, 해당 주장의 정보를 독립적인 질문 (Short Question) 으로 변환합니다. 이때 생성된 질문은 원래 긴 텍스트의 문맥과 분리됩니다.
4. 독립적 답변 (Independent Answering): 모델에게 원래 긴 텍스트의 문맥 없이, 생성된 질문에만 대해 답변을 하도록 합니다.
5. 충실도 평가 (Faithfulness Evaluation):
   • 모델이 원래 긴 텍스트에서 주장한 내용과, 독립적인 질문에서 답변한 내용이 모순되는지 확인합니다.
   • 모순 비율을 기반으로 **주장별 충실도 (Claim-level Faithfulness, $F(c_i)$)**를 계산합니다.
   • $F(c_i) = 1$이면 모델이 해당 지식을 정확히 가지고 있음을 의미하며, 0 에 가까울수록 할루시네이션 가능성이 높습니다.
6. 불확실성 점수 산출 (Uncertainty Scoring):
   • 일관성 점수 ($S$): 여러 샘플 간의 주장 지지도를 계산합니다.
   • 가중치 적용: 앞선 주장의 불충실함 (Unfaithfulness) 이 후속 주장에 미치는 영향을 고려하기 위해 지수 감쇠 (Exponential Decay) 커널을 사용하여 가중치 ($W$) 를 부여합니다.
   • 최종 불확실성: $U(c_i) = S(c_i) \cdot W(c_i)$로 계산하여, 일관성만 높고 사실성이 낮은 경우 불확실성 점수를 높게 책정합니다.

3. 주요 기여 (Key Contributions)

1. IUQ 프레임워크 제안: 긴 형식 LLM 응답을 미세하게 분석하기 위해 주장 수준 (Claim-level) 의 지식 탐구를 수행하는 새로운 UQ 워크플로우를 제안했습니다.
2. 새로운 현상 발견 및 정량화: LLM 이 논리적 일관성을 유지하기 위해 사실을 조작 (Fabrication) 하는 현상을 발견하고, 이를 주장 수준에서 정량적으로 분석할 수 있는 방법을 제시했습니다.
3. 내부적 의존성 해결: 기존 방법들이 간과했던 '문맥에 의존한 할루시네이션' 문제를 해결하기 위해, 생성 문맥을 분리하여 모델의 실제 지식 상태를 검증하는 '질문 - 응답' 메커니즘을 도입했습니다.

4. 실험 결과 (Results)

• 데이터셋: FActScore (인물 전기) 와 LongFact (다양한 주제) 두 가지 긴 형식 생성 데이터셋을 사용했습니다.
• 모델: GPT-4o, LLaMA-3.3, Qwen2, Gemma-3, Mistral 등 다양한 크기와 계열의 모델 (24B~72B) 로 실험을 수행했습니다.
• 성능:
  • IUQ 는 기존 UQ 방법들 (Max Token Entropy, Perplexity, Claim Entailment, Closeness Centrality 등) 보다 **AUROC(Area Under ROC Curve)**와 AUPRC 측면에서 일관되게 우수한 성능을 보였습니다.
  • 특히, 모델이 잘못된 정보를 일관되게 생성하는 경우 (예: Rory Byrne 사례) 기존 방법들은 높은 일관성으로 인해 낮은 불확실성을 예측했으나, IUQ 는 독립적인 질문을 통해 모순을 발견하고 높은 불확실성을 정확히 식별했습니다.
• 모델 충실도 분석: FActScore(덜 알려진 인물) 에서 모델의 충실도가 LongFact(인기 주제) 보다 낮게 나타났으며, 모델 크기가 클수록 충실도가 향상되는 경향을 확인했습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 긴 형식 생성: IUQ 는 LLM 이 생성한 긴 텍스트가 단순히 논리적으로 일관된 것이 아니라, 사실적으로 정확한지 여부를 판단할 수 있는 강력한 도구를 제공합니다.
• 할루시네이션 감지: 모델이 스스로의 지식 부족을 인정하지 않고 그럴듯한 거짓말을 할 때, 이를 효과적으로 감지하여 사용자에게 경고할 수 있습니다.
• 미래 방향: 긴 형식 생성이 필수적인 의료, 법률, 학술 등 고신뢰도 분야에서 LLM 의 안전성과 신뢰성을 확보하는 데 중요한 기여를 할 것으로 기대됩니다.

요약하자면, IUQ는 LLM 이 긴 글을 쓸 때 "논리적으로 일관된 거짓말"을 하지 않았는지 확인하기 위해, 생성된 내용을 작은 단위로 쪼개고 모델에게 다시 독립적으로 질문하여 그 답변의 일관성을 검증하는 혁신적인 불확실성 정량화 방법론입니다.