I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 종종 사실과 다른 정보를 매우 자신감 있게 생성하는 '할루시네이션 (Hallucination)' 현상을 보입니다. 기존 연구들은 이러한 현상이 모델의 사전 학습 압력뿐만 아니라, **평가 인센티브 (Evaluation Incentives)**에 기인한다고 지적합니다.

• 기존의 이진 평가 (Binary Scoring): 대부분의 벤치마크는 정답을 맞추는 것만 보상하고, "모른다 (Abstain)"고 말하는 것은 불이익으로 간주하거나 보상이 없습니다.
• 결과: 모델은 불확실한 상황에서도 추측을 하거나 잘못된 정보를 생성하는 것이 정답을 맞추는 것보다 유리하다고 학습합니다.
• 핵심 질문: 모델의 가중치를 재학습 (Retraining) 하지 않고, 프롬프트 (Prompt) 만을 통해 모델이 "답할 때와 답하지 않을 때 (Abstain)"를 구분하도록 유도하여 할루시네이션을 줄일 수 있는가?

2. 방법론 (Methodology: I-CALM Framework)

저자들은 모델의 가중치를 변경하지 않고, 프롬프트 기반의 인센티브 프레임워크인 I-CALM을 제안합니다. 이는 세 가지 핵심 요소가 결합된 구조입니다.

A. 자기 보고형 언어적 신뢰도 (Self-Reported Verbal Confidence)

• 토큰 확률 (Token Probability) 은 API 환경에서 접근이 어렵거나 불안정할 수 있습니다.
• 대신 모델에게 자연어로 **자신의 답변에 대한 신뢰도 (0~1 사이 값)**를 직접 보고하도록 유도합니다.
• 실험을 통해 이 언어적 신뢰도가 토큰 확률 기반 신호와 상관관계가 있으며, 프롬프트 표현이 바뀌어도 안정적인지 검증했습니다.

B. 명시적 보상 체계 (Explicit Reward Schemes)

모델의 답변/중단 결정을 변경하기 위해 다음과 같은 보상 구조를 프롬프트에 명시합니다:

• Scheme A (기존 방식): 정답 시 +R, 오답 시 -β (중단에 대한 명시적 보상 없음).
• Scheme B (중단 보상): 정답 시 +R, 오답 시 -β, "모른다 (I don't know)"고 답할 시 +γ.
• 이를 통해 모델에게 "잘못된 추측을 하는 것보다 모르는 척하는 것이 더 이득"임을 학습시킵니다.

C. 규범적 원칙 (Normative Guidance)

보상 체계에 더해, **진실성 (Truthfulness), 겸손 (Humility), 책임감 (Responsibility)**을 강조하는 간결한 규범 (Norms) 을 프롬프트에 추가합니다.

• 예: "항상 진실을 말하라", "증거 없이 가정을 하지 마라", "자신의 말과 그 결과에 책임져라" 등.
• 이는 모델이 불확실한 상황에서 더 겸손하게 행동하도록 유도하는 추가적인 신호 역할을 합니다.

3. 주요 기여 (Key Contributions)

1. 신뢰도 신호의 유효성 입증: 자유 응답형 사실 질문 (Free-response Factual QA) 에서 모델이 스스로 보고하는 언어적 신뢰도가 토큰 확률 기반 신호와 유사한 보정 (Calibration) 특성을 가지며, 프롬프트 재구성 (Paraphrasing) 에 강건함을 증명했습니다.
2. I-CALM 프레임워크 제안: 신뢰도 유도, 보상 체계 명시, 규범적 지침을 결합한 통합 프롬프트-only 프레임워크를 개발했습니다. 이는 모델 재학습 없이 블랙박스 환경에서 적용 가능합니다.
3. 선택적 답변 (Selective Answering) 행동 분석: 다양한 모델 (GPT-5 mini, GPT-4o mini, Llama, Qwen 등) 과 데이터셋 (PopQA, TriviaQA 등) 에서 실험하여, 이 프레임워크가 거짓 답변률 (FAR) 을 줄이는 대신 답변 커버리지 (Coverage) 를 희생하는 '중단 - 할루시네이션 트레이드오프 (Abstention-Hallucination Frontier)'를 형성함을 규명했습니다.

4. 실험 결과 (Key Results)

주요 실험은 PopQA 데이터셋과 GPT-5 mini 모델을 중심으로 진행되었습니다.

• 할루시네이션 감소:
  • Pure Eval (기초): 거짓 답변률 (FAR_answered) 약 52.3%.
  • Scheme B + Norms 적용: 거짓 답변률 **34.2%**로 크게 감소.
  • 이는 모델이 오류가 예상되는 경우를 식별하고 "모른다"고 답함으로써, 최종적으로 사용자에게 노출되는 답변의 신뢰도를 높인 결과입니다.
• 커버리지와 신뢰도의 트레이드오프:
  • 거짓 답변이 줄어든 대신, 모델이 답변을 거절 (Abstain) 하는 비율이 증가하여 전체 커버리지는 감소했습니다 (96.5% → 55.3%).
  • 그러나 **강제 답변 (Forced Answering, 즉 거절 후에도 최선의 추측을 강제로 내보내는 경우)**의 정확도는 크게 변하지 않았습니다. 이는 모델의 지식 자체가 향상된 것이 아니라, 오류가 많은 답변을 필터링하는 능력이 향상되었음을 의미합니다.
• 신뢰도 재보정 (Re-calibration):
  • 보상 체계와 규범을 적용하면, 모델은 첫 번째 답변에서 낮은 신뢰도를 가진 오류 사례들을 식별하여 두 번째 단계 (Best Guess) 로 이동시킵니다.
  • 이로 인해 첫 번째 단계에 노출되는 답변들의 신뢰도 분포가 더 정교해지고, 오류가 많은 영역이 제거됩니다.
• 모델 및 데이터셋 간 전이:
  • GPT-5 mini, GPT-4o mini, Llama-3, Gemini, Qwen 등 다양한 모델에서 일관된 효과를 보였습니다.
  • 특히 초기 할루시네이션 위험이 높은 모델이나 데이터셋 (PopQA) 에서 효과가 가장 컸으며, TriviaQA 나 SimpleQA Verified 와 같이 이미 모델이 잘 아는 (또는 매우 어려운) 데이터셋에서는 효과가 상대적으로 작았지만 방향성은 동일했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 가벼운 제어 메커니즘: I-CALM 은 모델 재학습이나 복잡한 추론 시간 (Inference-time) 제어 장치를 필요로 하지 않습니다. 오직 프롬프트 내의 보상 구조와 규범을 조정하는 것만으로 블랙박스 LLM 의 행동을 제어할 수 있음을 보여줍니다.
• 배포 가능성: 실제 배포 환경에서 사용자는 원하는 신뢰도 수준에 따라 보상 파라미터 (γ, β) 를 조정하여 '중단 - 오류' 프론티어 (Frontier) 상의 작동점을 선택할 수 있습니다.
• 미래 방향: 이 연구는 불확실성을 인지하는 에이전트 (Uncertainty-aware Agent) 파이프라인의 핵심 구성 요소로, 검색 (Retrieval), 도구 사용 (Tool Use), 인간 개입 (Escalation) 등으로 이어지는 라우팅 메커니즘과 결합될 때 큰 잠재력을 가집니다.

요약하자면, I-CALM 은 LLM 이 "모르는 것을 인정하는 것"이 "잘못된 추측을 하는 것"보다 더 가치 있다는 인센티브를 프롬프트를 통해 제공함으로써, 모델의 할루시네이션을 효과적으로 억제하고 신뢰할 수 있는 선택적 답변을 유도하는 혁신적인 접근법입니다.