1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 인간과 소통하는 도구가 되고 있지만, **과도한 자신감 (Overconfidence)**이라는 심각한 결함을 가지고 있습니다.

• 현상: LLM 은 답변의 정확성이 의심스러울 때도 확신에 찬 어조로 잘못된 정보 (할루시네이션) 를 생성합니다. 예를 들어, 2025 년 3 월의 테스트에서 ChatGPT 는 67% 의 확률로 틀린 답변을 했지만, 이를 "가능하다"거나 "보이는 듯하다"는 식으로 불확실성을 표현한 경우는 7.5% 에 불과했습니다.
• 위험: 사용자는 LLM 을 인간처럼 인식하는 경향이 있어 (Anthropomorphization), 모델이 제공하는 잘못된 정보를 사실로 받아들이기 쉽습니다. 이는 신뢰 상실과 치명적인 오류로 이어질 수 있습니다.
• 연구의 한계: 기존의 자연어 처리 (NLP) 연구는 불확실성을 수치 (예: 0~100 점) 로 표현하거나 단순한 확률적 정렬 (Calibration) 에만 집중했습니다. 이는 인간의 불확실성 소통이 가진 언어적 뉘앙스, 사회적 맥락, 화자 - 청자 관계, 그리고 의도적 전략을 무시하고 있습니다.

2. 방법론 (Methodology)

이 논문은 인간과 기계의 불확실성 소통 방식을 비교 분석하고, 현재 LLM 의 한계를 실증적으로 규명하기 위해 다음과 같은 접근을 취했습니다.

• 인간 불확실성 소통 이론 분석:
  • 언어학 및 심리학 문헌을 바탕으로 인간의 불확실성 표현 (수치적 vs 언어적) 을 분석했습니다.
  • 인간은 맥락, 사회적 위계 (상사 vs 부하), 대화의 목적 (공손함 vs 설득), 그리고 결과의 심각성에 따라 불확실성 표현 (강화어 vs 완화어) 을 전략적으로 조절합니다.
• NLP 연구 현황 조사 (Literature Survey):
  • 2022 년 이후 발표된 53 편의 관련 논문을 분석했습니다.
  • 대부분의 연구가 **수치적 표현 (Numerical registers)**에 의존하고 있으며, 언어적 표현 (Verbal expressions) 은 단순한 표지 (marker) 수준으로만 다루고 있음을 발견했습니다.
  • 주요 기법으로는 프롬프팅 (Prompting) 이 우세하며, 미세 조정 (Fine-tuning) 이나 강화 학습 (RLHF) 을 통한 연구는 소수입니다.
• 실증적 분석 (Empirical Analysis):
  • 데이터 편향 분석: 사전 학습 데이터 (The Pile 등) 와 지시 미세 조정 (Instruction Finetuning) 데이터, 그리고 RLHF 데이터를 분석하여 불확실성 표현의 분포 편향을 확인했습니다.
  • 맥락 민감성 실험: 6 개의 상용 LLM(Claude, GPT-4o, DeepSeek 등) 을 사용하여 다양한 대화 시나리오 (중립, 상사 - 부하, 시민 - 군주, 용의자 - 수사관 등) 와 다양한 도메인 (MMLU) 에서 질문을 던졌습니다.
  • 측정 지표:
    • 수치적 정렬 (Numerical Calibration): 기대 정렬 오차 (ECE) 를 사용하여 모델의 확신과 정확도 간의 일치를 측정.
    • 언어적 정렬 (Linguistic Calibration): Yule's Y 계수를 사용하여 강화어/완화어가 정답/오답과 얼마나 올바르게 연관되는지 측정.

3. 주요 기여 (Key Contributions)

1. 인간 모방적 불확실성 (Anthropomimetic Uncertainty) 개념 정립:
   • LLM 이 단순히 확률 값을 출력하는 것을 넘어, 인간의 언어적 소통 규범을 모방하여 불확실성을 표현해야 함을 주장합니다. 이는 신뢰성과 개인화를 높이는 핵심 요소입니다.
2. LLM 의 불확실성 편향 실증:
   • LLM 의 불확실성 표현이 모델의 실제 지식 부족이 아니라, 학습 데이터의 편향과 대화 맥락에 의해 크게 왜곡됨을 증명했습니다.
   • RLHF(인간 피드백을 통한 강화 학습) 가 모델이 불확실성을 숨기고 과도한 확신을 보이도록 편향시키는 주요 원인임을 지적했습니다.
3. 맥락과 도메인에 따른 극단적 변동성 발견:
   • 동일한 모델이라도 대화 상대 (상사 vs 친구) 나 주제 (의학 vs 일반 상식) 에 따라 불확실성 표현의 방식 (수치 vs 언어) 과 정렬 정도가 극적으로 달라짐을 보였습니다.
   • 일부 모델은 정답일 때 오히려 불확실한 어조를 쓰거나 (Anti-correlation), 오답일 때 확신에 찬 어조를 쓰는 등 비일관적인 행동을 보였습니다.

4. 주요 결과 (Results)

• 데이터 편향: 학습 데이터에서 숫자 (특히 100, 50 등 반올림된 수) 와 지식 표지 (epistemic markers) 의 분포가 도메인마다 크게 다릅니다. LLM 은 이 분포를 그대로 학습하여 맥락에 맞지 않는 불확실성을 생성합니다.
• RLHF 의 부정적 영향: RLHF 를 거친 모델은 불확실성 표현 (약화어) 을 회피하고, 확신에 찬 (강화어) 답변을 선호하는 경향이 있습니다. 이는 인간 평가자가 "확신 있는 답변"을 더 유용하다고 판단하기 때문입니다.
• 정렬 오류 (Calibration Errors): 실험 결과, 모델의 정렬 오류는 최대 **44%**에 달했습니다. 즉, 모델이 80% 확신이라고 말할 때 실제 정답률은 80% 가 아니라는 의미입니다.
• 맥락 의존성: "상사 - 부하" 관계와 같은 위계적 상황에서는 모델이 불확실성을 표현할 가능성이 높아지지만, "중립" 상황에서는 이를 생략하거나 수치만 사용하는 등 일관성이 부족했습니다.

5. 의의 및 향후 방향 (Significance & Future Directions)

이 논문은 LLM 의 신뢰성을 높이기 위해 기술적 정렬 (Calibration) 을 넘어선 인간 중심의 소통 전략이 필요함을 강조합니다.

• 일관성 (Consistency): 모델은 유사한 확률의 사건에 대해 일관된 언어적 표현을 사용해야 합니다.
• 개인화 (Personalization): 사용자의 위험 감수 성향, 지식 수준, 문화적 배경에 따라 불확실성 표현을 조정해야 합니다.
• 등록 (Register) 의 선택: 수치적 표현이 정밀해 보일 수 있으나, 오히려 오해를 불러일으킬 수 있습니다. 상황에 따라 자연스러운 언어적 표현 (Fluent verbalization) 이 더 효과적일 수 있습니다.
• 다국어 지원: 현재 연구는 영어에 치중되어 있으나, 언어별 불확실성 표현의 차이를 고려한 다국어 리소스 개발이 필요합니다.
• 설명 가능성: 모델이 왜 불확실한지 그 이유를 설명할 수 있어야 합니다.

결론적으로, 이 논문은 LLM 이 단순히 "정답을 맞추는 기계"가 아니라, 인간의 인지적, 사회적 맥락을 이해하고 모방하여 신뢰할 수 있는 협력 파트너가 되기 위해서는 "인간 모방적 불확실성"을 구현해야 함을 강력히 주장합니다.