Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty

1. 연구 배경 및 문제 정의 (Problem)

• 기존 접근법의 한계: 신뢰할 수 있는 대형 언어 모델 (LLM) 은 자신에게 답할 수 없는 질문에 대해 거절 (Abstention) 해야 합니다. 그러나 기존 연구들은 이러한 거절을 단순히 일반적인 "I don't know(모르겠습니다)"로 처리하는 경향이 있었습니다.
• 핵심 문제: 모델이 거절하는 이유가 입력 데이터의 모호성 (Data Uncertainty) 때문인지, 아니면 모델 자체의 능력 부족 (Model Uncertainty) 때문인지를 구분하지 못한다는 점입니다.
  • 데이터 불확실성 (Data Uncertainty): 질문에 답하기 위해 필요한 정보가 누락되었거나 모호한 경우 (예: "제임스가 일주일에 몇 미터를 달리는지 알려주지 않은 sprint 거리를 묻는 문제"). 이 경우 사용자에게 추가 정보를 요청하거나 질문을 명확히 해야 합니다.
  • 모델 불확실성 (Model Uncertainty): 질문은 명확하지만 모델의 현재 지식이나 추론 능력으로는 해결할 수 없는 경우 (예: 너무 복잡한 수학 문제). 이 경우 외부 도구 (검색, 계산기 등) 를 호출하거나 다른 전문가에게 맡겨야 합니다.
• 필요성: 두 가지 불확실성 소스를 구분하지 못하면 모델은 하류 작업 (clarification 요청 vs 외부 도구 호출) 을 적절히 수행하지 못하며, 이는 할루시네이션 (Hallucination) 을 유발하거나 불필요한 거절로 이어질 수 있습니다.

2. 제안 방법론 (Methodology)

이 논문은 불확실성 소스를 식별하고 분류하는 능력을 평가하기 위한 벤치마크 UA-Bench와 이를 개선하기 위한 경량 강화 학습 (RL) 전략을 제안합니다.

A. UA-Bench (Uncertainty Attribution Benchmark)

• 구성: 지식 집중형 (Knowledge-intensive) 과 추론 집중형 (Reasoning-intensive) 작업을 아우르는 6 개의 데이터셋에서 추출된 3,500 개 이상의 질문으로 구성됨.
  • 지식 집중형: GAIA, MuSiQue (답변 가능), SelfAware (답변 불가/데이터 불확실성).
  • 추론 집중형: OlympiadBench-math (답변 가능), GSM8K-MiP 및 MATH-MiP (정보 부족으로 인한 데이터 불확실성).
• 작업 정의: 모델은 질문에 대해 단계별 추론 (Reasoning) 을 수행한 후 다음 중 하나를 출력해야 함:
  1. Answerable: 확신 있는 답변.
  2. Data Uncertain: 정보 부족/모호성으로 인해 답변 불가.
  3. Model Uncertain: 질문은 명확하지만 모델 능력 부족으로 인해 답변 불가.
• 평가 지표:
  • DU-F1 (Data-Uncertain F1): 데이터 불확실성 질문을 정확히 식별하는 능력.
  • MU-F1 (Model-Uncertain F1): 모델 능력 부족을 정확히 인정하는 능력.
  • AVG-F1: 두 지표의 평균.
  • ACC (Accuracy): 답변 가능한 질문에 대한 정답률 (거절이 성능을 저하시키지 않는지 확인).

B. 불확실성 인식 강화 학습 (RL-UA)

• 데이터 생성: 수학 문제 (dapo-math) 를 기반으로 합성 데이터를 생성.
  • 정보 부족 변형 (Data Uncertainty): 핵심 정보를 제거하여 해결 불가능한 문제 생성.
  • 극도로 어려운 변형 (Model Uncertainty): 외부 도구 없이는 풀기 어렵지만 원칙적으로 해답이 존재하는 문제로 재작성.
• 보상 설계 (Reward Design):
  • +1: 정답을 맞히거나, 불확실성 라벨을 정확히 예측한 경우.
  • 0: 정답은 틀렸으나, 모델 불확실성 () 을 정직하게 인정하여 거절한 경우.
  • -1: 할루시네이션 (틀린 답을 확신 있게 말하거나, 잘못된 불확실성 라벨을 붙인 경우).
• 학습 알고리즘: GRPO (Group Relative Policy Optimization) 를 사용하여 VeRL 프레임워크에서 학습 수행.

3. 주요 실험 결과 (Key Results)

A. 기존 모델의 성능 (18 개 최첨단 LLM 평가)

• 불확실성 구분 실패: SOTA 모델조차 데이터 불확실성과 모델 불확실성을 신뢰성 있게 구분하지 못함.
  • 많은 모델이 데이터 불확실성 (질문 자체의 결함) 은 잘 감지하지만, 자신의 능력 부족 (Model Uncertainty) 을 인정하는 데는 매우 취약함 (MU-F1 점수가 낮음).
  • 예: Qwen3-8B 는 지식 집중형 작업에서 DU-F1 은 69.8% 였으나 MU-F1 은 4.0% 에 불과함.
• 정확도와 불확실성 인식의 비연관성: 높은 답변 정확도 (ACC) 가 반드시 강력한 불확실성 분류 능력을 의미하지는 않음. 오히려 추론 모드 (Thinking Mode) 를 활성화한 모델들은 정확도는 높아졌으나, 자신의 한계를 인정하는 능력 (MU-F1) 이 오히려 급격히 하락하는 경향을 보임 (예: Qwen3-235B Thinking 모드는 MU-F1 이 0.0% 로 추락).
• 실패 패턴: 모델은 자신의 추론 실패를 데이터의 모호함으로 잘못 해석하거나 (Data로 잘못 분류), 질문의 모호함을 자신의 지식 부족으로 잘못 해석하는 (Model 로 잘못 분류) 경향이 있음.

B. RL-UA 의 효과

• 성능 향상: 제안된 RL-UA 방법을 적용한 Qwen3-4B 및 Qwen3-8B 모델은 UA-Bench 전반에서 DU-F1 과 MU-F1 이 모두 크게 향상됨.
  • 특히 모델 불확실성 (MU-F1) 인식 능력이 비약적으로 개선됨 (Qwen3-4B 의 경우 7.6% → 20.7% 상승).
• 정확도 유지: 불확실성 인식 능력을 향상시키면서도 답변 정확도 (ACC) 는 유지되거나 오히려 소폭 개선됨.
• 일반화: 수학 작업으로만 학습되었음에도 불구하고, 지식 집중형 및 추론 집중형 등 다양한 작업에서 효과적으로 일반화됨.

4. 주요 기여 (Key Contributions)

1. 원칙적인 불확실성 구분: 데이터 불확실성과 모델 불확실성을 구분하는 것이 신뢰할 수 있는 모델 행동에 필수적임을 주장하고 이를 체계적으로 정의함.
2. UA-Bench 벤치마크 도입: 지식과 추론 작업을 포괄하며, 모델이 '왜' 거절해야 하는지 (소스 식별) 를 평가하는 최초의 벤치마크 중 하나를 제안.
3. 현실적 평가 결과: 현재 SOTA 모델들이 불확실성 유형을 구분하는 데 어려움을 겪으며, 정확도와 불확실성 인식 능력 사이에 일관된 상관관계가 없음을 규명.
4. 효율적인 개선 전략: 정답률 저하 없이 불확실성 인식 능력을 향상시키는 경량 강화 학습 (RL) 접근법을 제시.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 단순히 "모르겠다"고 말하는 것을 넘어, 왜 모르는지 (데이터 문제인지, 능력 문제인지) 를 스스로 인식하고 설명할 수 있어야 진정한 신뢰성과 안전성이 확보된다는 점을 강조합니다.

• 실용적 가치: 불확실성 소스를 정확히 식별함으로써, 모델은 사용자에게 추가 정보를 요청하거나 외부 도구를 호출하는 등 상황에 맞는 최적의 다음 행동을 취할 수 있게 됩니다.
• 향후 연구 방향: 현재 RL 기반의 데이터 합성 방식은 라벨 노이즈의 가능성이 있으나, 이는 불확실성 인식 훈련의 중요한 시작점입니다. 향후 더 다양한 시나리오와 인간 수준의 신뢰성을 갖춘 불확실성 추론을 위한 연구가 필요함을 시사합니다.

결론적으로, 이 논문은 LLM 의 자기 인식 (Self-Awareness) 을 정량화하고 개선하기 위한 새로운 기준과 방법론을 제시하여, 고위험 의사결정 환경에서 LLM 의 안전하고 투명한 배포를 위한 중요한 발걸음이 되었습니다.