기술 요약: LLM 은 모르는 질문에 거절할 수 있는가? 사실적 작업에서 지식 인식 거절 측정

문제 제기

대형 언어 모델 (LLM) 은 지식 집약적 사실 작업에 점점 더 많이 배포되고 있습니다. 그러나 이들은 종종 잘못된 보정 (poor calibration) 으로 인해 높은 확신으로 잘못된 답변을 제공하는 hallucinations(환각) 에 시달립니다. 중요한 안전 메커니즘은 지식 인식 거절입니다. 즉, 모델이 자신의 지식 경계를 벗어난 질문에 답변하는 것을 거절할 수 있는 능력입니다. 최근 연구는 프롬프팅이나 파인튜닝을 통해 거절을 유도하는 방법을 탐구해 왔지만, 기존 평가 지표는 이 능력을 정확하게 측정하지 못합니다. 거절률이나 정확도와 거절의 조합 (예: F-score) 과 같은 전통적 지표는 종종 휴리스틱하며, 프롬프트에 의해 유발된 거절 빈도 변화에 민감하고, 모델이 거절하기로 결정한 사항과 모델이 제공했을 답변의 실제 부정확성 사이의 근본적인 상관관계를 포착하지 못합니다.

방법론: 거절 지수 (RI)

이러한 격차를 해결하기 위해 저자들은 지식 인식 거절을 정량화하도록 설계된 새로운 지표인 **거절 지수 (Refusal Index, RI)**를 제안합니다.

정의

RI 는 일련의 질문에 대한 모델의 거절 확률($r_i$) 과 오류 확률($w_i$) 사이의 스피어만 순위 상관관계로 정의됩니다.
$$\text{RI} = \rho_S = \text{Corr}(\text{Rank}(r_i), \text{Rank}(w_i))$$
완벽한 RI 값인 1 은 모델이 가장 어렵고 (오류가 발생하기 쉬운) 질문을 일관되게 거절하고 가장 쉬운 질문에 답변함을 나타냅니다. RI 가 0 이라는 것은 무작위 거절 행동을 의미합니다. 절대적 불일치를 측정하는 보정 지표 (예: 기대 보정 오차) 와 달리, RI 는 난이도의 순위에 초점을 맞추므로 전체 거절률의 변화에 대해 강건합니다.

2 단계 평가 프레임워크

거절 확률은 잠재적 (모델은 한 번의 패스에서 답변하거나 거절함) 이므로, 저자들은 RI 를 추정하기 위한 경량 2 단계 평가 방법을 도입합니다:

1. 1 단계: 모델이 답변하거나 거절할 수 있도록 허용하는 시스템 프롬프트와 함께 사실 데이터셋에서 모델을 평가합니다. 응답은 정답, 오답, 거절로 분류됩니다. 이를 통해 거절률 ($r$) 과 시도된 답변의 정확도를 얻습니다.
2. 2 단계: 1 단계에서 거절된 질문에 대해 시스템 프롬프트를 업데이트하여 모델이 강제로 답변하도록 합니다 (거절 옵션 제거). 이러한 강제 답변의 정확성을 기록합니다.
3. 계산: 거절 결정과 강제 답변 정확도의 결합 분포를 사용하여 저자들은 관계를 가우시안 코풀라로 모델링합니다. 결과적으로 생성된 $2 \times 2$ 분할표에서 최대 가능도법을 통해 상관관계 매개변수 ($\rho$) 를 추정하고, 표준 공식을 사용하여 이를 스피어만 순위 상관관계 ($\rho_S$) 로 변환합니다: $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$.

주요 기여

1. 거절 지수 (RI): 모델의 전체 정확도나 거절률과 무관하게 거절 결정과 답변 부정확성 간의 정렬을 직접 측정하는 원칙적인 지표.
2. 경량 평가: RI 를 계산하기 위해 표준 블랙박스 평가만 필요로 하는 2 단계 프로토콜 (보조 모델, 내부 상태 접근, 또는 비용이 많이 드는 샘플링 기반 불확실성 추정 불필요).
3. 실증적 검증: 16 개 모델(Qwen, Llama, Claude, GPT, Gemini 등 오픈소스 및 독점 모델 포함) 과 5 개 데이터셋(SimpleQA, PreciseWikiQA, FaithEval 등) 을 통한 광범위한 실험.
4. 모델 신뢰성에 대한 통찰: 높은 사실적 정확도가 신뢰할 수 있는 거절 행동을 보장하지 않으며, 현재 LLM 능력에 지속적인 격차가 있음을 규명.

실험 결과

• 안정성: 다양한 시스템 프롬프트로 유발된 서로 다른 거절률에 걸쳐 RI 는 안정적으로 유지됩니다. 반면, 휴리스틱 지표 (예: F-score, 가중 점수) 는 거절률이 변할 때 크게 변동 (최대 70% 변동) 하여 일관된 근본 능력을 포착하지 못합니다.
• 보정과의 상관관계: RI 는 샘플링 기반 불확실성 추정 ($P(\text{Answering})$) 에서 파생된 AUROC 점수와 강한 양의 상관관계 (85.8%) 를 보여, 순위 보정의 지표로서의 충실성을 검증합니다.
• 모델 순위: RI 는 정확도와 거절률과 무관하게 일관된 모델 순위를 제공합니다. 정확도와 거절률의 단조적 효과를 제거하면 휴리스틱 지표는 거의 무작위 수준의 안정성으로 저하되는 반면, RI 는 높은 순위 일관성을 유지합니다.
• 모델 계열 영향: 지식 인식 거절 능력의 가장 강력한 예측 변수는 모델 규모나 일반적 정확도가 아닌 모델 계열(학습 파이프라인 및 데이터) 입니다. 예를 들어, Claude 와 Qwen 모델은 일관되게 RI 에서 다른 모델을 능가하는 반면, Gemini 와 GPT-4.1 변종은 종종 회귀선 아래에 머뭅니다.
• 문맥 민감성: 제공된 문맥에 정답이 없는 경우 (예: "답변 불가" 또는 "불일치" 시나리오) 모델은 거절 성능이 저하되는 경향을 보이며, 이는 내부 지식 보정보다는 문맥적 단서에 과도하게 의존함을 시사합니다.

중요성 및 주장

이 논문은 RI 가 모델 신뢰성의 본질적이면서도 이전에 간과된 차원을 포착한다고 주장합니다. 현재 사실성 평가는 정확도나 환각률에 초점을 맞추지만, RI 는 높은 정확도를 가진 모델조차 불신할 수 있고 취약한 거절 행동을 가질 수 있음을 강조합니다.

저자들은 다음과 같이 주장합니다:

1. 프롬프팅만으로는 부족함: 모델에게 "더 신중하게" 행동하도록 지시하는 것은 거절률을 높이지만 거절 결정의 품질을 개선하지는 않습니다 (RI 는 안정적으로 유지되며 완벽함에서 멀리 떨어짐).
2. 새로운 평가 기준의 필요성: 포괄적인 사실성 평가에는 지식 인식 거절 측정이 포함되어야 합니다. 정확도나 표준 보정 지표에만 의존하면 모델 배포 시 중요한 위험을 가릴 수 있습니다.
3. 실용적 유용성: 2 단계 RI 평가는 비용이 많이 드는 보정 방법에 대한 실용적이고 저비용의 대안을 제공하며, 화이트박스 접근이나 보조 학습 없이 모델의 자기 지식을 더 신뢰할 수 있게 비교할 수 있게 합니다.

이 연구는 LLM 이 사실적 정확도 측면에서 개선되고 있지만, 자신의 지식 한계를 정확하게 판단하는 능력은 여전히 집중적인 측정과 개선이 필요한 중요한 과제라고 결론지었습니다.