💬 NLP

Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models

이 논문은 모델이 불확실한 질문에 대해 답변을 자제하도록 명시적으로 유도하는 검증 가능한 보상을 통한 강화 학습(RLVR)이, 사실적 벤치마크에서의 정확도를 크게 저하시키지 않으면서도 대규모 언어 모델의 환각 현상을 효과적으로 줄이고 지적 겸손을 향상시킨다는 것을 입증한다.

원저자: Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

게시일 2026-01-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 질문에 답하기 위해 매우 똑똑하고 박학다식한 비서를 고용한다고 상상해 보세요. 문제는 이 비서가 약간 '잘난 척하는' 성격이라는 점입니다. 심지어 실제로 답을 모를 때조차도, 그들은 어떻게든 추측해서라도 답을 내놓아야 한다는 강박을 느낍니다. 종종 그럴싸하게 들리지만 완전히 틀린 사실들을 지어내곤 하죠. AI의 세계에서는 이를 '환각(hallucination)'이라고 부릅니다.

이 논문은 이러한 AI 비서들에게 매우 중요한 기술, 즉 "모른다"라고 말할 줄 아는 법을 가르치는 방법에 관한 것입니다.

다음은 이들의 접근 방식을 쉬운 비유를 사용하여 정리한 내용입니다.

문제점: 과도하게 자신만만한 추측 기계

현재의 대규모 언어 모델(LLM)은 항상 답을 내놓도록 훈련되어 있습니다. 질문을 던지면, 설령 추측일 뿐이라도 어떻게든 무언가를 생성하려고 시도합니다. 이는 마치 점수를 얻기 위해 빈칸으로 남겨두는 것을 두려워하여 아무 답이나 적어 넣는 학생과 같습니다. 이는 자신감 넘치지만 틀린 정보를 제공하는 결과로 이어집니다.

해결책: "정직 보상" 시스템

연구진은 **검증 가능한 보상을 통한 강화 학습(RLVR)**이라는 새로운 훈련 방법을 시도했습니다. 이것을 AI를 위한 새로운 채점 방식이라고 생각하면 됩니다.

단순히 정답에만 점수를 주는 대신, 그들은 세 가지 방식의 채점 시스템을 도입했습니다:

정답: +1점 (잘했어요!)
오답: -1점 (잘못된 추측입니다, 점수가 깎입니다.)
"모릅니다": 특별 보상 (예를 들어 +0.3점)

목표는 AI에게 틀린 답을 자신 있게 내놓는 것보다, 정직하게 "모른다"라고 말하는 것이 더 낫다는 것을 가르치는 것이었습니다. 연구진은 '골디락스(Goldilocks)' 보상, 즉 너무 높지도 않고(너무 높으면 AI가 모든 것에 "모른다"라고만 답하며 노력을 멈출 것입니다) 너무 낮지도 않은(너무 낮으면 계속해서 추측을 할 것입니다) 적절한 지점을 찾고자 했습니다.

실험: 새로운 규칙 테스트하기

그들은 두 가지 유형의 "학생"(AI 모델)을 대상으로 테스트를 진행했습니다:

Granite-3.3-2B: 더 작고 압축된 형태의 모델.
Qwen-3-4B: 더 크고 강력한 모델.

또한 두 가지 유형의 "시험"을 치르게 했습니다:

MedMCQA: 객관식 의학 질문 (정해진 선택지가 있는 상식 퀴즈와 같은 형태).
Hendrycks Math: 긴 풀이 과정을 써 내려가야 하는 어려운 수학 문제 (에세이나 증명과 같은 형태).

연구 결과

1. 객관식 문제에서는 "적정 지점"이 효과가 있었다
객관식 의학 질문에서, 연구진은 "모른다"라는 답변에 대한 보상의 '적정 지점'을 찾아냈습니다.

"모른다"라고 말했을 때 아주 작은 보상을 주자, AI는 불확실성을 인정하기 시작했습니다.
결과: 가짜로 지어낸 답변의 수가 크게 줄어들었습니다. AI는 더 겸손해졌습니다.
트레이드오프(Trade-off): AI가 추측을 멈추면서 전체적인 '정답률'은 약간 낮아졌습니다. 하지만 연구진은 적절한 보상(약 0.3점)을 주면, 좋은 답을 놓치지 않으면서도 나쁜 추측을 줄일 수 있다는 것을 발견했습니다.
대형 모델의 이점: 더 큰 모델(Qwen)이 작은 모델보다 이 "정직함 훈련"을 더 잘 수행했습니다. Qwen은 전체적인 지적 능력을 크게 잃지 않으면서도 필요할 때 "모른다"라고 말할 수 있었습니다.

2. 주관식 질문에서의 어려움
AI가 긴 답안을 작성해야 하는 어려운 수학 문제를 테스트했을 때는, 이 방법이 단독으로는 잘 작동하지 않았습니다.

문제점: AI는 추측하는 데 너무 익end되어 있어서, "모른다"라는 옵션을 선택하는 것을 두려워했습니다. 이는 마치 틀리는 것이 너무 두려운 나머지 빈칸으로 남겨두는 것조차 고려하지 않는 학생과 같았습니다. AI는 훈련 과정에서 "모른다"라고 말하는 옵션을 충분히 '탐색'하지 못했습니다.
해결책: 연구진은 2단계 과정을 시도했습니다. 먼저, 특정 질문 세트에 대해 AI가 "모른다"라고 말하는 연습을 강제로 시켰습니다(지도 미세 조정, Supervised Fine-Tuning). 그 다음, 보상 시스템을 적용했습니다. 이 방법은 AI가 답변을 유보하는 개념에 익숙해지도록 도왔지만, 여전히 균형을 잡는 것은 까다로운 일이었습니다.

시사점

이 논문은 AI에게 단순히 정직하라고 말하는 것만으로는 부족하며, 정직함에 대해 보상을 주어야 한다고 결론짓습니다.

개발자들은 "모른다"라고 말했을 때 주는 "점수"를 조절함으로써 AI의 성격을 튜닝할 수 있습니다. 그들은 필요에 따라 AI를 더 신중하게(거짓말을 덜 하게) 만들거나, 더 자신감 있게(더 많이 시도하게) 만들 수 있습니다.

신중한 접근법을 원한다면: "모른다"라고 말했을 때 작은 보상을 줍니다. 이렇게 하면 AI는 사실을 지어내는 일을 멈출 것이며, 이는 의료나 법률 자문처럼 틀렸을 때 위험이 따르는 분야에서 AI를 훨씬 더 신뢰할 수 있게 만듭니다.
한계점: AI가 "모른다"라고 말하는 법을 배우는 데에는 처음에 약간의 도움이 필요합니다. 특히 복잡하고 개방적인 과제를 수행할 때 더욱 그렇습니다.

요약하자면, 연구진은 침묵이 때로는 거짓말보다 낫다는 것을 AI 모델에게 가르치는 훈련 매뉴얼을 만들었으며, 적절한 보상이 있다면 AI가 지적 겸손함을 배울 수 있다는 것을 입증했습니다.

기술 요약: 대규모 언어 모델의 지적 겸손성 보상

문제 정의

대규모 언어 모델(LLM)은 특히 사실적 영역에서 훈련 목표가 확실성과 관계없이 응답 생성을 보상하기 때문에, 환각(hallucination)이나 검증 불가능한 콘텐츠를 빈번하게 생성합니다. SFT(Supervised Fine-Tuning)나 RLHF(Reinforcement Learning from Human Feedback)와 같은 기존의 완화 전략은 비용이 많이 드는 인간 참여형 피드백에 의존하는 경우가 많으며, 불확실성을 명시적으로 모델링하거나 확신이 없을 때 모델이 답변을 포기하도록 가르치지 못합니다. 본 연구는 밀집된 인간 선호도 데이터에만 전적으로 의존하지 않고도 "모르겠습니다"라고 말할 수 있는 능력, 즉 '지적 겸손성'을 명시적으로 장려하는 훈련 패러다임의 필요성을 다룹니다.

방법론

저자들은 검증 가능한 보상을 활용한 강화 학습(RLVR) 수정 프레임워크를 제안합니다. 이 접근 방식은 모델의 행동을 유도하기 위해 **삼항 보상 구조(ternary reward structure)**를 활용합니다:

정답 ( $r_{correct} = 1$ ): 보상됨.
오답 ( $r_{wrong} = -1$ ): 벌점 부여.
기권/포기 ( $r_{abs}$ ): 조절 가능한 하이퍼파라미터에 따라 보상되거나 벌점이 부여됨. 기권 토큰은 "모르겠습니다"로 정의됩니다.

실험 설정

모델: 본 연구는 Granite-3.3-2B-Instruct와 Qwen-3-4B-Instruct를 평가합니다.
데이터셋:
- MedMCQA: 검증을 용이하게 하기 위해 명시적인 "모르겠습니다" 옵션이 추가된 다중 선택형 의료 데이터셋입니다.
- Hendrycks Math: 비 다중 선택 시나리오로의 일반화 능력을 테스트하기 위해 사용되는 개방형 다단계 수학 문제 데이터셋입니다.
훈련 전략: 저자들은 GRPO(Group Relative Policy Optimization)를 사용하여 세 가지 주요 설정을 비교합니다:
1. RL-only: 삼항 보상 신호를 통한 직접 훈련.
2. RL-SFT-Random: 모델이 MedMCQA에서 정답의 30%를 "모르겠습니다"로 무작위로 대체하여 기권을 유도하도록 먼저 SFT 훈련을 거친 후, RLVR 미세 조정을 수행하는 2단계 프로세스입니다.
3. RL-RTuning: 위와 유사하지만, SFT 단계가 모델이 틀린 질문만을 구체적으로 타겟팅하여 (R-Tuning 원칙에 기반하여) 모델이 알려진 실패 상황에서만 기권하도록 가르칩니다.

보상 설계

보상 함수 $R(y)$ 는 다음과 같이 정의됩니다:
$R(y) = \begin{cases} 1 & \text{if } y \text{ is correct} \\ r_{abs} & \text{if } y = \text{"I don't know"} \\ -1 & \text{if } y \text{ is incorrect} \end{cases}$
MedMCQA의 경우, 검증 가능한 출력 구조를 보장하기 위해 엄격한 XML 스타일 태깅(<reasoning>, <answer>)을 강제하는 포맷 보상도 적용됩니다.

주요 결과

1. 정확도와 기권 사이의 트레이드오프

실험 결과, 기권 보상( $r_{abs}$ )에 의해 제어되는 명확하고 조절 가능한 트레이드오프가 드러났습니다:

중간 정도의 보상: $r_{abs}$ 를 작은 양수 또는 약간의 음수 값(예: $-0.25 $에서$ 0.3$)으로 설정하면, 다중 선택 과업에서의 전체 정확도의 심각한 저하 없이 오답(환각)을 일관되게 줄일 수 있습니다.
모델 민감도: 더 큰 모델(Qwen-3-4B)은 작은 모델(Granite-3.3-2B)에 비해 기권 유도에 대해 더 높은 강건성을 보입니다. 예를 들어, MedMCQA에서 $r_{abs}=0.3$ 인 Qwen-3-4B는 정답률 48.0%를 유지하면서 오답률을 32.5%에서 10.3%로 낮추었으나, "모르겠습니다" 비율은 41.0%로 증가했습니다.

2. 훈련 변형 모델의 성능

RL-only: MedMCQA에서 환각을 줄이는 데는 효과적이었으나, Hendrycks Math에서는 어려움을 겪었습니다. 저자들은 이를 "불충분한 탐색" 때문이라고 설명하며, 베이스 모델의 초기 기권 토큰 사용에 대한 주저함이 RL 알고리즘이 개방형 환경에서 해당 행동을 학습하는 것을 방해한다고 분석했습니다.
RL-SFT-Random: 이 접근 방식은 탐색 문제를 성공적으로 해결했습니다. Hendrycks Math에서 정확도 손실은 10%에 불과하면서 오답을 약 28% 감소시켰습니다. 그러나 MedMCQA에서는 이 설정에서 더 높은 기권 보상이 모델을 지나치게 신중하게 만들어 정답률의 단조 감소를 초래했습니다.
RL-RTuning: 예상과 달리, 이 방법은 RL-SFT-Random보다 성능이 낮았습니다. 저자들은 RL-RTuning의 SFT 단계가 "모르겠습니다" 응답(약 60%)에 의해 지배되어, 모델이 자신 있게 답변하는 능력이 붕괴되었고 이후 RL 단계에서 이를 회복하지 못했다고 가설을 세웠습니다.

3. 개방형 vs 다중 선택형

삼항 보상 체계는 구조화된 다중 선택형 질문에는 잘 작동했지만, 개방형 QA(Hendrycks Math)의 경우 모델의 기권에 대한 주저함을 극복하기 위해 초기 SFT 단계가 필요했습니다. SFT 없이 RL-only 방식은 개방형 도메인에서 기권 행동을 유도하는 데 실패했습니다.

의의 및 주장

본 논문은 검증 가능한 보상 설계가 환각을 완화하기 위해 인간 중심의 정렬 방법보다 실용적이고 유연하며 비용 효율적인 대안이 될 수 있다고 주장합니다. 핵심 요점은 다음과 같습니다:

실행 가능성: 기권을 명시적으로 보상하는 것은 LLM에 지적 겸손성을 촉진하기 위한 실행 가능한 전략입니다.
조절 가능성: 기권 보상( $r_{abs}$ )은 직접적인 제어 노브 역할을 하여, 실무자가 특정 애플리케이션 요구 사항에 따라 신중함(환각 감소)과 정확도(과업 정확도 유지) 사이의 균형을 맞출 수 있게 합니다.
확장성: 이 접근 방식은 적절한 기권 유도 하에서 더 나은 내부 교정 능력을 보여주는 대규모 모델에 특히 효과적입니다.
한와점: 본 연구는 이 방법이 환각을 줄여주기는 하지만 완전히 제거하지는 못한다는 점을 인정하며, 최적의 보상 구조는 모델 및 데이터셋 유형(MCQ vs. 개방형)에 따라 크게 달라질 수 있음을 밝힙니다.

저자들은 현재의 결과가 유망하지만, 능력 붕괴를 방지하고 개방형 추론 과업의 성능을 더욱 개선하기 위해 SFT 단계에서 기권 샘플의 비율을 최적화하는 작업(30% 또는 그 이상보다는 10~30%를 제안)이 향후 과제로 필요하다고 결론지었습니다.