💬 NLP

Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models

이 논문은 대규모 언어 모델이 근거가 있는 답변과 미지의 질문에 대한 기권 사이를 구별하는 능력을 엄격하게 평가하기 위해 설계된 오염 인지형 멀티 존 벤치마크인 Know2Guess를 소개하며, 현재의 모델들이 선택적 기권 능력은 어느 정도 갖추고 있으나 여전히 보정 및 양호한 항목에 대한 거부 문제에서 어려움을 겪고 있음을 밝힙니다.

원저자: Renwei Meng, Bowen Zhang, Jian Wang, Xican Wang, Haoyi Wu, Xuanyan Qiu, Shengan Yang

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Renwei Meng, Bowen Zhang, Jian Wang, Xican Wang, Haoyi Wu, Xuanyan Qiu, Shengan Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: "과도하게 자신감 넘치는 추측을 하는" 학생

당신이 도서관의 거의 모든 책을 읽은 매우 똑똑한 학생과 함께 시험을 치르고 있다고 상상해 보세요.

장점: 정답을 알고 있을 때, 그 학생은 매우 명석합니다.
단점: 정답을 모를 때, 그 학생은 "모르겠습니다"라고 말하는 대신, 사실처럼 들리지만 완전히 지어낸 이야기들을 아주 자신감 있게 늘어놓습니다.

AI(인공지능)의 세계에서는 이를 **환각(Hallucination)**이라고 부릅니다. 현재의 AI 테스트들은 대개 단순히 *"AI가 정답을 맞혔는가?"*만을 확인합니다. 만약 AI가 자신만만하게 추측했다가 틀렸을 경우, 기존의 테스트들은 이를 제대로 잡아내지 못합니다. 즉, 자신감 넘치는 거짓말을 운 좋게 맞힌 추측과 똑같이 취급해 버립니다.

해결책: "정지 표지판"이 있는 새로운 테스트

저자들은 Know2Guess라는 새로운 벤치마크를 만들었습니다. 이것을 단순한 테스트가 아니라, AI를 위한 신호등 시스템이라고 생각하세요.

단순히 "답이 무엇인가?"라고 묻는 대신, 이 테스트는 AI에게 두 가지 옵션 중 하나를 선택하도록 강제합니다:

진행 (답변): "나는 이것을 알고 있으며, 여기 사실이 있습니다."
정지 (유보): "나는 이것을 모르므로, 침묵하겠습니다."

목표는 AI가 얼마나 많은 질문에 답할 수 있는지를 보는 것이 아닙니다. 목표는 AI가 언제 멈춰야 하는지를 아는지 확인하는 것입니다.

테스트 구성: 4가지 "구역(Zone)"

테스트를 공정하고 까다롭게 만들기 위해, 저자들은 1,200개의 질문을 네 가지 구역(비디오 게임의 레벨과 같은)으로 나누었습니다:

구역 A (쉬운 내용): 누구나 아는 유명한 사실들 (예: "미국의 첫 번째 대통령은 누구인가?"). AI는 이에 대해 답변해야 합니다.
구역 B (생소한 내용): 사실이지만 덜 유명한 정보들 (예: "작은 나라의 수도는 어디인가?"). AI는 여전히 이에 대해 답변해야 합니다.
구역 C (까다로운 내용): 실제 사실이지만, 질문이 혼란스럽게 구성되어 있습니다. AI는 포기하지 않고 이를 파악해낼 만큼 충분히 똑똑해야 합니다.
구역 D (함정): 실제처럼 보이지만 사실은 가짜인 질문들입니다. 존재하지 않는 인물이나 사건에 대한 지어낸 사실들입니다. AI는 여기서 반드시 "모르겠습니다"라고 말해야 합니다. 만약 답변을 시도한다면, 함정에 빠진 것입니다.

반전: 이 테스트에는 "오염 측정기(Contamination Meter)"도 포함되어 있습니다. 이는 AI가 학습 데이터에서 이 테스트 질문을 미리 본 적이 있는지 확인하는 것과 같습니다. 만약 AI가 정답을 암기했다면, 그것은 부정행위입니다. 테스트는 이를 추적하여 AI가 실제로 무언가를 알고 있는 것인지, 아니면 단순히 기억하고 있는 것인지를 구분합니다.

게임의 규칙

연구진은 AI가 공정하게 게임에 임하도록 엄격한 규칙을 세웠습니다:

회피용 "모르겠습니다" 금지: AI는 안전을 위해 모든 질문에 답변을 거부할 수 없습니다. 실제 질문에는 답해야 하며, 가짜 질문에서만 멈춰야 합니다.
엄격한 채점: 컴퓨터 프로그램이 정답을 확인합니다. 만약 AI가 실제 질문에 "모르겠다"고 답하면 벌점을 받습니다. 가짜 질문에 대해 추측을 하면 벌점을 받습니다.

연구 결과: 무엇을 발견했나?

연구진은 이 새로운 테스트를 사용하여 여러 인기 있는 AI 모델(Qwen, Llama, FLAN 등)을 테스트했습니다. 결과는 다음과 같았습니다:

"과거의" 모델들 (FLAN): 이 모델들은 멈추는 능력이 형편없었습니다. 정답을 모를 때, 그들은 그저 자신만만하게 추측했습니다. 그들은 테스트의 "정지" 부분을 완전히 실패했습니다.
"최신" 모델들 (Qwen 및 Llama): 이 모델들은 더 똑똑합니다. 가짜 질문(구역 D)에 대해 "모르겠다"고 말하는 능력이 훨씬 좋아졌습니다.
- 우승자: Qwen2.5-3B 모델이 전반적으로 가장 우수한 성능을 보였습니다. 실제 질문에는 잘 답하면서, 가짜 질문에서는 매우 잘 멈췄습니다.
한계점 (아직 해결되지 않음): 최고의 모델조차 여전히 문제가 있습니다:
- 신뢰도 문제: 정답을 맞힐 때조차, 자신이 맞는지 항상 확신하지 못합니다 (보정 능력이 부족함).
- "거절" 문제: 때때로 AI는 질문이 민감하거나 어렵다는 이유만으로 (실제로 몰라서가 아니라) 답변을 거부합니다. 이는 마치 학생이 선생님이 무섭다는 이유로 수학 문제를 풀기를 거부하는 것과 같습니다.
- 어려운 문제: 모델들은 여전히 "까다로운" 질문(구역 C)에서 어려움을 겪습니다. 실제 사실임에도 불구하고 너무 쉽게 포기하곤 합니다.

핵심 요점

이 논문은 AI가 언제 멈춰야 하는지에 대한 문제를 아직 해결하지 못했다고 결론짓습니다.

새로운 모델들이 가짜 질문을 식별하는 데는 더 나아졌지만, 여과 없이 틀린 것에 대해서도 지나치게 자신만만하며, 실제로 답할 수 있는 실제 질문에 대해서는 때때로 포기해 버립니다.

저자들은 이 새로운 테스트가 우리가 흔히 혼동하는 세 가지 서로 다른 요소를 분리해 준다는 점이 중요하다고 말합니다:

지식 (Knowledge): 정답을 아는 것.
정직함 (Honesty): 모를 때 침묵하고 모른다고 말하는 것.
거절 (Refusal): 안전 규칙 때문에 답변을 거부하는 것 (이는 모르는 것과는 다릅니다).

이 요소들을 분리함으로써, 이 테스트는 AI가 단순히 합격/불합격 점수를 받는 것을 넘어, 정확히 어느 부분에서 실패하고 있는지를 보여줍니다. 이는 개발자들이 단순히 똑똑한 AI가 아니라, 겸손하고 신뢰할 수 있는 AI를 만드는 데 도움을 주는 도구입니다.