기술 요약: 알지만 보여주지 않음

문제 정의

대형 언어 모델 (LLM) 이 사용자 질의에 응답하기 위해 점점 더 많이 배포되고 있지만, 이러한 질의는 종종 중요한 세부 사항이 누락되거나 여러 가지 유효한 해석이 가능한 불완전한 상태로 제시됩니다. 이러한 모호함에 직면했을 때, 도움이 되는 어시스턴트는 이상적으로 불확실성을 인식하고 추측을 silently 내리기보다 명확화를 요청해야 합니다. 그러나 현재 모델들은 종종 단일한 "최선의 추측" 답변을 제공하는 것을 기본으로 삼아, 사용자의 의도를 왜곡하고 오류를 확산시킬 수 있는 숨겨진 가정을 강요합니다.

본 연구에서 조사된 핵심 문제는 LLM 의 모호성 인식(질의가 모호하다는 것을 인식하는 능력) 과 명확화 행동(그 인식을 바탕으로 질문을 하거나 답변을 거부하는 경향) 사이의 불일치입니다. 저자들은 모델들이 내부적으로 질의가 모호하다는 것을 "알고" 있을지라도, 기본 응답에서 이러한 지식을 "보여주는" 경우는 드물다고 주장합니다.

방법론

본 연구는 모호한 질문, 모호하지 않은 질문, 그리고 모호한 질문의 명확화된 재작성을 포함하는 AmbigQA 데이터셋을 사용하여 세 가지 상호 보완적인 설정에서 LLM 을 평가합니다. 평가에는 OpenAI, Claude, Qwen 세 가지 계열의 10 개 모델이 포함되며 다음과 같은 항목을 다룹니다:

1. 표준 질문 응답 (QA): 모델이 검색된 컨텍스트 (위키피디아 단락) 유무에 관계없이 질문을 직접 답변하도록 프롬프트됩니다. 성능은 참조 답변에 대한 정확도로 측정됩니다.
2. 명시적 모호성 판단: 모델은 특정 질문이 모호한지 모호하지 않은지 결정하는 이진 분류 작업을 수행하도록 요청받습니다. 이는 답변을 요구하지 않고 모델의 명시적 인식을 탐구합니다.
3. 행동 분석: 판정 모델 (GPT-5-nano) 은 모델 응답을 네 가지 범주로 분류합니다: 거부, 명확화 질문 요청, 답변 제공(답변을 제공하는 경우), 답변만 제공(거부나 명확화 없이 답변만 제공하는 경우).

연구는 또한 모델이 모호성을 인식할 때 식별하는 모호성의 구체적인 유형(시간적, 정체성, 버전, 범위, 의미적, 지역적, 기타) 을 분석하여 이러한 분포를 인간 주석과 비교합니다.

주요 결과

1. "알지만 보여주지 않음" 격차

가장 중요한 발견은 인식과 행동 사이의 명확한 단절입니다.

• 인식: 모호성을 명시적으로 판단하도록 요청받았을 때, 모델들은 상당한 인식을 보입니다. 그들은 종종 질의가 모호하다는 것을 올바르게 식별하여 모호성 클래스에서 60~80% 의 정확도를 달성합니다 (다만 모호성을 과대 예측하는 경향이 종종 있습니다).
• 행동: 표준 QA 설정에서 모델들은 압도적으로 직접적인 답변을 기본으로 합니다. 명확화 질문은 극히 드물며 (일반적으로 응답의 1% 미만에서 5%), 거부는 거의 존재하지 않습니다. 모델들이 판단 설정에서 질의가 모호하다는 것을 올바르게 식별하더라도, 답변을 요청받았을 때 이를 명확화 행동으로 전환하지는 못합니다.

2. 검색된 컨텍스트의 영향

검색된 컨텍스트 (RAG) 는 모호성 처리에 직관적이지 않은 효과를 낳습니다:

• QA 정확도: 컨텍스트는 모호한 질문과 모호하지 않은 질문 모두에 대한 답변 정확도를 크게 향상시킵니다. 특히 작은 모델들의 경우 두드러집니다.
• 명확화 억제: 컨텍스트의 존재는 모델이 명확화 질문을 할 가능성을 낮춥니다. 컨텍스트는 질문이 답변 가능하다는 단서로 작용하여, 모델들이 모호한 질의조차 실질적으로 모호하지 않은 것으로 취급하게 만듭니다.
• 격차 확대: 컨텍스트는 답변 능력을 향상시키지만, 모호성 인식과 명확화 행동 사이의 격차를 더욱 확대시킵니다. 모델들은 지지 단락이 존재할 때 모호성을 표시하는 것을 더욱 꺼리게 됩니다.

3. 모호성 유형 편향

모델이 모호성을 식별할 때, 모호성의 유형에 대한 분류는 왜곡됩니다. 모델들은 일관되게 정체성(동일한 이름을 가진 여러 개체) 과 버전 모호성을 과다 할당하는 반면, 범위 모호성 (결여된 세분화 수준) 은 현저히 과소 할당합니다. 이는 모델들이 질의의 구조에 대한 깊은 추론보다는 구체적인 표면적 신호에 의존함을 시사합니다.

중요성과 주장

본 논문은 인간 주석자에 의해 "유용하고" "도움이 된다"고 평가받는 응답을 생성하도록 모델을 장려하는 현재 훈련 파이프라인이 우연히 모델들에게 불확실성을 숨기도록 가르친다고 주장합니다. 모호성을 표현하거나 명확화를 요청하는 것은 표준 RLHF(인간 피드백을 통한 강화 학습) 파이프라인에서 높은 보상을 받는 것과 종종 일치하지 않기 때문에, 모델들은 직접적인 답변을 제공하는 대신 이러한 인식을 억압하도록 학습합니다.

저자들은 이것이 두 가지 주요 함의를 가진다고 주장합니다:

1. 훈련 목표: 진실성과 신뢰성을 향상시키기 위해, 훈련 목표는 답변 정확도에만 초점을 맞추는 대신 불확실성의 표현, 명확화 질문의 요청, 그리고 미완성된 명세에 대한 인정을 명시적으로 보상해야 합니다.
2. 평가 주의: LLM 이 무엇을 "알고" 있는지 탐구할 때, 작업의 구성이 매우 중요합니다. 모델은 질문을 분석하도록 요청받을 때는 높은 모호성 인식을 보일 수 있지만, 답변하도록 요청받을 때는 거의 제로에 가까운 인식을 보일 수 있습니다.

본 연구는 "알지만 보여주지 않음" 패턴이 내부적 인식이 기본 행동에 신뢰성 있게 표면화되지 않는 시스템적 문제이며, 검색된 컨텍스트의 존재에 의해 더욱 억제되는 현상이라고 결론지었습니다.