기술적 요약: 명확화, 거부 또는 답변? 믿음 강화 생성을 통한 대화 전략 수립

문제 제기

대형 언어 모델 (LLM) 은 텍스트에 대한 확률 분포를 정의하며, 이는 불확실성 또는 "믿음"의 표현으로 작용합니다. 기존 연구는 이 분포를 디코딩 (예: 최소 베이지안 위험) 또는 선택적 예측 (예: 의미적 엔트로피를 통한 환각 탐지) 과 같은 제한된 작업에 활용하지만, 이러한 접근법은 일반적으로 수동 개입, 외부 디코더, 또는 미세 조정을 필요로 합니다. 핵심적으로 표준 LLM 은 생성 과정에서 자신의 확률적 불확실성을 '내성찰'하거나 직접 활용할 수 있는 메커니즘이 부족합니다. 실증적 증거에 따르면 명시적 지침이 없으면 LLM 은 모호한 입력을 명확히 하거나 불확실할 때 답변을 거부하는 경우가 드물며, 대신 직접적인 답변을 기본으로 선택합니다. 이는 종종 입력의 모호성이나 내부적 사실적 불일치를 무시하게 만듭니다. 그 결과 다중 턴 모호한 질문 응답 (QA) 환경에서 환각이나 잘못된 답변이 발생합니다.

방법론: 믿음 강화 생성 (BAG)

저자들은 LLM 이 자신의 믿음 상태에 기반하여 더 풍부한 대화 전략 (직접 답변, 명확화 요청, 또는 거부) 을 가능하게 하는 훈련 없는 프레임워크인 **믿음 강화 생성 (Belief-Augmented Generation, BAG)**을 제안합니다.

핵심 메커니즘

BAG 는 2 단계 프로세스로 작동합니다:

1. 믿음 상태 구성: 입력 $x$가 주어지면, 모델은 몬테카를로 샘플링을 통해 $K$개의 샘플 ($Y^{(1)}, \dots, Y^{(K)}$) 을 생성합니다. 이러한 샘플들을 엔트로피나 다수결 투표와 같은 단일 지표로 축소하는 방법과 달리, BAG 는 $K$개의 텍스트 응답 전체 세트를 믿음 상태 $B_\theta(x)$로 유지합니다. 이 상태는 가능한 답변의 다양성뿐만 아니라 유보, 거절, 또는 문맥적 변이와 같은 언어적 단서도 포착합니다.
2. 전략 추론: 모델은 원래 사용자 질문과 $K$개의 후보 답변 (믿음 상태) 으로 프롬프트됩니다. 모델은 이 상태를 분석하고 다음 세 가지 전략 중 하나를 선택하도록 지시받습니다:
   • 직접 답변: 믿음 상태가 답변에 대해 높은 일관성 (낮은 불확실성) 을 보일 때.
   • 명확화: 믿음 상태가 질문의 서로 다른 해석에 해당하는 의미적으로 구별되지만 타당한 답변들을 포함할 때 (데이터 불확실성/모호성).
   • 거부: 믿음 상태가 유용한 명확화가 존재하지 않는 지식 부족 (인지적 불확실성/환각) 을 나타내는 상반된 사실을 포함할 때.

프롬프트 변형

저자들은 지시 사항의 복잡성이 증가하는 세 가지 프롬프트 변형 (BAG1, BAG2, BAG3) 을 탐구합니다:

• BAG1: 기본적인 일관성 검사.
• BAG2: 불확실성 특화 언어를 포함하며 모호성 (명확화) 과 환각 (거부) 을 구분합니다.
• BAG3: 모델이 의미별로 생성물을 클러스터링하고, 클러스터를 해석한 후 전략을 결정하도록 요구합니다.
• BAG+: 모델이 명확화를 선택할 경우 보조 LLM 을 사용하여 사용자 응답을 시뮬레이션하고, 최종 답변 또는 추가 거부를 결정하기 위해 믿음 상태를 재평가하는 확장 버전입니다.

주요 기여

1. 믿음 상태에 대한 직접 접근: 이 논문은 모델의 불확실성에 대한 원시 텍스트 표현을 프롬프트에 직접 주입하여 외부 도구나 훈련 없이 모델이 자신의 분포에 대해 추론할 수 있게 하는 방법을 소개합니다.
2. 전략 선택: 단일 생성물을 선택하거나 주장을 유보하는 데 초점을 맞춘 이전 연구와 달리, BAG 는 모델이 불확실성의 성격에 따라 답변, 명확화, 또는 거부 사이를 동적으로 선택할 수 있게 합니다.
3. 훈련 없는 적용 가능성: 이 접근법은 미세 조정, 외부 데이터, 또는 모델 가중치 접근이 필요하지 않아 오픈 및 클로즈드 모델 모두에 적용 가능합니다.
4. 라우팅에 대한 실증적 분석: 이 연구는 모델이 질문을 다양한 전략으로 라우팅하는 방식을 상세히 분해하고, 이러한 결정이 근본적인 믿음 상태 엔트로피에 얼마나 충실한지 평가합니다.

결과

실험은 여섯 개의 모델 (OLMo2/3, Qwen3, Gemini-2.5-Flash) 을 대상으로 한 AmbigQA 데이터셋 (1,832 개의 모호한 질문) 에서 수행되었습니다.

• 성능 향상: BAG 는 표준 직접 생성 및 프롬프트 전용 베이스라인 (전략 강화 생성, SAG) 에 비해 QA 정확도를 크게 향상시킵니다. 많은 경우, BAG+ 는 올바른 의도를 제공하는 "모호성 제거 오라클"보다도 우수한 성과를 보여, 모델이 사실적 지식이 부족할 때 추측하기보다 성공적으로 식별하여 거부할 수 있음을 입증합니다.
• 충실도: BAG 의 전략적 결정은 SAG 보다 모델의 내부 믿음 상태 엔트로피에 더 충실합니다. 믿음 상태 엔트로피가 증가함에 따라 BAG 모델은 명확화나 거부를 점점 더 자주 선택하는 반면, SAG 와 직접 생성은 거의 그렇게 하지 않습니다.
• 전략 분해: 정확도 향상은 모델에 따라 다른 메커니즘에 의해 주도됩니다. 예를 들어, Qwen 모델의 경우 개선은 주로 거부 전략 (환각 방지) 에 의해 주도되는 반면, Gemini 의 경우 명확화와 직접 답변의 기여도가 더 균형을 이룹니다.
• 분리화의 어려움: BAG 는 성능을 향상시키지만, 명확화가 필요한 해석 변이와 거부가 필요한 환각 변이를 구분하는 것은 여전히 어렵습니다. 모델은 때때로 사실적 불일치를 설명하기 위해 '지각된 모호성'을 생성하여 사용자를 혼란스럽게 할 수 있는 명확화 질문을 생성합니다.
• 간결성 트레이드오프: 간결성을 유도하는 프롬프트를 사용하면 토큰 비용이 크게 (최대 10 배) 절감되지만, 모델이 모호성을 감지하는 데 필요한 문맥적 단서가 제거되어 정확도에 약간 부정적인 영향을 미칠 수 있습니다.

중요성과 주장

이 논문은 모델이 대화 흐름을 안내하기 위해 자신의 확률적 불확실성을 활용할 수 있게 함으로써 더 견고하고 정직한 LLM 상호작용을 향한 한 걸음으로 BAG 를 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 표준 LLM 은 불확실할 때도 답변하는 것을 기본으로 하지만, BAG 는 불확실성을 명시적이고 실행 가능하게 만들어 이를 교정합니다.
• 내부 믿음 상태에 기반한 거부는 사실적 QA 에 필수적입니다. 많은 오류는 입력 모호성이 아니라 지식 부족에서 비롯되기 때문입니다.
• 이 방법은 효과적이지만, 믿음 상태 내에서의 모호성과 환각 구분은 아직 완벽하지 않으며, 향후 연구는 믿음 상태의 품질을 개선하고 라우팅 논리를 정교화하는 데 초점을 맞춰야 합니다.
• 이 접근법은 재훈련 비용 없이 QA 신뢰성을 향상시키는 실용적이고 즉각적인 해결책이지만, $K$개의 샘플과 추론 프롬프트에 따른 계산 비용이 발생합니다.

저자들은 BAG 가 정확도와 충실도를 향상시키지만, 언제 명확화하고 언제 거부해야 하는지에 대한 "분리화"는 여전히 열린 과제라고 결론지었습니다. 특히 믿음 상태는 모델의 가능한 출력을 반영할 뿐 보장된 기준 진실 (ground truth) 을 반영하지 않기 때문입니다.