Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

기술 요약: 파라메트릭 지식만으로는 충분하지 않다

문제 정의
대규모 언어 모델(LLM)은 자신의 지식 경계를 인식하지 못해 사실과 다른 응답을 생성하는 "환각(hallucination)" 현상을 빈번하게 겪는다. LLM의 "정직성(honesty)"—자신의 지식 범위를 벗어난 질문에 대해 답변을 거부하는 능력(자기 지식)과 지식이 존재할 때 올바르게 답변하는 능력(자기 표현)으로 정의됨—을 개선하기 위한 현재의 방법들은 상당한 평가상의 어려움에 직면해 있다. 기존의 벤치마크들은 LLM을 블랙박스로 취급하여 지식 경계를 간접적으로 추정한다. 이는 모델이 답변하지 못한 이유가 지식의 부재(자기 지식 문제) 때문인지, 아니면 표현의 일관성 부족(자기 표현 문제) 때문인지 구분하지 못해 발생하는 결함 있는 평가로 이어진다. 더욱이, 특정 학습 데이터에 접근할 수 없다면 모델이 정답을 알고 있어야 하는지 여부를 확정적으로 판단하는 것이 불가능하므로, 견고한 벤치마킹을 수행하기 어렵다.

방법론
저자들은 두 가지 측면의 접근 방식인 새로운 평가 벤치마크와 RETAIN(Retrieval-Enhanced Training-Aware Inference)이라 불리는 새로운 추론 시점 방법을 제안한다.

1. 벤치마크 구축 (TIP-TRIVIAQA):

   • 공개된 사전 학습 데이터를 보유한 진정한 오픈 소스 LLM인 Pythia를 활용하여, 지식의 "실제 정답(ground truth)"을 알 수 있는 벤치마크를 구축한다.
   • 저자들은 질문이 "답변 가능(answerable)"한지(즉, 정답이 사전 학습 코퍼스 내에 존재하는지) 또는 "답변 불가능(unanswerable)"한지(존재하지 않는지)를 결정하기 위해 2단계 검색 과정을 사용한다:
     • 토큰 기반 검색(Token-Based Search): 질문과 골드 정답(gold answer)에 포함된 특정 키워드를 포함하는 문서를 검색한다. 이후 LLM이 관련성을 판단한다.
     • 벡터 기반 검색(Vector-based Search): 토큰 검색으로 해결되지 않은 질문에 대해 의미적 유사성을 사용하여 문서를 검색한 뒤, 관련성을 판단한다.
   • 이를 통해 모델이 사전 학습 과정에서 실제로 정보에 노출되었는지 여부에 따라 질문을 명시적으로 분류하는 데이터셋(TIP-TRIVIAQA)을 생성한다.

2. RETAIN 방법:

   • RETAIN은 세 가지 구성 요소로 이루어진 에이전트 프레임워크이다:
     • 리트리버(Retriever): 입력 질문을 인코딩하고 밀집 검색(dense retrieval)을 사용하여 모델 자신의 사전 학습 코퍼스에서 상위 $k$개의 문서를 검색한다.
     • 답변 가능성 분류기(Answerability Classifier): 미세 조정된 모델로서, 검색된 문서가 질문에 답하기에 충분한 정보를 포함하고 있는지 판단한다. 관련 문서를 찾지 못할 경우, 시스템은 거절 메시지("모릅니다")를 트리거한다.
     • 응답자(Responder): 미세 조정된 모델로서, 분류기가 질문이 답변 가능하다고 판단한 경우에만 검색된 문서를 문맥(context)으로 사용하여 골드 정답을 생성한다.

주요 기여

1. 견고한 벤치마크: 본 논문은 블랙박스 평가를 넘어, 사전 학습 데이터 내에서 관련 문서를 식별함으로써 LLM의 지식 경계를 명시적으로 고려하는 최초의 LLM 정직성 벤치마크를 도입한다.
2. 새로운 추론 방법: 저자들은 추론 시점에 모델 자신의 사전 학습 코퍼스에 대한 검색을 활용하는 RETAIN을 제안한다. 이를 통해 모델은 자신이 본 질문(답변 가능)과 보지 못한 질문(거절해야 함)을 구분할 수 있다.
3. 경험적 검증: 연구는 Pythia-12b-deduped를 사용하여 TIP-TRIVIAQA 벤치마크에서 실험을 진행하였으며, RETAIN이 기존 베이스라인(SFT, Best-of-N, DPO, R-Tuning 포함)보다 성능이 우수함을 입증한다.

결과
TIP-TRIVIAQA 벤치마크에서 수행된 Pythia-12b-deduped 대상 실험 결과, RETAIN은 기존 베이스라인(R-Tuning 포함)을 크게 상회하는 성능을 보였다.

• 성능: RETAIN은 ExactMatch-F1 점수 58.57과 PartialMatch-F1 점수 62.23을 달성하였으며, 이는 차순위 베이스라인인 R-Tuning(44.16 PM-F1)보다 실질적으로 높은 수치이다.
• 일반화: 인간이 답할 수 없는 질문을 포함하는 HoneSet 데이터셋에서 RETAIN은 87.63%의 거절률을 기록하며 모든 베이스라인을 압도하였고, 이는 해당 방법이 특정 벤치마크를 넘어 일반화될 수 있음을 나타낸다.
• 어블레이션(Ablation) 연구: 결과는 검색, 답변 가능성 분류, 그리고 훈련된 응답자의 조합이 최적의 성능을 위해 필수적임을 확인시켜 준다. 구성 요소 중 하나라도 제거하면 F1 점수가 저하된다.

의의
본 논문은 사전 학습 데이터를 활용하여 LLM 정직성 벤치마크를 구축하고, 질문 답변을 위해 모델 자신의 사전 학습 코퍼스에 대한 검색을 수행한 첫 번째 사례라고 주장한다. 저자들은 파라메트릭 지식만으로는 정직성을 확보하기에 불충분하며, 대신 모델이 자신의 지식 한계를 정확히 인지하기 위해서는 학습 데이터를 접근하고 검증할 수 있는 메커니즘이 필요하다고 주장한다. Pythia와 같은 오픈 모델의 투명성을 활용함으로써, 본 연구는 비판적인 영역에서 환각을 줄이고, 모르는 것에 대해 명시적으로 인정할 수 있는 더 신뢰할 수 있고 해석 가능하며 정직한 AI 어시스턴트로 나아가는 경로를 제시한다.