No One Size Fits All: QueryBandits for Hallucination Mitigation

1. 문제 정의 (Problem)

• 배경: 대형 언어 모델 (LLM) 의 추론 능력이 향상됨에 따라 '할루시네이션 (Hallucination, 사실과 다른 정보 생성)' 발생 빈도가 증가하고 있습니다.
• 현황: 기존 완화 연구는 주로 오픈소스 모델의 내부 표현 수정 (파라미터 편집) 이나 로그 (logits) 기반의 사후 검출에 집중되어 있습니다.
• 한계: 기관에서 실제로 널리 사용되는 **클로즈드소스 모델 (예: GPT-4o)**은 내부 가중치나 토큰 확률에 접근할 수 없어 기존 방법이 적용 불가능합니다. 또한, 입력의 작은 변화가 출력에 큰 차이를 만들 수 있으므로, 고정된 규칙 (One-size-fits-all) 기반의 질의 재작성 전략은 모든 경우에 최적의 해결책이 되지 못합니다.
• 목표: 모델 가중치를 수정하지 않고, 입력 단계 (Forward-pass) 에서만 작동하며, 각 질의의 특성에 맞춰 적응적으로 최적의 재작성 전략을 선택하는 모델 중립적 (Model-agnostic) 프레임워크 개발.

2. 방법론 (Methodology)

저자들은 QueryBandits라는 컨텍스트 밴딧 (Contextual Bandit) 프레임워크를 제안합니다.

가. 핵심 아이디어

각 질의 (Query) 에 대해 17 가지 언어학적 특징 (Feature) 을 기반으로 최적의 재작성 전략 (Rewrite Strategy) 을 온라인으로 학습하여 선택합니다.

나. 구성 요소

1. 액션 공간 (Action Space): 5 가지 재작성 전략을 정의합니다.
   • PARAPHRASE: 의미는 유지하되 어휘적 다양성을 도입.
   • SIMPLIFY: 중첩된 절과 복잡한 구문 제거.
   • DISAMBIGUATE: 모호한 대명사나 시간 표현을 명확화.
   • EXPAND: 맥락을 풍부하게 하기 위해 중요한 개체나 속성 추가.
   • CLARIFY TERMS: 전문 용어 정의 추가.
2. 컨텍스트 (Context): 각 질의에 대해 17 차원의 이진 언어학적 특징 벡터를 추출합니다. (예: 대명사 사용, 하위절 포함, 모호성, 도메인 특화성, 추론 가능성 등).
3. 보상 모델 (Reward Modeling): 생성된 답변의 정확도를 평가하기 위해 세 가지 지표를 결합한 복합 보상 함수 ($r_t$) 를 사용합니다.
   • $r_t = \alpha s_{llm} + \beta s_{fuzz} + \gamma s_{bleu}$
   • $s_{llm}$: LLM-as-a-judge 를 통한 이진 정확도 판정 (가장 높은 가중치).
   • $s_{fuzz}$: 퍼지 문자열 유사도 점수.
   • $s_{bleu}$: BLEU-1 점수 (단어 수준의 겹침).
   • 최적 가중치: 인간 라벨링 데이터셋을 통해 파레토 최적 (Pareto-optimal) 인 가중치 $(\alpha, \beta, \gamma) = (0.6, 0.3, 0.1)$을 도출했습니다.
4. 알고리즘:
   • Contextual Bandits: LinUCB, LinUCB+KL, Thompson Sampling (TS) 등. (질문의 특징을 고려하여 각 전략의 기대 보상을 추정).
   • Non-Contextual Bandits: EXP3, FTPL 등. (질문 특징을 무시하고 전역적으로 학습).
   • Baseline: 재작성 없음 (No-Rewrite) 및 고정된 프롬프트 (Zero-shot static prompts).

3. 주요 기여 (Key Contributions)

1. 사실성 (Factuality) 을 위한 보상 모델링: LLM 판정, 퍼지 매칭, BLEU 를 결합하여 인간 라벨과 높은 일치도 (ROC-AUC 0.973) 를 보이는 검증된 보상 함수를 제안했습니다.
2. 컨텍스트 적응의 우위성: 13 개 벤치마크 (16 개 시나리오) 에서 컨텍스트 밴딧 (특히 Thompson Sampling) 이 No-Rewrite 베이스라인 대비 **87.5%**의 승리율을 기록했으며, 고정된 재작성 전략 (PARAPHRASE, EXPAND 등) 보다 42.6%~60.3% 더 높은 성능을 보였습니다.
3. 해석 가능한 의사결정 가중치: 어떤 하나의 재작성 전략이 모든 질의에 최적일 수 없음을 실증했습니다. 예를 들어, '도메인 특화성 (Specialization)'이 있는 질의에는 EXPAND가 효과적이지만, SIMPLIFY는 오히려 성능을 저하시킵니다. 17 가지 특징 벡터가 각 전략 선택에 중요한 신호로 작용함을 확인했습니다.
4. 클로즈드 모델 적용 가능성: 모델 내부 수정 없이 입력 레이어에서만 작동하므로 GPT-4o 와 같은 클로즈드 모델에서도 즉시 적용 가능합니다. GPT-4o 의 TruthfulQA 점수를 81.4% 에서 **88.8%**로 향상시켰습니다.

4. 실험 결과 (Results)

• 데이터셋: ARC-Challenge, MMLU, TruthfulQA, HotpotQA 등 13 개 QA 벤치마크.
• 성능 비교:
  • Contextual Thompson Sampling (TS): 전체 16 개 시나리오 중 8 개에서 1 위, 평균 정확도 0.766 (베이스라인 0.681 대비 +8.5%p).
  • LinUCB 계열: 나머지 시나리오에서 우세하게 작동.
  • Static Prompts: 어떤 데이터셋에서도 1 위를 차지하지 못했으며, 일부 전략 (예: EXPAND) 은 No-Rewrite 보다 오히려 누적 후회 (Cumulative Regret) 가 커질 정도로 성능을 저하시켰습니다.
  • Non-Contextual Bandits: 컨텍스트 정보를 사용하지 않는 밴딧은 특정 데이터셋에서 하나의 전략으로 수렴하는 경향이 있어 컨텍스트 기반 방법보다 성능이 낮았습니다.
• 통찰: 고정된 재작성 정책은 유연성이 부족하여 할루시네이션을 악화시킬 수 있으며, 질의의 언어적 특징에 따라 동적으로 전략을 변경하는 것이 필수적입니다.

5. 의의 및 중요성 (Significance)

• 실용성: 기관에서 사용하는 클로즈드 LLM 에 대한 할루시네이션 완화의 중요한 공백을 메웠습니다. 재학습이나 미세 조정 (Fine-tuning) 없이도 "Plug-and-play" 방식으로 적용 가능합니다.
• 이론적 통찰: "하나의 크기가 모두에게 맞지 않는다 (No One Size Fits All)"는 것을 증명했습니다. 질의의 언어적 특징 (모호성, 복잡도, 도메인 등) 이 최적의 해결책을 결정하는 핵심 요소임을 규명했습니다.
• 효율성: 추가적인 모델 학습 비용 없이, 온라인 학습을 통해 Forward-pass 만으로 모델의 행동을 제어할 수 있음을 보여주었습니다.

이 논문은 LLM 의 할루시네이션을 줄이기 위해 모델 내부가 아닌 입력 (Query) 의 적응적 재작성에 초점을 맞춘 새로운 패러다임을 제시하며, 특히 클로즈드 모델 환경에서의 실용적인 해결책을 제공합니다.