Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs
이 논문은 영어-힌디어 이중 언어 환경에서 인용 기반 대화 생성 시 환각을 0% 로 줄이고 모델의 의사결정 투명성을 높이기 위해 다단계 적응, 인용 기반 SFT, 그리고 GRPO 정렬을 포함하는 점진적인 학습 파이프라인 XKD-Dial 을 제안하고, 다양한 모델 크기와 해석 가능성 분석을 통해 그 유효성을 입증합니다.
이 연구는 AI 를 지식 도서관에서 일하는 학생으로 상상해 보세요. 이 학생은 도서관의 책 (지식) 을 읽고 사용자의 질문에 답해야 합니다. 하지만 문제는 이 학생이 **책을 보지 않고도 멋대로 지어낸 이야기 **(거짓말)를 할 수 있다는 점입니다.
연구진은 이 학생을 4 단계 훈련 과정을 통해 완벽한 사서로 키웠습니다.
1 단계: 언어 적응 (Multilingual Adaptation)
상황: 학생이 영어는 잘하지만 힌디어는 거의 모릅니다.
훈련: 영어와 힌디어를 오가는 번역 연습을 시킵니다.
효과: 학생이 두 언어를 자연스럽게 오갈 수 있는 기초 체력을 기릅니다. (작은 모델일수록 이 단계가 큰 도움이 됩니다.)
2 단계: 영어 대화와 출처 표기 (English Dialogue SFT)
상황: 이제 학생이 영어로 대화할 때, 무조건 책의 내용을 인용해야 한다는 규칙을 배웁니다.
훈련: "A 라는 사실을 말하려면 반드시 [1 번 책] 에서 찾아와야 해!"라고 가르칩니다.
효과: 놀라운 결과! 이 단계만 지나도 **거짓말 **(할루시네이션)이 됩니다. 학생은 "모르겠다"거나 "지어낸 이야기"를 하기보다, 책에 없는 내용은 말하지 않게 됩니다.
재미있는 사실: 아주 작은 학생 (250M 파라미터) 도 큰 학생 (780M) 과 똑같이 잘하게 됩니다.
3 단계: 힌디어로 확장 (Bilingual Dialogue SFT)
상황: 이제 힌디어로도 똑같은 규칙을 적용해야 합니다.
훈련: 영어에서 배운 "출처를 밝히는 습관"을 힌디어로 그대로 옮겨옵니다.
효과: 영어 실력은 떨어지지 않으면서 힌디어 실력이 급상승합니다. 마치 영어에서 배운 '공부법'을 힌디어 공부에도 똑같이 적용하는 것과 같습니다.
4 단계: 강화 학습 (GRPO Alignment)
상황: 학생이 이미 아주 잘하는데, 더 완벽하게 다듬기 위해 **선생님의 엄격한 채점 **(보상 시스템)을 도입합니다.
훈련: "거짓말하면 점수 깎고, 출처를 잘 밝히면 점수 올려줄게!"
결과: 의외로 큰 변화가 없었습니다. 이미 2 단계에서 충분히 잘했기 때문에, 4 단계의 추가 훈련은 '마지막 한 방' 정도만 더 다듬어 준 수준이었습니다.
🔍 주요 발견 사항 (알기 쉬운 요약)
거짓말은 '출처'를 요구하면 사라진다: AI 에게 "네가 말한 게 어디서 나왔는지 [1], [2] 처럼 표시해라"라고 강요하면, AI 는 거짓말을 할 수 없게 됩니다. 근거가 없으면 말을 못 하니까요.
작은 AI 도 큰 AI 를 이긴다: 보통 AI 는 크기가 클수록 똑똑하다고 생각하지만, 이 연구에서는 **작은 모델 **(250M)이 **큰 모델 **(780M)과 똑같은 영어 실력을 보여주었습니다. 비용이 훨씬 적게 들면서 똑같은 성과를 낼 수 있다는 뜻입니다.
**모델의 성격 차이 **(엔코더 vs 디코더)
**엔코더 - 디코더 모델 **(Flan-T5) 책을 읽으면서 답을 찾는 방식이라, 출처를 정확히 찾아내는 능력이 탁월했습니다.
**디코더 - 온리 모델 **(LLaMA, Mistral) 문맥을 기억하며 답을 만드는 방식이라, 형식적으로 출처를 적는 것은 잘하지만, 실제로 그 내용을 책에서 찾아낸 건지는 확인이 필요했습니다. (형식만 따르는 '위장'을 할 수 있음)
**힌디어의 함정 **(BLEU 점수) 힌디어는 문장 구조가 유연해서, 컴퓨터가 점수를 매기는 'BLEU'라는 점수표로는 점수가 매우 낮게 나옵니다. 하지만 실제로는 매우 잘하고 있습니다. (비유하자면, 힌디어는 '유창함'이 중요한데 점수표는 '단어 일치'만 따져서 오해를 산 것)
학습 중 '붕괴'도 다시 일어날 수 있다: 중간에 모델이 갑자기 말을 안 하거나 (생성 붕괴), 엉뚱한 짓을 할 때가 있었습니다. 하지만 **계속 훈련을 이어가면 **(3 단계) 다시 정상적으로 돌아와서 아주 잘하게 되었습니다.
💡 결론: 왜 이 연구가 중요한가?
이 연구는 AI 가 거짓말을 하지 않고, 그 근거를 명확히 보여줄 수 있는 방법을 찾았습니다.
신뢰성: "이 말은 1 번 책에 있습니다"라고 말하면 사용자는 AI 를 더 믿을 수 있습니다.
비용 효율성: 거창한 초대형 AI 가 아니더라도, 잘 훈련된 작은 AI 로도 충분히 훌륭한 서비스를 만들 수 있습니다.
다국어 지원: 영어만 잘하는 AI 에서 힌디어까지 자연스럽게 확장하는 방법을 제시했습니다.
결론적으로, **"AI 에게 출처를 밝히라고 가르치는 것 **(SFT)입니다. 추가적인 복잡한 학습 (RL) 보다는, 기본기를 다지는 훈련이 더 중요하다는 교훈을 줍니다.
1. 연구 배경 및 문제 정의 (Problem)
지식 기반 대화 시스템 (Knowledge-Grounded Dialogue) 은 외부 지식 소스를 참조하여 사실적이고 정보적인 응답을 생성하는 것을 목표로 합니다. 그러나 기존 연구는 다음과 같은 세 가지 근본적인 한계를 가지고 있습니다.
단어장 병목 현상 (Monolingual Bottleneck): 대부분의 연구가 영어에 집중되어 있으며, 힌디어와 같은 주요 언어 (6 억 명 이상 사용) 에 대한 표준 벤치마크나 체계적인 학습 방법이 부재합니다.
검증 가능한 인용의 부재: 기존 RAG(검색 증강 생성) 시스템은 지식을 참조하지만, 생성된 응답이 어떤 지식 패시지 (passage) 에 기반했는지 명시적인 인용 (예: [1]) 을 제공하지 않습니다. 이로 인해 사용자는 사실적 주장을 검증할 수 없어 신뢰성이 떨어집니다.
모델 의사결정의 불투명성: 모델이 특정 지식을 선택하고 응답을 구성한 이유에 대한 설명이 부족합니다. 특히 인용 마커를 생성하더라도 실제로 해당 지식에 기반하지 않는 '할루시네이션 (Hallucination)'이 발생할 수 있어, 인용의 정확성만으로는 품질을 보장하기 어렵습니다.
2. 제안 방법론: XKD-Dial (Methodology)
저자들은 XKD-Dial이라는 4 단계 점진적 (Progressive) 학습 파이프라인을 제안합니다. 이 방식은 복잡한 다국어 지식 기반 대화 능력을 단계적으로 구축하면서 이전 단계에서 학습한 능력을 유지 (Catastrophic Forgetting 방지) 하는 것을 핵심으로 합니다.
Stage 1: 다국어 적응 (Multilingual Adaptation)
영어 - 힌디어 병렬 번역 데이터를 사용하여 모델의 다국어 표현 능력을 강화합니다. 특히 힌디어 사전 학습 노출이 적은 모델에 필수적입니다.
Stage 2: 영어 대화 SFT (Supervised Fine-Tuning)
명시적인 인용 마커 ([1], [2] 등) 가 포함된 영어 지식 기반 대화 데이터로 SFT 를 수행합니다. 모델이 주장을 특정 지식 패시지에 연결하는 방법을 학습하게 합니다.
Stage 3: 양국어 대화 SFT
영어와 힌디어 대화 데이터를 혼합하여 학습합니다. Stage 2 에서 학습된 인용 형식이 힌디어로 자연스럽게 전이 (Transfer) 되며, 영어 능력은 유지됩니다.
Stage 4: GRPO 정렬 (Alignment)
그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 적용합니다. 인용 정확도, 사실적 일관성, 할루시네이션 패널티 등을 포함한 복합 보상 함수를 사용하여 모델을 미세 조정합니다.
설명 가능성 (Explainability) 분석: 학습 전 과정을 통해 세 가지 분석 기법을 적용하여 모델이 인용을 어떻게 학습하는지 규명했습니다.
크로스 어텐션 시각화: 인코더 - 디코더 모델에서 생성 시 어떤 지식 토큰에 주의를 기울이는지 분석.
통합 기울기 (Integrated Gradients): 입력 토큰의 기여도 (Attribution) 분석.
가림 (Occlusion) 기반 인과적 근거: 지식 패시지를 제거했을 때 인용이 사라지는지 확인하여 인과 관계를 검증.
3. 주요 기여 및 실험 설정 (Contributions & Setup)
모델 범위: 인코더 - 디코더 (Flan-T5: 250M3B) 와 디코더 전용 (LLaMA-3.2, Gemma-2, Mistral: 1B7B) 등 총 6 개의 모델을 250M~7B 파라미터 규모로 평가.
데이터: DSTC9, FaithDial, Wizard of Wikipedia 데이터를 기반으로 구축된 영어 - 힌디어 양국어 지식 기반 대화 데이터셋.
핵심 기여:
영어 - 힌디어 인용 기반 대화에 대한 최초의 체계적인 4 단계 파이프라인 제안.
인용 기반 SFT 를 통해 인코더 - 디코더 모델의 할루시네이션을 **0.0%**로 감소시킴.
점진적 학습을 통해 힌디어 능력 향상과 영어 능력 유지 (forgetting 방지) 동시 달성.
작은 모델 (250M) 이 SFT 후 큰 모델 (780M) 과 영어 성능이 동일해짐을 발견.
잘 설계된 SFT 가 구조화된 인용 작업에서 GRPO(RL) 보다 우월하거나 동등한 성능을 보임.
4. 주요 결과 및 분석 (Results & Analysis)
4.1 할루시네이션 감소 및 인용 학습
0% 할루시네이션: 인코더 - 디코더 모델 (Flan-T5) 은 Stage 2 이후 자동 NLI 기반 평가에서 할루시네이션이 **0.0%**로 떨어졌습니다.
할루시네이션과 인용의 분리: LLaMA-3.2-1B 모델은 Stage 2 이후 영어 할루시네이션이 0% 가 되었으나, 인용 마커를 전혀 생성하지 않았습니다 (Citation-F1 = 0.000). 이는 모델이 특정 주장을 피하는 보수적인 전략을 취함으로써 할루시네이션을 줄였음을 의미하며, '할루시네이션 제거'와 '인용 형식 학습'은 별개의 목표임을 시사합니다.
4.2 아키텍처별 차이
인코더 - 디코더 (Flan-T5): 크로스 어텐션 메커니즘을 통해 지식 패시지에 대한 명확한 인과적 근거 (Causal Grounding) 를 학습했습니다. 인용 형식과 내용 기반이 일치합니다.
디코더 전용 (Decoder-only):
Mistral-7B: 영어 인용 형식을 잘 학습했으나, 인과적 근거 (Occlusion 테스트) 는 0% 로 떨어졌습니다. 즉, 인용 마커는 생성하지만 실제 지식 소스에 기반하지는 않습니다.
Gemma-2-2B: 2B 모델임에도 불구하고 영어와 힌디어 모두에서 높은 인용 정확도를 보였습니다.
LLaMA-3.2-1B: 영어 인용 학습에 완전히 실패했으나, 힌디어에서는 성공적으로 학습했습니다. 이는 사전 학습된 영어 유창성이 새로운 인용 패턴 학습을 방해했을 가능성 (Language-Selective Failure) 을 시사합니다.
4.3 GRPO 의 효과
잘 설계된 SFT 이후 GRPO(Stage 4) 는 대부분의 모델에서 성능 향상이 미미했습니다 (Citation-F1, FactScore 등에서 거의 변화 없음). 이는 구조화된 인용 작업에서는 SFT 만으로도 충분할 수 있음을 보여줍니다.
4.4 생성 붕괴 (Generation Collapse) 및 회복
Flan-T5-XL(3B) 모델은 Stage 2 에서 학습률 문제로 인해 빈 문자열을 생성하는 '붕괴' 현상이 발생했으나, Stage 3(양국어 SFT) 을 통해 완전히 회복되어 Base/Large 모델과 유사한 성능을 달성했습니다. 이는 학습 파이프라인의 견고성을 보여줍니다.
4.5 힌디어 평가 지표의 한계
힌디어는 형태론적 풍부함 (Morphological richness) 으로 인해 BLEU 점수가 거의 0 에 수렴했으나, ROUGE-1 과 BERTScore 는 높은 품질을 보여주었습니다. 따라서 힌디어 평가에는 BLEU 대신 BERTScore 를 주 지표로 사용해야 함을 강조했습니다.
5. 의의 및 결론 (Significance & Conclusion)
이 논문은 다음과 같은 중요한 시사점을 제공합니다:
할루시네이션 감소 전략: 명시적인 인용 형식을 포함한 SFT 는 할루시네이션을 제거하는 강력한 전략이며, 특히 인코더 - 디코더 아키텍처에서 효과적입니다.
비용 효율성: SFT 를 통해 작은 모델 (250M) 이 큰 모델 (780M) 과 동등한 영어 대화 성능을 달성할 수 있어, 배포 비용 절감 가능성이 확인되었습니다.
설명 가능성의 중요성: 인용 마커가 생성되었다고 해서 반드시 해당 지식을 참조한 것은 아닙니다. Occlusion 테스트와 같은 인과적 근거 분석이 필수적이며, 디코더 전용 모델은 형식만 학습하고 내용 기반은 부재할 수 있음을 발견했습니다.
RL 의 한계: 구조화된 작업 (인용 생성) 에서는 잘 설계된 SFT 가 RL 정렬 (GRPO) 보다 효율적일 수 있으며, RL 의 추가적 이득은 보상 함수 설계 및 하이퍼파라미터에 크게 의존합니다.
결론적으로, XKD-Dial 파이프라인은 다국어 환경에서 투명하고 사실적인 대화 시스템을 구축하기 위한 체계적인 방법론을 제시하며, 특히 힌디어와 같은 저자원 언어 영역에서의 지식 기반 대화 연구에 새로운 기준을 마련했습니다.