💬 NLP

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

이 논문은 RLHF 나 표준 DPO 가 유창성보다 사실성을 우선시하도록 설계된 이진 사실성 레이블만 활용하여 환각을 보정하고 사실성 마진을 도입한 'F-DPO'를 제안함으로써 다양한 오픈 가중치 LLM 의 환각률을 획기적으로 낮추고 사실성을 향상시킨다고 요약할 수 있습니다.

원저자: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

게시일 2026-04-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 문제: "멋진 거짓말"이 더 인기 있을까?

지금까지 AI 를 가르칠 때, 사람들은 AI 가 유창하고 자신감 있게 말하는 것을 좋아했습니다. 마치 연극을 잘하는 배우처럼 말이죠.

하지만 여기서 문제가 생깁니다.

질문: "호주의 수도는 어디야?"
AI 답변 A (사실): "캔버라입니다." (조금 딱딱하고 짧음)
AI 답변 B (거짓말): "호주의 수도는 시드니입니다! 시드니는 가장 크고 유명한 도시죠!" (유창하고 자신감 넘침)

사람들이나 기존 AI 평가 시스템은 B를 더 좋아합니다. 왜냐하면 B 가 더 말솜씨가 좋기 때문이죠. 하지만 B 는 완전히 틀린 거짓말입니다. AI 는 이렇게 "멋진 거짓말"을 반복하며 학습하다 보니, 점점 더 사실과 다른 말을 잘하게 되는 악순환에 빠집니다.

💡 해결책: F-DPO (사실 확인이 된 선택 학습)

이 논문에서는 F-DPO라는 새로운 방법을 소개합니다. 기존 학습 방식 (DPO) 을 조금만 수정해서, AI 가 말솜씨보다 '사실'을 더 중요하게 생각하도록 가르치는 것입니다.

이 방법은 두 가지 간단한 비유로 이해할 수 있습니다.

1️⃣ "거짓말은 반칙!" (레이블 뒤집기)

기존에는 AI 가 "시드니가 수도야"라고 말하고, 사람이 "오, 잘했네!"라고 칭찬하면 AI 는 그 말을 계속 반복합니다.
하지만 F-DPO 는 **사실 확인관 (Fact-checker)**을 둡니다.

만약 AI 가 거짓말을 하고, 사실을 말한 다른 AI 가 있다면?
F-DPO 는 **"아니야! 거짓말한 건 '패배자', 사실만 말한 게 '승자'야!"**라고 순서를 바꿔버립니다.
마치 축구 경기에서 실수한 선수가 골을 넣었더라도, 심판이 "반칙이야!"라고 선언하고 점수를 빼앗는 것과 같습니다. AI 는 "아, 내가 거짓말하면 점수가 깎이는구나"라고 배우게 됩니다.

2️⃣ "진실은 더 큰 점수!" (사실성 마진)

단순히 순서만 바꾸는 게 아니라, 사실과 거짓말의 차이가 클수록 더 큰 점수 차이를 줍니다.

사실 vs 거짓말: "와! 이거 진짜 vs 가짜야!"라고 크게 소리쳐서 AI 가 확실하게 구분하게 합니다.
사실 vs 사실: 둘 다 사실이라면, 기존 방식처럼 말솜씨나 스타일을 따져도 됩니다.
거짓말 vs 거짓말: 둘 다 거짓말이라면, 어떤 게 더 그럴듯한지 비교합니다.

이처럼 AI 가 **"사실적인 답변을 선택했을 때 더 큰 보상을 받는다"**는 것을 학습하게 만드는 것입니다.

🚀 결과: 얼마나 효과가 좋을까요?

이 방법을 적용한 결과, AI 의 거짓말이 놀랍게도 줄었습니다.

Qwen3-8B라는 AI 모델의 경우, 거짓말을 하는 비율이 5 배나 줄었습니다 (42% → 8% 로 감소).
사실성 점수는 50% 나 올랐습니다.
특히, 훈련 데이터에 없던 새로운 질문 (예: 진실성 테스트) 을 해도 잘 대처했습니다.

🌟 왜 이 방법이 특별한가요?

기존의 다른 방법들은 사실성을 높이기 위해:

별도의 검증 AI 를 따로 두거나 (복잡함),
문장 하나하나를 세세하게 검사하거나 (비쌈),
여러 단계로 나누어 학습시켰습니다 (시간 걸림).

하지만 F-DPO는 매우 간단합니다.

단순한 이진법 (0 또는 1): "사실이다 (0)" 아니면 "거짓말이다 (1)"라고만 표시하면 됩니다.
한 번에 끝남: 복잡한 과정 없이 한 번에 학습할 수 있습니다.
비용 절감: 추가적인 검증 모델이 필요 없습니다.

📝 결론

이 논문은 "AI 가 유창하게 말하기만 하면 된다는 생각"을 버리고, "사실과 진실에 더 집중하도록" 가르치는 간단한 방법을 제시했습니다.

마치 학생이 시험을 볼 때, "정답을 외우는 것"보다 "진짜 사실을 아는 것"이 더 중요하다는 것을 깨닫게 해주는 선생님과 같습니다. AI 가 이제부터는 화려한 거짓말보다는, 조금은 투박할지라도 정직한 답변을 하도록 훈련받게 된 것입니다.

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 유창하고 자신감 있게 답변하지만, 사실과 다른 정보 (환각, Hallucination) 를 생성할 때 심각한 위험을 초래합니다. 기존의 선호도 정렬 (Preference Alignment) 방법인 RLHF(Reinforcement Learning from Human Feedback) 나 DPO(Direct Preference Optimization) 는 인간의 선호도를 학습하여 모델을 개선하지만, 다음과 같은 근본적인 한계가 있습니다.

선호도와 사실성의 불일치: 인간 어노테이터는 종종 사실적 정확도보다 **유창함 (Fluency)**이나 **자신감 (Confidence)**을 더 선호합니다. 예를 들어, "호주의 수도는 시드니입니다"라는 유창하지만 틀린 답변을 "캔버라"라는 정확하지만 간결한 답변보다 선호할 수 있습니다.
기존 방법의 한계: 이러한 선호도 편향으로 인해 표준 DPO 를 적용하면 오히려 환각이 강화되는 현상이 발생합니다. 기존 사실성 중심 접근법들은 보조 검증기 (Auxiliary Verifiers) 사용, 다단계 학습, 토큰 레벨의 세밀한 주석 등을 요구하여 복잡도와 계산 비용을 크게 증가시킵니다.

2. 제안 방법: F-DPO (Factuality-aware Direct Preference Optimization)

저자들은 F-DPO를 제안합니다. 이는 DPO 의 단순한 확장으로, 복잡한 보조 모델이나 토큰 레벨 주석 없이 이진 (Binary) 사실성 레이블만 사용하여 선호도 데이터의 사실성 불일치를 해결합니다.

핵심 메커니즘

레이블 뒤집기 (Label Flipping Transformation):
- 선호도 쌍 $(y_w, y_l)$ 과 각 응답의 사실성 레이블 $h \in \{0: 사실, 1: 환각\}$ 을 사용합니다.
- 만약 선호된 응답 ( $y_w$ ) 이 환각 ( $h_w=1$ ) 이고 거부된 응답 ( $y_l$ ) 이 사실 ( $h_l=0$ ) 인 경우, 즉 $\Delta h = h_l - h_w < 0$ 인 경우, 선호도 레이블을 강제로 뒤집습니다.
- 이를 통해 학습 데이터에서 "선택된 응답이 거부된 응답보다 사실성이 낮다"는 잘못된 학습 신호를 제거합니다.
사실성 인식 마진 (Factuality-aware Margin):
- DPO 손실 함수에 사실성 차이를 반영한 페널티 항을 추가합니다.
- 수식: $m_{fact} = m_{DPO} - \lambda \cdot \Delta h$
- 여기서 $\Delta h$ 는 선택된 응답이 사실이고 거부된 응답이 환각일 때 ( $h_w=0, h_l=1$ ) 1 이 됩니다.
- 이 경우 손실이 증가하여 모델이 사실적인 응답을 선택할 확률을 높이는 방향으로 학습이 유도됩니다. 두 응답 모두 사실이거나 모두 환각인 경우 ( $\Delta h = 0$ ) 는 기존 DPO 와 동일하게 동작합니다.

데이터 파이프라인

Skywork 선호도 코퍼스를 기반으로 합니다.
GPT-4o-mini 를 자동 판정기로 사용하여 각 응답에 이진 사실성 레이블을 할당합니다.
사실적인 답변을 기반으로 LLM 을 이용해 의도적으로 환각을 포함하도록 변형한 합성 데이터를 생성하여 데이터의 균형을 맞춥니다.
최종적으로 45,000 개의 쌍으로 구성된 사실성 인식 선호도 데이터를 구축합니다.

3. 주요 기여 (Key Contributions)

F-DPO 알고리즘 제안: 이진 사실성 레이블과 레이블 뒤집기, 마진 기반 목적 함수를 결합하여 DPO 를 확장한 새로운 방법론 제시.
광범위한 실험 검증: 1B~14B 파라미터 규모의 7 개의 오픈 가중치 LLM(Qwen, LLaMA, Gemma 등) 에서 일관된 사실성 향상과 환각 감소 효과를 입증.
단일 단계 및 외부 모델 불필요: 보조 보상 모델 (Reward Model) 이나 토큰 레벨 주석 없이 단일 단계 (Single-stage) 학습만으로도 구현 가능하여 계산 효율성이 뛰어남.
OOD(Out-of-Distribution) 일반화: 학습 데이터와 다른 TruthfulQA 벤치마크에서도 뛰어난 성능을 보여 일반화 능력을 입증.

4. 실험 결과 (Results)

환각 감소: Qwen3-8B 모델에서 F-DPO 를 적용한 결과, 환각률이 0.424 에서 0.084 로 약 5 배 감소했습니다.
사실성 점수 향상: 동일한 모델에서 사실성 점수는 5.26 에서 7.90 으로 50% 향상되었습니다.
다양한 모델에서의 일관성: 7 개 모델 모두에서 표준 DPO 및 베이스 모델 대비 사실성 점수 향상과 환각률 감소를 보였습니다. 특히 Qwen2.5-14B 는 0.008 의 극히 낮은 환각률을 기록했습니다.
TruthfulQA 벤치마크:
- MC1(단일 정답) 정확도: 0.500 $\rightarrow$ 0.585 (+17%)
- MC2(다중 정답) 정확도: 0.357 $\rightarrow$ 0.531 (+49%)
- 표준 DPO 는 오히려 MC1 정확도를 떨어뜨린 반면, F-DPO 는 크게 개선했습니다.
데이터 효율성: 전체 데이터의 25% 만 사용해도 전체 데이터 사용 시 성능의 95% 수준을 달성하여 데이터 효율성이 높음을 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

의의:
- LLM 의 환각 문제를 해결하기 위해 복잡한 다단계 파이프라인이나 외부 검증 모델 없이, 간단한 이진 레이블과 선호도 데이터 수정만으로 효과적인 해결책을 제시했습니다.
- 인간의 선호도가 사실성과 충돌할 때, 모델이 사실성을 우선시하도록 하는 메커니즘을 성공적으로 정립했습니다.
- 계산 비용이 적고 구현이 쉬워 실제 산업 적용 가능성이 높습니다.
한계:
- 하이퍼파라미터 $\lambda$ 조정: 사실성 페널티 강도 $\lambda$ 는 데이터와 모델 크기에 따라 최적값이 다를 수 있으며, 지나치게 크면 유용성 (Helpfulness) 이나 창의성이 저하될 수 있습니다.
- 이진 레이블의 단순화: 사실성을 '사실/환각'의 이진 분류로만 정의하여, 부분적으로 정확한 답변이나 미묘한 뉘앙스를 포착하지 못할 수 있습니다.
- 자동 판정기의 편향: 사실성 레이블링에 GPT-4o-mini 를 사용했으므로, 판정기와 학습 모델 간의 공통된 편향이나 오류가 발생할 가능성이 있습니다.

결론

이 논문은 LLM 의 환각 문제를 해결하기 위해 **사실성 인식 선호도 학습 (F-DPO)**을 제안하며, 복잡한 인프라 없이도 사실성과 유창함 사이의 균형을 맞춰 모델의 신뢰성을 획기적으로 높일 수 있음을 입증했습니다. 이는 안전하고 신뢰할 수 있는 AI 시스템 구축을 위한 중요한 기술적 진전으로 평가됩니다.