From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations

논문 요약: 힌디어 뉴스 사실 확인 설명 생성을 위한 커리큘럼 기반 DPO 프레임워크 (DeFactoX)

1. 문제 정의 (Problem)

• 배경: 가짜 뉴스와 허위 정보의 급증은 언론의 신뢰성을 위협하고 있으며, 특히 COVID-19 팬데믹이나 정치적 양극화와 같은 위기 상황에서 심각한 사회적 혼란을 초래합니다.
• 한계점: 현재 자동화된 사실 확인 (Fact-checking) 및 설명 생성 시스템은 영어, 중국어와 같은 고자원 언어 (High-resource languages) 에 집중되어 있습니다. 반면, 6 억 명 이상의 화자를 가진 힌디어는 자동화 도구가 부재하여 사실 확인 작업이 주로 수동으로 이루어지고 있습니다.
• 기술적 과제: 기존 사전 훈련된 대규모 언어 모델 (LLM) 은 힌디어 뉴스의 진실성을 평가하고, 맥락에 부합하며 사실에 기반한 인간과 유사한 설명을 생성하는 데 어려움을 겪습니다. 특히 할루시네이션 (Hallucination) 과 일관성 부족 문제가 두드러집니다.

2. 제안 방법론: DeFactoX 프레임워크

저자들은 DeFactoX라는 새로운 프레임워크를 제안하며, 이는 커리큘럼 학습 (Curriculum Learning) 과 직접 선호 최적화 (Direct Preference Optimization, DPO) 를 결합하여 힌디어 뉴스에 대한 사실 확인 설명을 생성합니다.

가. 선호도 데이터셋 구축 (Preference Dataset Creation)

• 선호 응답 (Preferred): 신뢰할 수 있는 팩트체크 웹사이트 (OneIndia, Vishvas News 등) 에서 제공되는 인간이 작성한 사실 확인 설명을 기반으로 합니다.
  • 데이터 정제: 사실 뉴스 설명은 종종 사실 확인을 명시적으로 서술하지 않는 경향이 있어, 저자들은 GPT-4o-mini 를 활용하여 사실 뉴스 설명에도 "이 뉴스는 사실이다"라는 명시적 진술을 포함하도록 표준화 (Standardization) 했습니다.
• 거부 응답 (Rejected): gpt-4o-mini, Mistral-7B, Gemini-1.5-flash 와 같은 최신 LLM 들을 사용하여 생성된 설명을 사용합니다. 이는 LLM 의 일반적인 한계 (피상적 분석, 편향, 사실 기반 부재 등) 를 반영하도록 의도적으로 약한 프롬프트로 생성되었습니다.
• 구성: 각 샘플당 1 개의 선호 응답과 3 개의 거부 응답 (1:3 비율) 을 포함하는 합성 데이터셋을 구성했습니다.

나. 커리큘럼 학습 전략 (Curriculum Learning)

• 생성된 거부 응답들을 인간 선호도와 얼마나 일치하는지에 따라 점수화 (BERTScore, ROUGE-L, METEOR 의 가중 합산) 합니다.
• 점수에 따라 설명을 **쉬움 (Rank-0), 중간 (Rank-1), 어려움 (Rank-2)**의 세 단계로 분류합니다.
• 모델은 먼저 명확하게 틀린 설명 (쉬움) 을 구별하는 것부터 시작하여, 점차 미묘한 차이가 있는 설명 (어려움) 을 구별하도록 점진적으로 학습합니다.

다. Hin-DPO (Hindi-DPO) 손실 함수
기존 DPO 손실 함수를 확장하여 힌디어 뉴스 사실 확인에 특화된 두 가지 새로운 매개변수를 도입했습니다.

1. Actuality (사실성): 생성된 설명의 사실적 정확도를 정량화합니다. GPT-4o-mini 와 웹 검색 도구를 활용하여 핵심 사실 진술의 정확도를 평가하고 점수화합니다.
2. Finesse (정교함/할루시네이션 민감도): 모델의 불확실성을 기반으로 한 할루시네이션 지표입니다. 동일한 입력에 대해 여러 번 (5 회) 생성을 수행했을 때 출력 분포의 분산 (Variance) 을 계산합니다. 분산이 크면 할루시네이션 가능성이 높다고 간주하여 패널티를 부여합니다.

• 수식적 특징: Hin-DPO 손실 함수는 선호 응답의 로그 확률에 Actuality 점수를 곱하여 증폭시키고, 거부 응답에는 Finesse 점수를 분모로 사용하여 불안정한 생성을 억제합니다.

3. 주요 기여 (Key Contributions)

1. 합성 선호 데이터셋: 인간이 작성한 사실 확인 설명과 LLM 생성 설명을 기반으로 한 순위 기반 힌디어 선호 데이터셋을 최초로 구축했습니다.
2. DeFactoX 프레임워크: 커리큘럼 학습과 Actuality 및 Finesse 매개변수가 통합된 향상된 선호 최적화 목표 (Hin-DPO) 를 결합한 2 단계 프레임워크를 제안했습니다.
3. 힌디어 자동 사실 확인 설명 생성의 선구자: 저자들의 지식 범위 내에서 힌디어 뉴스의 진실성 기반 설명 생성을 위한 최초의 자동화 프레임워크입니다. 이 접근법은 데이터 증강을 통해 다른 저자원 언어로의 확장성을 제공합니다.

4. 실험 결과 (Results)

• 실험 설정: Gemma-2-9B, Llama-3.1-8B, Mistral-7B 등 3 개의 LLM 과 mBART, mT5 등 2 개의 PLM 을 기반으로 실험을 수행했습니다.
• 자동 평가 지표: ROUGE, METEOR, BERTScore 에서 Hin-DPO 를 적용한 모델이 Base+SFT 및 일반 DPO 모델보다 일관되게 우수한 성능을 보였습니다.
  • 특히 Llama-3.1-8B 모델에서 Hin-DPO 는 ROUGE-1 점수를 37.13 으로, BERTScore 를 84.73 으로 기록하여 기존 DPO 대비 상당한 개선을 보여주었습니다.
• 인간 평가: 800 개의 설명에 대한 인간 평가 (05 점 척도) 에서 Hin-DPO 모델이 가장 높은 점수 (평균 4.124.23) 를 받아 사실성, 논리적 정합성, 설명의 완전성 측면에서 우수함이 입증되었습니다.
• Ablation Study: 커리큘럼 학습을 제거했을 때 성능이 하락하여, 점진적인 학습 전략이 모델의 안정성과 설명 품질 향상에 필수적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 사회적 영향: 힌디어 화자를 위한 신뢰할 수 있는 자동 사실 확인 도구 제공을 통해 가짜 뉴스의 확산을 막고 사회적 혼란을 완화하는 데 기여합니다.
• 기술적 혁신: 단순한 텍스트 생성을 넘어, **사실성 (Actuality)**과 **할루시네이션 제어 (Finesse)**를 손실 함수에 직접 통합함으로써 LLM 의 신뢰성을 높이는 새로운 패러다임을 제시했습니다.
• 확장성: 저자원 언어 환경에서의 데이터 부족 문제를 해결하기 위한 커리큘럼 학습과 선호도 최적화 결합 방식은 향후 다른 언어로 확장 가능한 방법론을 제공합니다.

이 연구는 힌디어와 같은 저자원 언어에서 LLM 기반 사실 확인 시스템의 신뢰성과 실용성을 크게 향상시킨 중요한 성과로 평가됩니다.