Optimising Factual Consistency in Summarisation via Preference Learning from Multiple Imperfect Metrics

기술 요약: 여러 불완전한 지표로부터의 선호 학습을 통한 요약의 사실성 일관성 최적화

문제 제기
대규모 언어 모델 (LLM) 은 뛰어난 유창성을 보여주지만, 사실성 일관성 측면에서는 종종 어려움을 겪으며, 소스 텍스트와 일치하지 않거나 사실과 다른 세부 사항을 포함하는 요약을 생성하는 경우가 많습니다. 이를 완화하기 위해 평가 지표를 보상 신호로 활용하는 강화 학습 (RL) 이 제안되었습니다. 그러나 기존 자동 사실성 지표들은 개별적으로 신뢰도가 낮으며 미묘한 오류를 처리하는 데 어려움을 겪습니다. furthermore, 단일 지표를 스칼라 보상 신호로 사용하면 불안정한 학습으로 이어질 수 있으며, 지표를 결합하는 것은 일반적으로 수동 가중치 부여 (보상 설계) 를 필요로 하는데, 이는 복잡하고 오류 발생 가능성이 높습니다. 인간 피드백을 통한 강화 학습 (RLHF) 과 같은 대안적 접근 방식은 종종 사실성을 우선시하지 못합니다. 인간 주석자들은 유창성이나 일관성 같은 다른 특성을 사실적 오류보다 선호할 수 있기 때문입니다. 인간 주석을 통해 사실성에 초점을 맞춘 고품질 선호 데이터셋을 구축하는 것은 자원 집약적이며 확장하기 어렵습니다.

방법론
저자들은 인간 주석이나 참조 요약을 의존하지 않고 사실성 일관성을 개선하는 완전 자동화된 학습 파이프라인을 제안합니다. 핵심 방법론은 세 가지 주요 단계로 구성됩니다:

1. 어휘적 유사성 요약 생성:
   다양한 샘플을 쌍으로 맞추는 대신, 이 방법은 교란 요인이 될 수 있는 스타일적 또는 구조적 차이를 최소화하기 위해 어휘적으로 유사한 요약 쌍을 생성합니다. 이를 통해 모델은 사실적 구분에 집중할 수 있습니다.

   • 주어진 소스 문서에 대해, 모델은 빔 서치 (Beam Search) 를 사용하여 (BS#1) 주요 요약을 생성합니다.
   • 두 번째 요약은 동일한 빔 서치에서 두 번째로 확률이 높은 시퀀스를 선택 (BS#2) 하거나 탐욕적 디코딩 (Greedy Decoding) 을 사용하여 생성됩니다.
   • 이 접근법은 쌍 간의 차이가 주요 구조적 변화가 아닌 디코딩 변이에 의해 주로 발생하도록 하여 미묘한 차이를 보장합니다.

2. 지표 앙상블을 통한 자동 선호 라벨링:
   단일 지표의 신뢰도 문제를 피하기 위해, 파이프라인은 생성된 쌍을 점수화하기 위해 사실성 지표들의 앙상블 (실험에서는 구체적으로 SBERTScore와 SummaC-Conv) 을 사용합니다.

   • 서로 다른 지표들의 점수는 이진 선호 라벨로 변환됩니다.
   • 충돌 필터 (conflict filter) 가 적용됩니다: 선택된 모든 지표가 선호 라벨에 동의할 때만 요약 쌍이 학습을 위해 유지됩니다. 지표 간 불일치가 높은 쌍은 노이즈가 있는 주석을 제거하기 위해 필터링됩니다.
   • 이 과정을 통해 소스 문서만을 사용하여 고품질 선호 데이터셋이 구축됩니다.

3. 선호 최적화 (DPO):
   필터링된 선호 데이터셋은 직접 선호 최적화 (Direct Preference Optimization, DPO) 를 통해 언어 모델을 학습하는 데 사용됩니다. 표준 RL 과 달리 DPO 는 별도의 복잡한 보상 모델을 필요로 하지 않고 선호되는 요약의 가능성을 높이기 위해 모델 파라미터를 직접 최적화합니다. 이는 학습 복잡성을 줄이고 파국적 망각과 같은 문제를 완화합니다.

주요 기여

• 자동화된 파이프라인: 인간 주석이나 참조 요약 없이 요약 사실성을 최적화하는 새로운 완전 자동화된 선호 학습 파이프라인.
• 지표 집계 전략: 점수를 선호도로 변환하고 지표 간 높은 불일치 사례를 필터링하여 여러 기존 불완전한 사실성 지표를 학습 목표로 적응시키는 방법. 이를 통해 데이터 신뢰성을 향상시킴.
• 어휘적 유사성 초점: 스타일적 변이에서 사실적 오류를 분리함으로써, 다양한 쌍보다 어휘적으로 유사한 요약 쌍으로 학습하는 것이 사실성 향상에 더 효과적임을 보여주는 분석.
• 소규모 모델에서의 성능: 이 방법은 BART 와 같은 소규모 모델의 사실성 성능을 더 크고 현대적인 대규모 언어 모델과 비교 가능한 수준으로 성공적으로 끌어올립니다.

실험 결과
이 접근법은 XSUM과 TL;DR 데이터셋에서 BART-large, GPT-J, LLaMA-3, DeepSeek-R1 등 다양한 아키텍처와 규모의 네 가지 모델을 사용하여 평가되었습니다.

• 사실성 향상: 제안된 방법은 디코딩 전략에 대한 휴리스틱 가정에 의존하는 모델 기반 선호 최적화 (MPO) 를 포함한 감독 미세 조정 (SFT), RLHF 등 기존 베이스라인보다 일관되게 우수한 성과를 보였습니다.
  • XSUM 에서 BART 는 SFT 대비 AlignScore 가 +24.7포인트 증가했습니다.
  • TL;DR 에서 BART 는 +9.3포인트 증가했습니다.
  • 학습 후 소규모 모델 (BART) 은 더 큰 모델 (LLaMA, DeepSeek) 과 비교 가능하거나 더 높은 사실성 점수를 달성했습니다.
• 견고성: 이 방법은 다른 RL 기반 접근법에서 관찰되는 파국적 망각을 피하면서 다양한 모델 계열과 규모에서 안정성을 입증했습니다.
• 트레이드오프: 사실성이 크게 개선되었지만, ChatGPT 에 의해 판단될 때 ROUGE-L 점수와 전체 품질 선호도에서 약간의 트레이드오프가 있었습니다. 저자들은 선호되는 요약 (SFT/RLHF) 이 종종 과도한 세부 사항을 포함하는 반면, 사실성 최적화 요약은 불일치 위험을 줄이기 위해 더 추상적이었다고 지적합니다.

의의 및 주장
이 논문은 이 접근법이 사실성 개선을 위한 인간 주석 기반 RLHF 에 대한 안정적이고 확장 가능한 대안을 제공한다고 주장합니다. 여러 약한 지표들의 일치성을 활용하고 미묘한 어휘적 차이에 초점을 맞춤으로써, 이 방법은 사실적으로 정확하지 않지만 그럴듯한 텍스트 생성을 피하도록 모델을 효과적으로 학습시킵니다. 저자들은 이 파이프라인이 "활력을 불어넣어" (revitalises) 더 오래되고 작은 모델들이 낮은 계산 비용으로 정확한 요약을 생성할 수 있는 잠재력을 부활시켜, 고품질 사실성 요약을 더 접근 가능하게 만든다고 강조합니다. 이 연구는 인간 편향이나 단일 지표 보상이 아닌 지표 일치에 기반한 선호 학습이 더 충실한 언어 모델 출력으로 나아가는 견고한 길을 제시함을 시사합니다.