Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding

기술 요약: 최소 베이즈 리스크 디코딩을 활용한 요약에서의 합의와 일관성을 통한 사실성 향상

문제 제기
소스 콘텐츠에 대한 요약의 정확성으로 정의되는 모델 생성 요약의 사실성 향상은 자연어 생성 (NLG) 분야에서 여전히 중요한 과제로 남아 있습니다. 여러 후보 중 최적의 출력을 선택하기 위한 재순위화 (reranking) 방법이 존재하지만, 현재 접근 방식은 세 가지 주요 한계를 겪고 있습니다:

1. 참조 기반 지표의 사용 불가: 고품질의 '골드' 참조를 만드는 데는 노동 집약적이어서 참조 없는 (reference-free) 지표에 의존할 수밖에 없습니다.
2. 소스에만 의존하는 방식: 소스 문서만을 기반으로 한 재순위화는 참조 없는 지표의 광범위한 점수 부여 특성으로 인해 특정 사실적 오류를 제재하지 못해 사실적 불일치를 초래하는 경우가 많습니다.
3. 지표 편향: 단일 지표에 의존하면 과적합을 초래하고 해당 지표의 특정 편향을 물려받게 됩니다.

기존 방법들은 특히 골드 참조가 없거나 품질이 낮을 때, 유창성과 일관성과 엄격한 사실적 정렬 사이의 균형을 맞추는 데 어려움을 겪습니다.

방법론: ConSUM
저자들은 최상의 요약 후보를 선택하기 위해 두 가지 서로 다른 신호를 결합한 새로운 재순위화 프레임워크인 ConSUM(요약에서의 일관성과 합의) 을 제안합니다. 이 방법은 세 단계로 작동합니다:

1. 생성: 소스 문서 $s$가 주어지면, 모델은 두 가지 서로 다른 집합을 생성합니다:

   • 후보 요약 ($Y$): 잠재적 출력들의 풀.
   • 가상 참조 ($R$): 동일한 모델에서 샘플링되지만 모델의 실제 분포를 더 잘 포착하기 위해 다른 디코딩 전략 (예: 엡실론 샘플링) 을 사용할 수 있는 '프록시' 골드 트루스 집합. 저자들은 모델이 자신의 편향을 강화하는 것을 방지하기 위해 $Y$와 $R$을 구분합니다.

2. 점수 매기기: 각 후보 $y_i$는 두 가지 요인을 사용하여 점수가 매겨집니다:

   • 일관성 점수 ($S_{sis}$): 참조 없는 사실성 지표 (특히 FENICE 및 FIZZ) 를 사용하여 후보와 소스 문서 간의 정렬을 측정합니다.
   • 합의 점수 ($S_{sen}$): 최소 베이즈 리스크 (MBR) 디코딩을 사용하여 후보와 가상 참조 집합 간의 합의를 측정합니다. MBR의 유틸리티 함수는 MENLI(Natural Language Inference 에서의 지표) 라는 참조 기반 지표로, 추론, 모순 및 요약 품질을 평가합니다. 이 단계는 가상 참조에 대한 기대 유틸리티를 최대화하는 후보를 식별합니다.

3. 재순위화: 최종 점수 ($S_{fin}$) 는 정규화된 일관성 점수와 합의 점수의 가중 선형 결합입니다:
   $$S_{fin}(y_i, s, R) = w \cdot Z(S_{sen}(y_i, R)) + (1-w) \cdot Z(S_{sis}(y_i, s))$$
   여기서 $w$는 합의와 소스 일관성의 중요성을 균형 있게 조절하는 하이퍼파라미터입니다 (주 실험에서는 0.75 로 설정됨). 가장 높은 $S_{fin}$을 가진 후보가 최종 출력으로 선택됩니다.

주요 기여

• 이중 신호 재순위화: 이 논문은 사실성 향상을 위해 참조 없는 지표를 통한 소스 일관성과 가상 참조를 통한 MBR 을 통한 모델 합의를 동시에 활용하는 프레임워크를 소개합니다.
• 후보와 참조의 분리: 후보와 참조를 동일한 집합으로 취급하는 이전 연구와 달리, ConSUM 은 이를 명시적으로 분리합니다. 가상 참조는 모델의 분포를 추정하기 위한 편향 없는 골드 트루스 프록시 역할을 하고, 후보는 선택을 위한 풀 역할을 합니다.
• MBR 과 참조 없는 지표의 통합: 이 방법은 기계 번역에서 일반적으로 사용되는 MBR 디코딩과 최신 참조 없는 사실성 지표 (FENICE, FIZZ) 를 요약에 성공적으로 결합하여 골드 참조의 부재를 해결합니다.

실험 결과
이 방법은 세 가지 사전 학습 언어 모델 (BART, PEGASUS, T5) 과 하나의 대규모 언어 모델 (Llama-3) 을 사용하여 CNN/DailyMail 및 XSum 데이터셋에서 평가되었습니다.

• 사실성 향상: ConSUM 은 베이스라인 (표준 디코딩 및 일관성 전용 재순위화) 에 비해 일관적으로 우수한 사실성 점수를 달성했습니다. 예를 들어, CNN/DM 에서 FENICE-0.75 설정은 FIZZ 점수를 베이스라인의 39.36 에서 52.44 로 향상시켰습니다. XSum 에서 동일한 설정은 FIZZ 점수를 16.91 에서 27.79 로 높였습니다.
• 품질 유지: 사실성 향상은 요약 품질의 희생 없이 이루어졌습니다. ROUGE, BERTScore, MoverScore 점수는 베이스라인과 경쟁하거나 훨씬 더 우수하게 유지되었습니다.
• 인간 평가: 50 개의 소스 문서를 포함한 인간 평가에서 FENICE-0.75 시스템은 정보성, 사실성 및 유창성에 대한 최고 평균 점수를 달성했습니다. 주석자들은 베이스라인뿐만 아니라 최근 문헌에서 낮은 품질로 지적된 '골드' 참조보다 ConSUM 생성 요약을 일관되게 선호했습니다.
• 하이퍼파라미터 민감도: 최적의 가중치 $w$는 데이터셋에 따라 달라졌습니다 (CNN/DM 의 경우 0.75, FENICE 를 사용한 XSum 의 경우 0.25), 하지만 균형 잡힌 성능을 위해 $w=0.75$의 통합 설정이 선택되었습니다. 연구에 따르면 16 개의 후보와 64 개의 가상 참조 (엡실론 샘플링을 통해 생성) 가 최적의 결과를 산출했습니다.

의의 및 주장
저자들은 ConSUM 이 골드 참조 없이도 소스 기반 사실성과 모델 기반 합의를 결합함으로써 생성된 요약의 신뢰성을 효과적으로 향상시킨다고 주장합니다. 결과는 특히 환각이 빈번한 XSum 과 같은 고도로 추상적인 작업에서 환각과 사실적 오류를 필터링하는 강력한 신호로 모델 출력 간의 합의 (대중의 지혜) 가 기능할 수 있음을 시사합니다.

이 논문은 ConSUM 과 오라클 점수 사이의 차이로 입증되듯이 여전히 개선의 여지가 있지만, 제안된 방법이 인간 평가자들에게 선호되는 요약 사실성 향상을 위한 실용적이고 비지도적인 접근 방식을 제공한다고 결론지었습니다. 저자들은 MBR 의 계산 복잡성 ($O(n^2)$) 과 현재 영어 뉴스 데이터셋으로 제한된다는 한계를 인정하며, 향후 연구에서 다양한 텍스트 유형과 언어를 탐구할 수 있음을 시사합니다.