SUMMIR: A Hallucination-Aware Framework for Ranking Sports Insights from LLMs

이 논문은 4 개 주요 스포츠의 7,900 개 기사로 구성된 데이터셋을 기반으로 LLM 의 환각을 감지하고 사실성을 검증하는 SUMMIR 프레임워크를 제안하여, 사용자 관심사에 따라 스포츠 인사이트를 자동으로 추출하고 순위 매기는 방법을 제시합니다.

핵심

이 논문은 **"스포츠 뉴스가 넘쳐나는 시대에, AI 가 쓴 스포츠 하이라이트 중 진짜 재미있고 믿을 수 있는 것만 골라주는 똑똑한 시스템"**을 소개합니다.

마치 **수백 개의 스포츠 신문과 블로그를 한 번에 읽는 '초능력 스포츠 편집장'**이 생긴다고 상상해 보세요. 이 편집장은 AI(대형 언어 모델) 로 만들어졌는데, 단순히 글을 요약하는 것을 넘어 '진짜 중요한 정보'를 찾아내고 '거짓말 (환각)'을 걸러내며, 팬들이 가장 좋아할 만한 순서대로 정렬해 줍니다.

이 시스템의 이름은 SUMMIR입니다. 이 시스템이 어떻게 작동하는지 3 단계로 나누어 쉽게 설명해 드릴게요.

---

1 단계: 잡음 제거하기 (진짜 뉴스 찾기) 🕵️‍♂️

인터넷에는 매일 수만 편의 스포츠 기사가 올라옵니다. 하지만 그중에는 "어제 경기가 아니라 3 년 전 경기 이야기"나 "팀 이름은 비슷하지만 다른 팀 이야기" 같은 헛된 글들이 섞여 있죠.

• 비유: 마치 거대한 스포츠 도서관에 들어갔는데, 책장마다 제목만 비슷하고 내용은 엉뚱한 책들이 가득한 상황입니다.
• 해결책: 연구팀은 먼저 **두 단계의 '검열관'**을 세웠습니다.
  1. 초급 검열관 (작은 AI): 빠르게 대략적인 내용을 훑어보고 관련 없는 글들을 걸러냅니다.
  2. 고급 검열관 (거대 AI): 남은 글들을 꼼꼼히 읽어보고, "이 글이 정말 오늘 경기와 관련된 건가?"를 최종 확인합니다.
  • 이 과정을 통해 3 만여 편의 기사 중 7,900 편의 진짜 관련 기사만 남겼습니다.

2 단계: 거짓말 찾기 (할루시네이션 감지) 🛡️

AI 는 글을 잘 쓰지만, 가끔 **아무 근거도 없는 사실을 지어내는 '할루시네이션 (Hallucination)'**이라는 병을 앓고 있습니다. 예를 들어, "메시가 농구에서 3 점슛을 넣었다"라고 거짓말을 할 수도 있죠.

• 비유: AI 가 쓴 스포츠 기사가 유령이 쓴 것처럼 보일 수 있다는 뜻입니다.
• 해결책: 연구팀은 **FactScore(사실 점수)**와 **SummaC(일관성 검사)**라는 두 가지 강력한 '진실 탐정'을 투입했습니다.
  • AI 가 쓴 글이 원본 기사와 얼마나 일치하는지, 숫자나 이름이 맞는지 하나하나 검증했습니다.
  • 결과: GPT-4o 라는 AI 가 가장 거짓말을 적게 했고, 다른 모델들은 가끔 엉뚱한 숫자를 지어내는 경우가 많았습니다.

3 단계: 재미있는 순서로 정렬하기 (SUMMIR) 🏆

이제 진짜 뉴스만 남았는데, 100 개의 하이라이트를 어떻게 보여줘야 할까요? 모든 걸 다 보여줄 수는 없죠. 팬들이 가장 흥미로워할 순서대로 정렬해야 합니다.

• 비유: 스포츠 경기의 하이라이트 영상 편집과 같습니다. 단순히 골만 넣는 게 아니라, "선수들의 감정", "역사적인 기록", "유명한 선수의 등장" 등을 고려해 가장 짜릿한 장면부터 보여줘야 합니다.
• SUMMIR 의 역할: 이 시스템은 다음과 같은 6 가지 요소를 종합적으로 점수 매깁니다.
  1. 의미: 경기 내용과 얼마나 관련이 깊은가?
  2. 감정: 글에 열정이나 감동이 담겨 있는가?
  3. 비꼬기 (Sarcasm): 농담이나 아이러니가 섞여 있는가? (이건 재미를 높여줍니다)
  4. 중요 단어: '골', '승리', '기록' 같은 핵심 단어가 들어있는가?
  5. 유행어: 팬들이 좋아하는 스포츠 용어가 있는가?
  6. 유명인: 인기 있는 선수가 언급되었는가?

이 점수들을 바탕으로 **PPO(강화 학습)**라는 기술을 사용해, 인간이 직접 정렬했을 때와 가장 비슷한 순서로 글을 나열하도록 훈련시켰습니다.

---

결론: 왜 이 연구가 중요할까요?

이 연구는 단순히 "AI 가 글을 잘 쓴다"는 것을 넘어, **"AI 가 쓴 스포츠 정보를 어떻게 믿고, 어떻게 정렬해서 팬들에게 줄 것인가"**에 대한 완벽한 해결책을 제시합니다.

• 신뢰성: AI 가 지어낸 거짓말을 걸러내어 팬들이 믿고 볼 수 있게 합니다.
• 개인화: 각 팬이 좋아하는 선수나 팀, 혹은 특정 경기의 감동에 맞춰 가장 중요한 정보를 먼저 보여줍니다.
• 확장성: 이 기술은 스포츠뿐만 아니라 뉴스, 교육 등 다른 분야에서도 '진짜 중요한 정보'를 찾아내는 데 쓰일 수 있습니다.

요약하자면, SUMMIR은 스포츠 팬들이 매일 쏟아지는 정보의 홍수 속에서 **"가장 짜릿하고, 가장 진실된 스토리"**를 발견할 수 있도록 도와주는 최고의 AI 스포츠 가이드라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem Definition)

스포츠 저널리즘의 급격한 확대로 인해 경기 전 (Pre-game) 및 경기 후 (Post-game) 에 방대한 양의 텍스트 데이터가 생성되고 있습니다. 그러나 기존 정보 검색 (IR) 기술은 다음과 같은 한계를 가지고 있습니다:

• 심층적 통찰력 부재: 단순한 이벤트 추출이나 광범위한 감정 분석에 그쳐, 경기의 맥락, 전술적 변화, 선수의 감정적 반응 등 심층적인 인사이트를 추출하지 못함.
• LLM 의 환각 (Hallucination) 문제: 대규모 언어 모델 (LLM) 을 사용하여 통찰력을 생성할 때, 사실과 다른 정보 (환각) 가 포함될 위험이 높음.
• 사용자 맞춤형 순위 부재: 생성된 수많은 통찰력 중 사용자의 관심사나 경기의 중요도에 따라 우선순위를 매기는 체계적인 방법이 부족함.

이 논문은 스포츠 뉴스에서 사실 기반의 고품질 경기 전/후 통찰력을 자동 추출하고, 환각을 감지하며, 사용자에게 가장 관련성 높은 순서대로 정렬 (Ranking) 하는 프레임워크를 제안합니다.

---

2. 방법론 (Methodology)

연구팀은 다음과 같은 4 단계의 파이프라인을 구축했습니다.

가. 데이터 수집 및 2 단계 검증 파이프라인 (Data Collection & Validation)

• 데이터셋 구성: 크리켓, 축구, 농구, 야구 등 4 대 스포츠의 800 경기 (각 종목 200 경기) 를 대상으로 7,900 개의 뉴스 기사를 수집했습니다. 각 경기당 경기 전/후 기사 2 편씩을 포함하도록 32,630 개의 초기 기사를 수집하고 필터링했습니다.
• 2 단계 검증 (Two-step Validation):
  1. 1 단계 (소규모 모델): 오픈소스 모델 (Qwen 2.5 32B 등) 을 사용하여 기사와 경기 메타데이터 (날짜, 팀 등) 의 관련성을 1 차적으로 필터링했습니다. (정확도 88.5%, 재현율 89.1% 달성)
  2. 2 단계 (대규모 모델): GPT-4o, Qwen 2.5-72B, Llama-3.3-70B, Mixtral-8x7B 등 고사양 모델을 사용하여 최종 관련성을 검증하고, 검증된 기사에서 구조화된 통찰력을 추출했습니다.

나. 통찰력 생성 및 환각 감지 (Insight Generation & Hallucination Detection)

• 생성: 스포츠별 맞춤형 프롬프트를 사용하여 '새로운 기록', '주요 경기 이벤트', '경기 전/후 반영', '기타 하이라이트' 등 범주화된 통찰력을 생성했습니다. 총 28 만 개 이상의 통찰력을 생성했습니다.
• 환각 감지 (Fact-Checking):
  • FactScore: 생성된 텍스트의 사실적 정확도를 이진 점수로 평가.
  • SummaC (Summary Consistency): 원본 기사와 생성된 통찰력 간의 논리적 함의 (Entailment) 를 평가하여 문장 수준의 환각을 탐지.
  • 결과: GPT-4o 가 FactScore(9597%) 와 SummaC(6072%) 모두에서 가장 높은 사실성을 보였으며, Mixtral 은 상대적으로 환각률이 높았습니다.

다. SUMMIR: 통찰력 순위 매기기 (Insight Ranking)

사용자별 관심사에 따라 통찰력을 순위 매기기 위한 SUMMIR (Sentence Unified Multimetric Model for Importance Ranking) 아키텍처를 제안했습니다.

• 특징 추출 (Feature Extraction): 6 가지 요소를 추출하여 점수화합니다.
  1. 의미적 관련성 (Semantic Score): 문장 임베딩 및 스포츠 전문 어휘 기반.
  2. 감정 강도 (Emotional Intensity): 감정 분석 모델 (RoBERTa) 활용.
  3. 반어 탐지 (Sarcasm Detection): 반어적 표현 감지 및 감정 점수 조정.
  4. TF-IDF: 문장 내 용어의 중요도.
  5. 유행어 식별 (Buzzword Identification): 스포츠 전문 용어 및 주목도 높은 단어.
  6. 개체명 인식 (NER): 유명 선수/인물의 언급 빈도 및 인기도 기반.
• 학습 및 최적화:
  • ScoreNet: 학습 가능한 로짓 (Logits) 을 사용하여 6 가지 특징을 가중치 합산하여 연속적인 관련성 점수를 생성하는 경량 함수.
  • PPO (Proximal Policy Optimization): 인간 주석자 (Golden Rank) 와 ScoreNet 기반의 '흥미로운' 순위 (Interestingness) 를 결합한 보상 신호를 사용하여 LLaMA 3.2 1B 모델을 미세 조정 (Fine-tuning) 했습니다.
  • 보상 함수: 인간 순위 (Gold) 와 ScoreNet 순위의 가중 합 (λ1=0.7, λ2=0.3) 을 시그모이드 함수로 변환하여 환경 보상 (R) 으로 사용했습니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의: 스포츠 뉴스에서 경기 전/후 심층 통찰력을 발견하고 순위 매기는 새로운 과제를 제시.
2. 대규모 검증된 데이터셋: 4 대 스포츠의 800 경기, 7,900 개 기사를 포함하며, 오픈소스 및 독점 LLM 을 활용한 2 단계 검증 파이프라인을 통해 맥락적 관련성을 보장한 데이터셋 구축.
3. 대규모 통찰력 생성: 4 가지 고급 LLM 을 활용하여 28 만 개 이상의 구조화된 통찰력을 생성하고 FactScore/SummaC 를 통해 사실성을 평가.
4. 새로운 순위 모델 (SUMMIR): 의미적, 감정적, 문맥적 특징을 통합하고 PPO 를 통해 사용자 맞춤형 우선순위를 최적화하는 혁신적인 아키텍처 제안.
5. 실증적 분석: 다양한 LLM 의 사실성 차이를 규명하고, SUMMIR 이 기존 NDCG/Recall 기반 방법론보다 우수한 성능을 보임을 입증.

---

4. 결과 (Results)

• LLM 사실성 비교: GPT-4o 가 FactScore(9597%) 와 SummaC(6072%) 에서 가장 높은 정확도를 보였으며, Mixtral-8x7B 는 야구와 축구 분야에서 상대적으로 낮은 점수와 높은 환각률을 보였습니다.
• SUMMIR 성능 평가:
  • NDCG@10: 0.943 (기존 NDCG 만을 보상으로 사용한 모델 대비 0.911 보다 향상).
  • Recall@10: 0.960 (기존 Recall 만을 보상으로 사용한 모델 대비 0.860 보다 크게 향상).
  • SUMMIR 은 인간 주석자의 순위와 높은 일치도를 보이며, 특히 상위 10 개 순위 내에서 고품질 통찰력을 효과적으로 선별했습니다.
• 특징 분석: 감정 강도 (Emotional Intensity) 와 개체명 인기도 (NER Popularity) 가 순위 결정에 가장 큰 영향을 미치는 것으로 나타났습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 스포츠 분석: LLM 의 환각 문제를 FactScore 와 SummaC 를 통해 체계적으로 해결함으로써, 스포츠 분석 및 저널리즘 분야에서 신뢰할 수 있는 자동화 솔루션을 제공합니다.
• 맥락적 풍부함: 단순한 정보 나열을 넘어, 경기의 전술적 변화, 선수의 감정, 역사적 기록 등을 포괄하는 심층적인 통찰력을 제공합니다.
• 확장 가능성: 제안된 프레임워크는 스포츠를 넘어 뉴스, 교육 등 다른 도메인으로 확장 가능하며, 사용자 선호도에 따른 개인화된 순위 매기기를 통해 사용자 참여도를 높일 수 있습니다.
• 기술적 발전: PPO 와 ScoreNet 을 결합하여 인간적 판단 (Gold) 과 알고리즘적 흥미도 (Interestingness) 를 균형 있게 통합한 새로운 강화학습 기반 순위 최적화 기법을 제시했습니다.

이 연구는 스포츠 뉴스 마이닝 분야에서 LLM 의 잠재력을 극대화하면서도 그 위험 (환각) 을 통제하는 견고한 프레임워크를 제시했다는 점에서 중요한 의의를 가집니다.