💬 NLP

Moneyball with LLMs: Analyzing Tabular Summarization in Sports Narratives

이 논문은 긴 문맥의 표 요약에서 다중 개체 간섭과 기억 유지가 주요 병목 현상임을 규명하기 위해 스포츠 도메인 진단 벤치마크인 SPORTABSET 을 도입하고, 분해 전략의 효과와 한계를 분석합니다.

원저자: Ritam Upadhyay, Naman Ahuja, Rishabh Baral, Aparna Garimella, Vivek Gupta

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

원저자: Ritam Upadhyay, Naman Ahuja, Rishabh Baral, Aparna Garimella, Vivek Gupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 연구의 배경: "AI 가 해설을 듣고 점수표를 만들 수 있을까?"

상상해 보세요. TV 에서 크리켓이나 농구 경기가 실시간으로 해설됩니다.

크리켓: "A 선수가 공을 쳤다, 4 점! B 선수가 공을 맞았다, 아웃!" 같은 해설이 수천 줄 이어집니다.
농구: "C 선수가 슛을 넣었다, D 선수가 리바운드를 잡았다" 같은 해설이 빗발칩니다.

이 수많은 해설을 듣고, AI 가 자동으로 '선수별 점수표 (Scorecard)'를 만들어야 합니다.
그런데 문제는 해설이 길어질수록 AI 가 혼란을 겪는다는 것입니다. "아까 그 선수가 몇 점 냈지?", "누가 투수였지?" 같은 정보를 잊어버리거나, 엉뚱한 숫자를 적어내는 '환각 (Hallucination)' 현상이 일어나는 거죠.

2. 새로운 시험지: 'SPORTABSET' (스포츠 점수표 시험)

연구팀은 AI 의 능력을 제대로 측정하기 위해 **'SPORTABSET'**이라는 새로운 시험지를 만들었습니다.

크리켓과 농구 두 종목: 크리켓은 '타자'와 '투수' 역할이 명확히 나뉘어 서로 다른 표를 만들어야 하고, 농구는 한 팀의 선수들이 섞여 활동하므로 하나의 큰 표를 만들어야 합니다. 이 두 가지를 통해 AI 가 다양한 상황에서 정보를 어떻게 처리하는지 봅니다.
실제 데이터: ESPN 크리켓과 ESPN 농구의 실제 해설 6,500 건 이상을 분석했습니다.

3. 실험 결과: "AI 는 혼자서 하기보다 '조각조각' 나누어 생각할 때 더 잘한다"

연구팀은 AI 에게 해설 전체를 한 번에 읽게 하는 방법 (CoT) 과, 해설을 작은 조각으로 나누어 처리하게 하는 방법 (분해 전략) 을 비교했습니다.

비유: 마치 거대한 퍼즐을 한 번에 맞추려다 실패하는 대신, 작은 조각씩 나누어 맞추는 방식이 훨씬 정확하다는 것입니다.
결과: 해설을 작은 덩어리로 나누어 처리하거나, '선수 한 명씩' 따로 점수를 계산하게 하면 AI 의 정확도가 크게 올라갔습니다. 특히 숫자를 더하는 계산 능력이 좋아진 게 아니라, **여러 선수의 정보를 서로 섞지 않고 구분하는 능력 (기억력)**이 좋아졌기 때문입니다.

4. 약점 발견: "AI 는 '이름'에 너무 의존한다"

가장 흥미로운 발견은 AI 가 해설의 내용을 이해하기보다 표면적인 단서에 너무 의존한다는 것입니다.

이름 바꾸기 실험: 해설에 나오는 선수 이름을 '김철수'에서 '알파벳'이나 '다른 스포츠 스타 이름'으로 바꿔주었습니다.
- 농구: 이름만 바뀌어도 AI 가 완전히 망가졌습니다. "누가 점수를 냈는지"를 이름으로만 기억하고 있었기 때문입니다.
- 크리켓: 이름이 바뀌어도 어느 정도는 잘했습니다. 크리켓 해설에는 "아웃 (Out)"이나 "4 점 (FOUR)" 같은 명확한 문장 구조가 있어서 이름 없이도 유추할 수 있었기 때문입니다.
은유: AI 는 선수의 얼굴 (이름) 을 외우는 것은 잘하지만, 선수가 뛴 경기의 흐름 (상황) 을 이해하는 것은 서툴다는 뜻입니다.

5. 결론: "AI 가 스포츠 해설을 제대로 하려면?"

이 연구는 우리에게 중요한 세 가지 교훈을 줍니다.

한 번에 다 하려 하지 마세요: 긴 해설을 처리할 때는 내용을 잘게 쪼개서 처리하는 것이 훨씬 정확합니다.
기억력이 핵심: AI 가 긴 해설을 잘 요약하려면, 숫자 계산 능력보다 여러 선수의 상태를 기억하고 구분하는 능력이 훨씬 중요합니다.
표면적인 단서에 속지 마세요: AI 가 이름이나 특정 문장 구조에 의존하는 경향이 강하므로, 실제 상황 이해력을 키우는 훈련이 필요합니다.

한 줄 요약

"AI 가 스포츠 해설을 듣고 점수표를 만들 때, 이름을 외우는 것보다 경기 흐름을 기억하는 게 훨씬 어렵다. 그래서 해설을 작은 조각으로 나누어 처리하게 하면 훨씬 똑똑해진다!"

이 연구는 앞으로 AI 가 금융, 의료 등 복잡한 데이터를 다룰 때도 단순한 추출이 아니라, 상황을 기억하고 논리적으로 추론하는 능력이 얼마나 중요한지 보여줍니다.

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 텍스트를 표 (Table) 로 변환하는 작업 (Text-to-Table Generation) 에서 유망한 성능을 보이고 있으나, 긴 문맥 (Long-context) 에서 여러 개체 (Multi-entity) 의 상태를 추적하고 통계적 규칙에 따라 집계하는 능력에는 한계가 있습니다.

기존의 접근 방식은 다음과 같은 문제점을 가집니다:

계산 비용: 성능 향상을 위해 복잡한 프롬프트 엔지니어링, 분해 파이프라인 (Decomposition pipelines), 또는 개체 수준의 중간 표현을 사용하지만 이는 계산적으로 매우 비용이 많이 듭니다.
상태 유지의 불투명성: 이러한 전략이 긴 서사 (Narrative) 를 따라가며 모델이 내부 상태 (Internal State) 를 얼마나 정확하게 유지하는지에 대한 통찰력을 제공하지 못합니다.
평가의 부재: 기존 벤치마크는 주로 단일 동적 업데이트에 초점을 맞추어, 다양한 서사 구조와 개체 regimes 에서 모델의 일반화 능력을 평가하기 어렵습니다.

따라서, LLM 이 긴 문맥에서 여러 개체의 상호작용을 추적하고 도메인 특정 규칙 하에 통계를 집계할 때 발생하는 메모리 병목 현상과 오류 패턴을 체계적으로 진단할 필요가 있습니다.

2. 제안된 방법론 및 벤치마크 (Methodology & SPORTABSET)

저자들은 SPORTABSET이라는 새로운 진단용 벤치마크를 제안했습니다. 이는 긴 문맥의 텍스트를 표로 변환하는 능력을 평가하기 위해 고안된 것으로, 크리켓과 농구라는 두 가지 상보적인 스포츠 도메인을 포함합니다.

A. SPORTABSET 데이터셋 구성

크리켓 (Cricket): Cricinfo 의 볼별 (Ball-by-ball) 코멘터리 (약 6,500 개 이상) 를 사용.
- 특징: 타자 (Batsman) 와 투수 (Bowler) 라는 두 가지 상호 의존적이지만 분리된 역할이 존재. 각 역할에 따라 별도의 표를 생성해야 하며, 게임 규칙 (예: 와이드, 노볼 처리) 에 따른 복잡한 논리적 추론이 필요.
- Ground Truth: 정규식 기반 파서를 통해 볼 단위 이벤트를 추출하고, 플레이어 이름별로 집계하여 생성 (99.7% 정확도 검증).
농구 (Basketball): ESPN 의 2025 시즌 경기 코멘터리 (998 개) 와 공식 박스스코어 사용.
- 특징: 단일 기능적 역할 (선수) 내에서 많은 수의 에이전트 (평균 24 명) 가 동시에 상호작용. 넓은 폭의 표 (Wide Table) 생성이 필요하며, 밀집된 상호작용을 처리해야 함.
- Ground Truth: 공식 박스스코어를 직접 스크랩하여 사용.

B. 평가 모델 및 베이스라인

모델: GPT-4.1, Gemini-2.5-Flash, Llama-3.3-70B, Qwen-2.5-7B 등 32k 이상의 컨텍스트 윈도우를 가진 최신 LLM 평가.
비교 전략:
1. Zero-Shot CoT: 단계별 추론을 지시하는 단일 프롬프트.
2. Divide & Generate: 입력을 $n$ 개의 청크로 나누어 병렬 처리 후 병합 (Jain et al., 2024).
3. Entity CoT: 각 행 (개체/선수) 을 독립적으로 생성하도록 프롬프트 (병렬 호출).
4. Text-Tuple-Table (T3): 텍스트를 원자적 튜플 (Entity, Attribute, Value) 로 변환한 후 규칙 기반 컴파일러로 표를 생성 (Deng et al., 2024a).

C. 강건성 (Robustness) 평가

모델이 표면적 단서 (Surface cues) 에 의존하는지, 실제 추론을 하는지 확인하기 위해 다음과 같은 교란 (Perturbation) 을 적용:

개체 치환 (Entity Substitution): 선수 이름을 다른 스포츠의 이름으로 대체 (OOD).
익명화 (Anonymization): 선수 이름을 'Player1', 'Player2' 등으로 대체.
개체 얽힘 (Entity Entanglement): 크리켓의 경우, 투수와 타자의 역할을 명시적으로 구분하는 문장 구조를 모호하게 변경.

3. 주요 결과 (Key Results)

A. 작업 분해 (Decomposition) 의 효과

성능 향상: 모든 분해 전략 (Divide & Generate, Entity CoT, T3) 은 단일 CoT 대비 정확도와 수치적 충실도 (Numerical Fidelity) 를 크게 향상시킵니다.
- 예: T3 는 평균 정확도 +20.6%p 향상, RMSE 62.8% 감소.
근본 원인: 성능 향상의 주된 원인은 국소적인 산술 능력 (Local arithmetic) 의 향상이 아니라, 다중 개체 간 간섭 (Multi-entity interference) 을 해소했기 때문입니다. 개체별로 추론을 분리하면 모델이 다른 선수의 통계를 혼동하는 오류가 줄어듭니다.

B. 모델별 행동 차이

Gemini-2.5-Flash: 분해 및 기호적 추론 (Symbolic reasoning) 에 가장 큰 이득을 보이며 가장 일관된 성능 향상을 보임.
GPT-4.1: 분해 전략에 따라 성능이 불안정함 (작은 $n$ 에서 불안정).
Llama-3.3: 농구 데이터에서 분해 시 일관된 개선을 보임.

C. 강건성 및 오류 분석

표면적 단서 의존성: 익명화나 개체 치환 시 성능이 급격히 하락하거나 오류 유형이 변합니다.
- 할루시네이션 (Hallucination): 과다 계수 (Over-counting) 경향 (예: Gemini).
- 생략 (Omission): 과소 계수 (Under-counting) 경향 (예: GPT-4.1).
역할 혼란 (Role Confusion): 크리켓의 '개체 얽힘' 실험에서 모델이 투수와 타자의 역할을 혼동하여 잘못된 표 행에 데이터를 입력하는 경우가 빈번하게 발생했습니다. 이는 LLM 이 긴 문맥에서 개체의 역할을 유지하는 데 취약함을 보여줍니다.

D. 기억 (Memorization) 효과

학습 데이터의 시간적 분할 (Pre-2025 vs Post-2025) 분석 결과, GPT-4.1 은 새로운 데이터에서 정확도가 급격히 떨어지는 반면, Gemini 는 오히려 성능이 향상되었습니다. 이는 일부 모델이 특정 선수 이름에 대한 기억 (Memorization) 에 의존하여 추론하는 것처럼 보일 수 있음을 시사합니다.

4. 주요 기여 (Contributions)

SPORTABSET 벤치마크 도입: 6,500 개 이상의 크리켓 코멘터리와 2,500 개의 농구 경기를 포함하는, 긴 문맥의 다중 개체 텍스트 - 표 생성을 위한 최초의 진단적 벤치마크를 제시했습니다.
체계적인 전략 비교: CoT, 분해 기반 방법, 개체 중심 생성, 기호 파이프라인 등 다양한 모델링 전략의 정확도, 수치적 충실도, 계산 비용 간의 트레이드오프를 분석했습니다.
병목 현상 규명: 긴 문맥 표 생성의 주요 병목이 **다중 개체 상태 유지 (Multi-entity memory)**에 있음을 실증적으로 증명했습니다. 이는 단순한 산술 오류가 아니라, 개체 간 간섭과 역할 혼란에서 기인함을 밝혔습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 기반의 긴 문맥 표 생성 작업이 단순히 "추론" 능력의 부족이 아니라, 지속적이고 구조화된 상태 (Persistent structured state) 를 유지하는 능력의 부재에 기인함을 강조합니다.

실용적 시사점: 분해 전략은 성능을 향상시키지만, 이는 계산 비용과 신뢰성 문제 (할루시네이션, 반복 생성 등) 를 동반합니다. 따라서 단순한 프롬프트 엔지니어링을 넘어, 모델 아키텍처 수준에서 개체 일관성 (Entity-consistency) 을 유지할 수 있는 내재적 메커니즘이 필요함을 시사합니다.
미래 방향: SPORTABSET 은 모델의 강건성과 다중 개체 메모리 능력을 평가하는 표준 도구로 활용될 수 있으며, 이를 통해 더 신뢰할 수 있고 확장 가능한 표 생성 모델 개발이 가능해질 것입니다.

요약하자면, 이 논문은 **"Moneyball(데이터 기반 의사결정)"**의 철학을 LLM 평가에 적용하여, 모델이 복잡한 스포츠 데이터에서 어떻게 정보를 처리하고 실수하는지를 정밀하게 진단함으로써, 향후 구조화된 생성 모델의 발전 방향을 제시합니다.