CricBench: A Multilingual Benchmark for Evaluating LLMs in Cricket Analytics

이 논문은 크리켓 분석을 위한 다국어 텍스트 -SQL 벤치마크인 'CricBench'를 소개하며, 다양한 LLM 들이 구문적 유효성과 의미적 정확도 사이에서 큰 격차를 보이고 있으며 크리켓 도메인별 및 언어별 성능 편차가 뚜렷함을 규명했습니다.

핵심

🏏 크리켓과 AI 의 만남: "CricBench" 프로젝트

1. 배경: 왜 크리켓인가?
크리켓은 전 세계 수십억 명이 즐기는 거대한 스포츠입니다. 팬들은 단순한 점수가 아니라, "지난 10 년간 특정 경기장에서 가장 많은 득점을 올린 선수는 누구일까?"처럼 매우 복잡하고 전문적인 통계를 원합니다.

기존의 AI(대형 언어 모델) 는 일반적인 질문에는 잘 대답하지만, 스포츠라는 특수한 분야의 복잡한 규칙과 데이터를 처리하는 능력은 아직 검증되지 않았습니다. 마치 "일반적인 요리사"에게 "이국적인 향신료로만 만든 미슐랭 스타일 요리를 만들어달라"고 하는 것과 비슷합니다.

2. 실험 도구: "CricBench"라는 시험지
연구팀은 크리켓 분석을 위한 새로운 시험지인 CricBench를 만들었습니다.

• 내용: 크리켓의 4 가지 주요 경기 형태 (테스트, ODI, T20I, IPL) 와 4 가지 언어 (영어, 힌디어, 펀자비어, 텔루구어) 로 구성된 2,654 개의 질문입니다.
• 방식: AI 에게 "데이터베이스의 구조 (스키마)"만 주고, "이 구조를 보고 자연어로 된 질문을 SQL(데이터 검색 언어) 로 바꿔라"라고 시켰습니다.
• 특이점: 정답을 알려주거나 힌트를 주지 않고, 오직 AI 의 순수한 추론 능력만 시험했습니다.

3. 놀라운 결과: "문법은 완벽하지만, 내용은 엉망"
여러 최고의 AI 모델 (GPT-5 Mini, Claude, DeepSeek 등) 을 시험해 보니 놀라운 결과가 나왔습니다.

• 문법 실수는 거의 없음 (실행 정확도 98% 이상): AI 가 만든 SQL 코드는 문법적으로 완벽해서 컴퓨터가 실행할 때 오류가 나지 않았습니다. 마치 완벽하게 문법적인 영어 문장을 쓰지만, 뜻이 통하지 않는 상황과 같습니다.
• 정답률은 참으로 낮음 (데이터 일치도 29% 미만): 하지만 그 코드가 실행되어 나온 정답은 30% 미만이었습니다.
  • 비유: "서울에서 부산까지 가는 길"을 물어봤을 때, AI 는 "고속도로를 타고 가세요"라고 문법적으로 완벽한 답변을 했지만, 실제로는 서울에서 부산이 아닌 강원도로 가는 길을 안내한 것과 같습니다.

4. 주요 발견 사항

• 어떤 AI 가 가장 잘했나?

  • 어떤 모델이 모든 경기에서 압도적으로 잘한 경우는 없었습니다.
  • GPT-5 Mini는 '테스트' 경기에서는 가장 잘했지만, 'ODI'에서는 0% 를 기록하기도 했습니다.
  • Qwen 235B는 'IPL(인도 프리미어 리그)'과 'T20I'에서 가장 좋은 성적을 냈습니다.
  • 결론: 크리켓의 각 경기 방식은 서로 다른 '두뇌'를 요구합니다.

• 난이도와의 싸움

  • 특히 ODI(하드 난이도) 질문에서는 **어떤 AI 도 0%**를 기록했습니다. 이는 AI 가 아직 크리켓의 복잡한 규칙과 역사적 맥락을 완전히 이해하지 못한다는 뜻입니다.

• 일반 vs 전문: "범용 지능의 한계"

  • 이 AI 들은 일반적인 데이터베이스 질문 (BIRD 벤치마크) 에서는 60% 이상의 높은 점수를 받았습니다. 하지만 크리켓이라는 전문 분야로 넘어오자 점수가 37~55% 포인트나 폭락했습니다.
  • 비유: 수학 경시대회에서 금메달을 땄던 천재 학생이, 갑자기 특수한 농구 경기의 전술 분석을 하라고 하면 엉뚱한 답을 내놓는 것과 같습니다.

• 언어 장벽은 아니었다

  • 영어, 힌디어, 펀자비어 등 다양한 언어로 질문을 해도 AI 의 성능 차이는 크지 않았습니다. 문제는 언어를 이해하지 못해서가 아니라, 크리켓이라는 '전문 지식'이 부족해서였습니다.

5. 결론: AI 는 아직 초보 선수
이 연구는 현재 AI 가 스포츠 분석 같은 전문 분야에서는 아직 실용적인 수준에 도달하지 못했음을 보여줍니다. 문법적으로 완벽한 코드를 짜는 능력은 뛰어나지만, 실제 경기의 맥락과 복잡한 규칙을 이해하는 '통찰력'이 부족합니다.

요약하자면:

"AI 는 문법 교정기로서는 천재이지만, 크리켓 해설가로서는 아직 초보입니다. 앞으로는 단순히 더 큰 모델을 만드는 것이 아니라, 크리켓이라는 '특수한 세계'에 맞춰 전문적으로 훈련시키는 연구가 필요하다는 것을 이 논문이 증명했습니다."

이 연구는 앞으로 AI 가 스포츠, 의료, 법률 같은 전문 분야에서 어떻게 발전해야 할지 중요한 방향을 제시합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 크리켓은 전 세계적으로 2 위 인기 스포츠로, 팬들과 분석가들은 장기적인 트렌드나 복잡한 선수 비교와 같은 고급 통계적 통찰력을 요구합니다. 그러나 일반적인 웹 검색으로는 이러한 정보를 얻기 어렵습니다.
• 문제: 대규모 언어 모델 (LLM) 은 Text-to-SQL(자연어를 SQL 쿼리로 변환) 작업에서 큰 진전을 보였으나, 스포츠 분석과 같은 특정 도메인 (Domain-specific) 의 미묘한 차이, 복잡한 스키마 변형, 그리고 다국어 요구 사항을 처리하는 능력은 아직 충분히 탐구되지 않았습니다.
  • 기존 벤치마크 (WikiSQL, Spider, BIRD 등) 는 주로 일반 비즈니스 쿼리에 초점을 맞추거나 영어 중심이며, 크리켓과 같은 전문 도메인의 논리적 추론 (정밀한 수학적 연산, 시계열 인식, 파생 지표 계산 등) 을 평가하기에는 부족합니다.
  • 특히 인도 등 크리켓 팬이 많은 지역에서는 영어뿐만 아니라 힌디어, 펀자브어, 텔루구어 등 현지 언어 및 코드 믹싱 (Code-mixing) 환경에서의 성능 평가가 필수적이지만, 이를 다루는 데이터셋이 부재했습니다.

2. 방법론 (Methodology)

저자들은 크리켓 분석을 위한 최초의 전문 다국어 벤치마크인 CricBench를 제안했습니다.

• 데이터셋 구성:
  • 범위: 4 가지 크리켓 포맷 (Test, ODI, T20I, IPL) 을 포함합니다.
  • 규모: 총 2,654 개의 평가 인스턴스로 구성되었으며, 이는 633 개의 기본 쿼리가 4 개 언어 (영어, 힌디어, 펀자브어, 텔루구어) 로 번역된 것입니다. IPL 의 경우 다양한 코드 믹싱 패턴을 반영한 추가 번역으로 인스턴스 수가 더 많습니다.
  • 데이터 소스: Cricsheet 의 공중파 볼 단위 (ball-by-ball) 데이터를 기반으로 SQLite 스키마로 정제되었습니다.
  • 난이도: Easy, Medium, Hard 로 분류되었으며, 집계 (Group By), 다중 테이블 조인, 시계열 필터링, 중첩 쿼리, 파생 지표 (Strikerate, Economy Rate 등) 계산 등 다양한 복잡성을 포함합니다.
• 골드 스탠다드 (Gold Standard) 큐레이션:
  • 자동 생성이 아닌, 크리켓 분석 전문가와 SQL 전문가가 직접 질문을 작성하고 SQL 을 수기로 작성하여 검증했습니다.
  • 정답은 ESPNcricinfo 및 Cricbuzz 의 공식 기록과 교차 검증하여 사실적 정확성을 보장했습니다.
• 평가 프로토콜 (Schema-only Prompting):
  • 모델에 데이터베이스 스키마 정의와 최소한의 지시사항만 제공하고, 도메인별 맥락이나 Few-shot 예시를 제공하지 않았습니다.
  • 이는 모델이 외부 지식 없이도 내재된 추론 능력으로 도메인 특화 자연어를 올바른 SQL 로 변환할 수 있는지 측정하기 위함입니다.
• 평가 지표:
  • 실행 정확도 (Execution Accuracy, EX): 문법 오류 없이 실행되는 쿼리의 비율.
  • 데이터 매칭 정확도 (Data Match Accuracy, DMA): Gold Standard 와 결과가 정확히 일치하는 쿼리의 비율 (주요 지표).

3. 주요 기여 (Key Contributions)

1. CricBench 데이터셋: 크리켓 분석을 위한 최초의 전문가 큐레이션 Text-to-SQL 벤치마크 (4 포맷, 4 언어, 2,654 개 인스턴스).
2. 다국어 지원: 인도 언어 (힌디어, 펀자브어, 텔루구어) 와 코드 믹싱을 포함한 검증된 테스트 세트 제공.
3. 포맷 간 분석: 크리켓 포맷 (Test, ODI, T20I, IPL) 에 따라 모델 성능이 극적으로 달라짐을 발견하고 이를 체계화했습니다.
4. 내재적 능력 평가: 도메인 컨텍스트 주입 없이 스키마만 제공하여 LLM 의 순수 추론 능력을 측정했습니다.
5. 도메인 격차 (Domain Gap) 정량화: 일반 목적 벤치마크 (BIRD) 와의 비교를 통해 전문 도메인에서의 성능 저하를 수치화했습니다.
6. 전문가 큐레이션: 합성 데이터가 아닌 전문가가 직접 작성하고 검증한 고품질 골드 스탠다드 제공.

4. 주요 결과 (Results)

7 가지 최첨단 모델 (GPT-5 Mini, Claude Sonnet 4, DeepSeek R1/V3, Qwen 235B, Llama 3.1, Gemma 2) 을 평가한 결과는 다음과 같습니다.

• 단일 모델의 지배 부재: 어떤 모델도 모든 포맷에서 우위를 점하지 못했습니다.
  • Test: GPT-5 Mini 가 12.4% DMA 로 최상위.
  • IPL/T20I: Qwen 235B 가 각각 28.7%, 17.5% 로 최상위.
  • ODI: 모든 모델이 Hard 난이도 쿼리에서 0% DMA를 기록했습니다.
• 실행 정확도와 의미론적 정확도의 괴리:
  • 모델들은 98% 이상의 높은 실행 정확도 (EX) 를 보였으나, 정답을 반환하는 DMA 는 29% 미만으로 낮았습니다. 이는 모델이 문법적으로 올바른 SQL 을 생성하지만, 도메인 논리 (예: 유효한 볼 필터링, 파생 지표 계산 공식) 를 잘못 적용한다는 것을 의미합니다.
• 소규모 모델의 성능 저하: Llama 3.1 (8B) 과 Gemma 2 (9B) 는 복잡한 스키마를 가진 T20I 와 IPL 에서 성능이 급격히 떨어졌습니다 (DMA ≤ 0.9%).
• 다국어 성능: 언어 간 성능 차이는 미미했으나, 모든 언어에서 DMA 가 15% 미만으로 전반적으로 낮았습니다. 코드 믹싱 입력이 성능을 크게 저하시키지는 않았습니다.
• 도메인 격차 (Domain Gap):
  • 일반 목적 벤치마크인 BIRD 대비 CricBench 에서 모델들의 정확도가 37~55% 포인트 급감했습니다.
  • 특히 BIRD 에서 높은 점수를 받은 모델 (GPT-5 Mini 등) 일수록 절대적인 성능 하락폭이 컸습니다. 이는 일반 Text-to-SQL 능력이 전문 도메인 분석으로 직접 전이되지 않음을 시사합니다.

5. 오류 분석 (Error Analysis)

• 스키마 환각 (Schema Hallucination): 제공된 스키마에도 존재하지 않는 컬럼 (예: total_runs) 을 생성함.
• 파생 지표 오류: 이코노미 레이트 (Economy Rate) 계산 시 '유효한 볼 (legal delivery)' 필터링을 누락하거나 공식을 잘못 적용함.
• 엔티티 해결 실패: 선수 이름과 팀 (국가 또는 프랜차이즈) 을 올바르게 매핑하지 못함.
• 시계열 논리 오류: 날짜 기반 정렬 대신 매치 ID 로 정렬하거나 '최상위 N 개' 쿼리에서 LIMIT 을 잘못 적용함.

6. 의의 및 결론 (Significance)

• 연구적 의의: CricBench 는 스포츠 분석과 같은 전문 도메인에서 LLM 의 한계를 명확히 보여주는 첫 번째 벤치마크입니다.
• 실용적 시사점: 현재 LLM 은 스키마 연결 (Schema Linking) 에는 능숙하지만, 도메인 특유의 논리적 추론과 복잡한 계산이 필요한 전문 분석 작업에는 아직 실용화되기 어렵습니다.
• 미래 방향: 단순한 스케일 확장이나 프롬프트 엔지니어링만으로는 해결되지 않으며, 도메인 특화 파인튜닝 (Domain-specific Fine-tuning), 구조화된 검색 증강 생성 (RAG with domain rules), 추론 강화 아키텍처 등의 접근이 필요함을 강조합니다.

이 논문은 크리켓 분석뿐만 아니라, 다른 전문 도메인 (의료, 금융 등) 에서 LLM 이 직면하는 '일반적 능력과 전문적 능력 간의 간극'을 이해하는 데 중요한 통찰을 제공합니다.