🤖 AI

Inferring Events from Time Series using Language Models

이 논문은 시계열 데이터로부터 자연어 이벤트를 추론하는 거대 언어 모델의 능력을 평가하기 위한 새로운 벤치마크와 자동화된 태스크 생성 방법을 소개하며, 최소한의 문맥만으로도 놀라운 성공을 거둘 수 있음을 입증하고, 지식 증류와 강화 학습을 결면함으로써 더 작은 모델들이 대규모의 독점적 추론 모델과 대등한 성능을 낼 수 있게 할 수 있음을 보여준다.

원저자: Mingtian Tan, Mike A. Merrill, Zack Gottesman, Tim Althoff, David Evans, Tom Hartvigsen

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingtian Tan, Mike A. Merrill, Zack Gottesman, Tim Althoff, David Evans, Tom Hartvigsen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 TV로 스포츠 경기를 보고 있습니다. 하지만 해설자는 침묵에 빠졌습니다. 화면에는 오직 하나의 숫자만이 보입니다: 팀 A의 승리 확률. 이 숫자는 심장 박동처럼 위아래로 요동칩니다.

숫자가 급격히 올라가면, 팀 A에게 좋은 일(예: 득점)이 일어났거나 팀 B에게 나쁜 일(예: 파울)이 생겼음을 알 수 있습니다.
숫자가 곤두박질치면, 그 반대의 상황이 발생한 것입니다.

이 논문은 매혹적인 질문을 던집니다: 거대 언어 모델(LLM)이라는 초지능형 컴퓨터가 선수들을 직접 볼 수 없는 상태에서도, 저 꿈틀거리는 숫자의 선을 보고 경기에서 정확히 무슨 일이 일 있었는지 추측할 수 있을까?

이 연구가 어떻게 이 실험을 진행했는지, 쉬운 비유를 들어 설명해 드리겠습니다.

1. "눈먼 탐정" 게임

연구진은 GAMETIME이라는 거대한 퍼즐 게임을 만들었습니다. 그들은 수천 개의 실제 농구와 미식축구 경기를 가져왔습니다.

단서: 그들은 경기 중계 내용(사건)을 숨기고 오직 "승리 확률" 선만을 보여주었습니다.
과제: 컴퓨터에게 특정 시간 동안 일어난 일에 대한 네 가지 가능한 시나리오를 제시했습니다.
- 이야기 A: "팀 A가 3점 슛을 성공시켰다."
- 이야기 B: "팀 B가 슛을 놓쳤다."
- 이야기 C: "선수가 타임아웃을 요청했다."
- 이야기 D: "심판이 반칙 깃발을 던졌다."
목표: 컴퓨터는 꿈틀거리는 숫자의 선과 일치하는 이야기를 골라내야 합니다.

2. 결과: 누가 맞혔을까?

그들은 18개의 서로 다른 "두뇌"(AI 모델)를 테스트하여 누가 이 미스터리를 가장 잘 해결하는지 확인했습니다.

"추론"의 챔피언들: 어떤 AI들은 답을 하기 전에 깊이 생각하도록 설계되었습니다(마치 수학 문제를 풀기 위해 심호흡을 하며 단계별로 푸는 학생처럼). OpenAI의 o1이나 DeepSeek-R1 같은 모델들이 바로 이 탐정 역할을 했습니다. 이들은 약 **83%**의 정답률을 기록했습니다. 이들은 승리 확률이 급등하는 것을 보고 "아, 이것은 큰 점수(득점)임이 틀림없어!"라고 말할 수 있었습니다.
"빠른 대화가"들: 다른 모델들은 채팅은 잘하지만 깊게 생각하는 데는 서툽니다. 이들은 약 40% 정도의 정답률을 보이며 더 고전했습니다.
"작은 뇌"의 기적: 가장 놀라운 부분은 무엇일까요? 처음에는 거의 무작위 추측 수준(거의 0점에 가까운 점수)으로 형편없었던 아주 작고 저렴한 모델(Qwen 1.5B)을 가져온 것입니다. 연구진은 이 모델에게 "튜터(과외 선생님)"를 붙여 생각하는 법을 가르치고(증류, Distillation), 보상 시스템을 통해 연습하게 했습니다(강화 학습, Reinforcement Learning).
- 비유: 글자를 겨우 읽는 학생이 있다고 상상해 보세요. 당신이 천재의 교과서를 주고, 매 단계마다 정답을 맞힐 때마다 금색 별을 주는 연습 시험을 보게 합니다. 갑자기, 이 작은 학생이 거대하고 비싼 모델들을 이기기 시작합니다! 그들은 최하위에서 거의 최상위 수준까지 올라갔습니다.

3. "부정행위 방지" 규칙

컴퓨터가 단순히 선수 이름을 외워서(예: "르브론 제임스"는 보통 득점을 한다고 기억하는 것) 부정행위를 하지 못하도록, 연구진은 데이터를 정제했습니다.

"르브론" 대신 "선수 A"라고 썼습니다.
"레이커스" 대신 "팀 B"라고 썼습니다.
결과: 선수들이 누구인지 모르는 상태에서도, 가장 똑똑한 모델들은 숫자를 통해 사건을 파악해 낼 수 있었습니다. 이는 그들이 단순히 유명한 이름으로 추측한 것이 아니라, 인과관계에 대해 실제로 추론했음을 증명합니다.

4. 스포츠 외의 분야에서도 통할까?

연구진은 질문했습니다: "이것이 주식 가격이나 날씨 같은 다른 것에도 적용될 수 있을까?"
그들은 암호화폐 가격, 독감 유행률, 휘발유 가격 등을 대상으로 모델을 테스트했습니다.

발견: 그렇습니다! 뉴스 헤드라인에서 모든 숫자 정보를 제거했을 때도(즉, AI가 가격을 헤드라인과 직접 매칭할 수 없게 했을 때도), 똑똑한 모델들은 어떤 일이 일어났는지에 대한 올바른 이야기를 맞출 수 있었습니다. 모델들은 단순히 특정 숫자를 맞추는 것이 아니라, 사건이 숫자를 변화시키는 '패턴'을 학습한 것입니다.

5. "과잉 사고"의 함정

연구진은 이 컴퓨터들이 생각하는 방식의 재미있는 결함도 발견했습니다.

생각 부족: 어떤 모델들은 너무 빨리 추측했습니다. 숫자가 올라가는 것을 보자마자 앞뒤 맥락을 따지지 않고 즉시 "좋은 사건"을 골랐습니다. 이는 마치 시험을 "서둘러서" 치르는 것과 같습니다.
과잉 생각: 다른 모델들은 루프(반복)에 빠졌습니다. "잠깐, 아마 이게 일어났나... 아니, 잠깐, 저게 일어났나..."라며 스스로에게 너무 오래 말을 걸다가 혼란에 빠져 틀린 답을 골랐습니다.
최적의 지점: 최고의 성능은 모델이 약 1,400 단어 정도의 내부 추론을 수행하며 딱 적절한 시간 동안 생각했을 때 나타났습니다.

핵심 요약

이 논문은 AI가 숫자와 이야기 사이의 번역가가 되는 데 매우 능숙해지고 있음을 보여줍니다. AI는 데이터의 그래프를 보고 그 뒤에 숨겨진 서사를 말해줄 수 있습니다.

가장 중요한 것은, 이 일을 하기 위해 거대하고 비싼 슈퍼컴퓨터가 반드시 필요한 것은 아니라는 점을 증명했다는 것입니다. 작은 저가형 모델을 가져와서 "생각하는 법"(튜터와 연습 시험 방식)을 가르친다면, 그 모델은 시장에 나온 가장 비싼 모델들과 거의 대등한 실력을 갖춘 마스터 탐정이 될 수 있습니다.

기술 요약: 언어 모델을 이용한 시계열 데이터로부터의 이벤트 추론

문제 정의

본 논문은 수치적 시계열 데이터와 관련된 자연어 이벤트를 추론하는 능력에 관한 현재의 거대 언어 모델(LLM) 연구의 공백을 다룬다. 기존 연구들은 시계열 예측을 돕기 위해 텍스트를 사용하거나(예: 추세 분석), 시계 이상의 고립된 분석(예: 이상 탐지)에 집중해 왔으나, 시계열의 변동을 유발했거나 혹은 상관관계가 있는 일련의 이벤트를 추론하는 벤치마크는 거의 존재하지 않았다. 저자들은 주어진 시간 기록이 포함된 실수 값 데이터(예: 승리 확률)와 부분적인 컨텍스트가 주어졌을 때, 관측된 수치적 변동과 가장 일치하는 이벤트 시퀀스를 선택하는 것을 이 과업의 정의로 삼았다.

방법론

데이터셋 및 벤치마크 생성

저자들은 NBA와 NFL에서 추출한 총 4,200개의 경기, 즉 170만 개의 데이터 포인트로 구성된 GAMETIME 데이터셋을 도입한다.

데이터 소스: 수치적 시계열은 게임 내 이벤트에 반응하여 변동하는 승리 확률(ESPN의 독점 모델로 추정)로 구성된다. 이벤트 설명은 플레이 바이 플레이(play-by-play) 데이터(예: 득점, 파울, 턴오버)에서 유도되었다.
과업 정식화: 평가는 객관식 질문 형태로 구성된다. 모델은 시계열의 일부 구간(승리 확률)을 제공받으며, 네 가지 옵션 중 올바른 이벤트 시퀀스를 선택해야 한다.
오염 제어: 암기를 방지하기 위해, 데이터셋은 실제 이름 대신 일반적인 레이블(예: "Team A", "Player from Team A")을 사용한다. 오픈 도메인 확장(암호화폐, 건강, 에너지)의 경우, 모델이 특정 날짜나 가격을 기준으로 이벤트를 매칭하는 것을 방지하기 위해 이벤트 설명 내의 수치 값을 기호(예: $\alpha$ )로 대체하였다.
절제 연구(Ablation Studies): 저자들은 추가적인 컨텍스트(타임스탬프, 점수, 부분적 이벤트)를 제공했을 때의 영향을 테스트하였으며, 시계열 데이터를 제거하거나, 실제 이름을 제거하거나, 이벤트 순서를 섞어서 논리적 일관성을 테스트하는 절제 연구를 수행하였다.

실험 설정

평가 대상 모델: GPT-4o, OpenAI의 o1과 같은 독점 모델, LLaMA 3.1, Qwen 2.5, Phi, Mixtral과 같은 오픈 웨이트 모델, 그리고 추론에 특화된 증류(distilled) 모델(DeepSeek-R1 변체들)을 포함한 18개의 LLM을 테스트하였다.
학습 전략: 저자들은 작은 모델(특히 Qwen2.5 1.5B)에 대한 사후 학습 최 optimization을 조사한다. 이는 다음의 2단계 과정을 포함한다:
1. 웜업(Warm-up): 올바르게 추론된 Q&A 쌍을 사용하여 강력한 추론 모델(DS-R1-distill-Qwen-32B)로부터 지식 증류를 수행한다.
2. 강화 학습(RL): 추론 궤적을 정교화하기 위해 그룹 상대 정책 최적화(GRPO)를 사용하여 추가 최적화를 수행한다.
추론 프롬프트: 본 연구는 단계별 추론 예시를 모델에게 제공하는 사고 사슬(Chain-of-Thought, CoT) 프롬프팅의 효과를 평가한다.

주요 결과

베이스라인 성능

추론 모델의 우위: 추론을 위해 명시적으로 설계된 모델(예: OpenAI의 o1, DeepSeek-R1 증류 변체)은 표준 생성 모델보다 훨씬 뛰어난 성능을 보였다. OpenAI의 o1은 가장 높은 정확도(NBA 작업에서 83%, NFL에서 75.5%)를 달성했으며, 그 뒤를 DS-R1-distill-Qwen-32B(NBA 68%, NFL 43%)가 이었다.
CoT의 영향: 사고 사슬(CoT) 프로프팅은 농구 작업에서 평균 4.5%, 미식축구 작업에서 9.6%의 정확도 향상을 가져왔으나, 잘못된 형식의 응답 비율을 약간 증가시켰다.
컨텍스트 민감도: 추가적인 컨텍스트(타임스탬프, 점수)를 제공하는 것은 일반적으로 성능을 향상시켰으며, 특히 NFL 작업에서 그러했다. 반대로, 시계열 데이터나 실제 엔티티 이름을 제거하면 성능이 무작위 수준으로 떨어졌는데, 이는 모델이 엔티티 암기보다는 수치 데이터와 이벤트 사이의 상관관계에 의존함을 확인시켜 준다.

사후 학습 최적화

소형 모델 강화: 모델 역량에 관한 가장 중요한 발견은 작은 Qwen2.5 1.5B 모델에 대한 사후 학습의 성공이다.
- 베이스라인: 훈련되지 않은 1.5B 모델은 성능이 저조했다 (NBA 작업에서 200개 중 11개 정답).
- 증류 + RL: 증류된 추론 데이터로의 웜업과 GRPO 학습을 거친 후, 1.5B 모델의 정확도는 NBA 작업에서 200개 중 151개(75.5%)로 상승했다.
- 비교: 이 사후 학습된 소형 모델은 훨씬 더 큰 DS-R1-distill-Qwen-32B(200개 중 136개)를 능가하였고, OpenAI의 o1(200개 중 166개) 성능에 근접하였다.

일반화 가능성

이 접근 방식은 네 가지 다른 도메인(암호화폐(Bitcoin), 무역(IMEX), 건강(인플루엔자율), 에너지(휘발유 가격))으로 확장되었다.

LLM은 이벤트 설명에서 수치 값이 필터링된 상황에서도 이러한 오픈 도메인 환경에서 중간 정도의 추론 능력을 보여주었다.
GPT-4o는 모든 도메인에서 일관되게 50% 이상의 정확도를 달성하였으며, 추론 중심의 오픈 모델(Qwen2.5 72B, DS-R1)들도 대등한 성능을 보였다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장한다:

방법론: 단순한 예측이나 추세 분석을 넘어, 시계열 데이터와 관련된 이벤트를 추론하는 LLM의 능력을 평가하기 위한 프로그래밍 방식의 과업 생성법을 제시한다.
벤치마크: 정적 벤치마크의 오염 문제를 피하도록 설계된, 170만 개의 쌍을 이룬 시계열 및 이벤트 포인트를 가진 지속적으로 업데이트 가능한 실세계 데이터셋인 GAMETIME을 도입한다.
최적화 통찰: 사후 학습 최적화(증류 후 RL)가 소형 언어 모델의 이벤트 추론 능력을 극적으로 향상시켜, 1.5B 파라미터 모델이 이 특정 추론 과업에서 더 큰 모델들을 능가할 수 있음을 입증한다.

저자들은 현재 모델들이 유망한 추론 능력을 보여주고 있으나, 특히 비추론 모델이나 스포츠보다 이벤트와 시계열 사이의 인과 관계가 덜 직접적인 도메인에서는 여전히 도전적인 과제로 남아 있다고 결론짓는다. 본 연구는 수치적 시퀀스와 자연어 이벤트 간의 멀티모달 추론을 평가하고 개선하기 위한 토대를 마련한다.