DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining

이 논문은 2013 년부터 2024 년까지의 연도별 데이터 절단으로 학습된 12 개의 DatedGPT 모델을 통해 금융 예측에서 발생할 수 있는 미래 정보 편향 (lookahead bias) 을 방지하고 각 모델의 지식 범위를 엄격히 통제하는 방법을 제시합니다.

핵심

🕰️ 1. 문제: "시간 여행자가 시험을 치르면?"

상상해 보세요. 2024 년에 치르는 시험이 있는데, 학생이 2025 년의 정답지를 미리 보고 공부했다고 가정해 봅시다. 시험에서 "내일 주식 시장이 폭락할까요?"라는 질문을 받았을 때, 학생은 "네, 폭락합니다!"라고 정확히 맞힙니다.

하지만 이 학생은 진짜로 상황을 분석해서 맞힌 게 아니라, 미래의 정답을 미리 외웠을 뿐입니다. 이를 금융이나 예측 분야에서 **'루어어헤드 바이어스 (Lookahead Bias, 미리 보기 편향)'**라고 부릅니다.

지금까지의 거대 AI(대형 언어 모델) 는 인터넷의 모든 데이터를 다 읽어서 훈련받았기 때문에, 마치 2024 년에 태어났는데 2025 년의 뉴스도 다 알고 있는 시간 여행자와 같습니다. 그래서 "과거의 상황을 보고 미래를 예측한다"는 척하지만, 사실은 "미래의 결과를 기억하고 있을 뿐"일 수 있습니다.

🛑 2. 해결책: "시간 여행 금지 구역"을 만든 DATEDGPT

이 문제를 해결하기 위해 연구진들은 DATEDGPT라는 새로운 AI 가족을 만들었습니다.

• 아이디어: "AI 가 미래를 알지 못하게 하려면, 훈련할 때 특정 연도 이후의 정보는 아예 없애버려야 한다."
• 실행: 연구진은 2013 년부터 2024 년까지 매년마다 완전히 새로운 AI 12 마리를 키웠습니다.
  • 2013 년 버전 AI: 2013 년 12 월 31 일 이후의 뉴스, 책, 웹사이트는 전혀 보지 못함.
  • 2020 년 버전 AI: 2020 년까지만 알고 있고, 2021 년 이후는 "무엇이 일어났는지"를 전혀 모름.
  • 2024 년 버전 AI: 최신 정보까지 알고 있음.

이들은 마치 각각 다른 시대에 갇혀 있는 도서관 사서들 같습니다. 2013 년 도서관 사서는 2014 년에 나온 책이 있다는 사실조차 모릅니다.

📚 3. 어떻게 만들었나요? (데이터 정제)

1. 인터넷 청소: 인터넷에서 글을 긁어모을 때, "이 글이 언제 쓰였는지"가 아니라 **"언제 이 글을 인터넷에서 발견했는지"**를 기준으로 잘라냈습니다. (예: 1990 년에 쓴 글이라도 2015 년에 발견했다면, 2015 년 버전 AI 에는 포함되지만 2014 년 버전 AI 에는 포함되지 않음.)
2. 질문과 답변 훈련: AI 가 사람과 대화할 수 있도록 훈련시켰는데, 이때도 미래의 정보를 묻는 질문은 모두 걸러냈습니다.
   • 나쁜 예: "2023 년에 방영된 드라마 '오징어 게임'의 결말은?" (2020 년 버전 AI 에는 이 정보가 없어야 함)
   • 좋은 예: "2019 년에 방영된 드라마는 무엇이었나요?"

🧪 4. 실험 결과: "진짜 과거를 알고 있는가?"

연구진은 이 AI 들을 시험해 보았습니다.

• 성능: 크기가 작음에도 불구하고, 일반적인 언어 이해 능력은 다른 유명한 AI 들과 비슷하거나 더 좋았습니다.
• 시간 테스트 (가장 중요!): 2020 년 버전 AI 에게 2021 년에 일어난 뉴스 (예: 특정 회사의 주가 폭락) 를 보여주며 "이 뉴스가 무슨 뜻일까?"라고 물었습니다.
  • 결과: AI 는 그 뉴스를 전혀 이해하지 못하거나, 당황했습니다. ( perplexity, 즉 당황도가 급격히 올라감)
  • 의미: AI 가 미래 정보를 기억하고 있지 않다는 확실한 증거입니다. 마치 2020 년에 살던 사람이 2021 년의 뉴스를 처음 듣는 것과 똑같은 반응을 보인 것입니다.

🌐 5. 웹사이트: "시간 여행을 체험해 보세요"

연구진은 www.datedgpt.com이라는 웹사이트를 만들었습니다. 여기서 사용자는 같은 질문을 여러 연도의 AI 에게 물어볼 수 있습니다.

• 질문: "OpenAI 의 챗봇 이름이 뭐야?"
  • 2020 년 AI: "ChatGPT 는 아직 없어요. (당시에는 ChatGPT 가 없었음)"
  • 2024 년 AI: "ChatGPT 가 있어요!"
• 이 기능을 통해 사용자는 AI 가 알고 있는 지식의 한계가 정확히 그 연도에 맞춰져 있는지 직접 확인할 수 있습니다.

💡 요약

이 논문은 **"미래를 미리 알면 예측이 무의미해진다"**는 점을 지적하며, 매년마다 시간을 잘라낸 AI 12 마리를 만들어냈습니다.

이들은 마치 과거로 돌아간 시간 여행자처럼, 오직 그 시점까지의 정보만 가지고 미래를 예측할 수 있게 훈련되었습니다. 이를 통해 금융이나 예측 분야에서 AI 가 진짜로 상황을 분석하는지, 아니면 그냥 미래를 외운 것인지 구별할 수 있게 되었습니다.

한 줄 요약: "미래의 정답지를 미리 본 AI 는 진짜 예측자가 아니다. 그래서 우리는 '시간 제한'을 두고 AI 를 훈련시켰다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• Lookahead Bias (선시적 편향) 의 위험: 금융 백테스팅 (backtesting) 및 시계열 예측 작업에서 인터넷 규모의 데이터로 사전 학습된 대규모 언어 모델 (LLM) 은 훈련 과정에서 미래의 결과를 이미 접했을 가능성이 높습니다. 이는 모델이 입력된 문맥을 추론하는 것이 아니라, 훈련 데이터에 암기된 결과를 단순히 회상 (retrieval) 하는 것으로 이어질 수 있습니다.
• 예시: 2008 년 9 월 29 일 S&P 500 급락과 같은 역사적 사건에 대해 모델이 확신 있게 예측한다면, 이는 실제 추론 능력 때문이 아니라 훈련 데이터에 해당 사건이 포함되어 있었기 때문일 수 있습니다.
• 현재의 한계: 기존 연구들은 최신 데이터를 포함하는 데 초점을 맞추거나, 지속적인 학습 (continual learning) 을 시도하지만, 이는 '카타스트로픽 포기팅 (catastrophic forgetting)'의 위험이 있거나 엄격한 시간적 경계를 보장하지 못합니다. 특히 1000 억 토큰 (tokens) 이상의 대규모 데이터를 연도별 명확한 컷오프 (cutoff) 로 구분하여 학습시킨 모델 시리즈는 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 DATEDGPT라는 12 개의 13 억 파라미터 (1.3B) 언어 모델 시리즈를 제안하며, 각 모델은 2013 년부터 2024 년까지의 연도별 데이터 컷오프를 엄격하게 준수하도록 설계되었습니다.

A. 시간 인식 데이터 구축 (Time-Aware Dataset Curation)

1. 사전 학습 데이터 (Pretraining Data):
   • 기반 데이터: 웹 크롤링 데이터인 'FineWeb-Edu'를 선택했습니다.
   • 필터링 전략: 웹페이지의 실제 작성 연도가 아닌, **크롤링된 날짜 (crawl date)**를 기준으로 연도별 필터링을 수행했습니다. 이는 모델이 지정된 컷오프 연도 이후의 데이터에 노출되는 것을 방지하기 위한 재현 가능한 방법입니다.
   • 규모: 연도별 약 1000 억 토큰 (100B tokens) 씩 총 12 개의 시간 인식 사전 학습 세트를 구축했습니다.
2. 지시 따르기 데이터 (Instruction-Following Data):
   • 일반 도메인: 일반적인 지시 수행 능력을 위해 널리 사용되는 지시 데이터셋 (Coconot, Tulu-3, OpenHermes 등) 을 사용하되, LLM(Llama-3.3-70B) 을 활용하여 시간 민감성 정보를 제거 (Time-sensitive information removal) 하는 필터링을 적용했습니다.
   • 금융 도메인: 뉴스 헤드라인을 통한 주가 수익률 예측 및 실적 발표 (earnings call) 를 통한 자본 지출 (capital expenditure) 예측과 같은 금융 특화 작업을 위해, 각 연도별 데이터에 맞춰 LLM 을 '교사 모델'로 활용하여 지시 - 응답 쌍을 생성했습니다.

B. 모델 학습 (Model Training)

• 아키텍처: 13 억 파라미터 규모의 Llama 계열 아키텍처를 채택했습니다.
• 학습 단계:
  1. Pretraining: 각 연도별 데이터로 0 번부터 (from scratch) 모델을 학습시켜 DATEDGPT-BASE 시리즈를 생성했습니다. (총 25,000 iteration, 약 1000 억 토큰)
  2. Instruction Tuning: 일반 도메인 및 금융 도메인의 시간 필터링된 지시 데이터로 3 에포크 (epochs) 동안 미세 조정 (fine-tuning) 을 수행하여 DATEDGPT-INSTRUCT 시리즈를 완성했습니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 연도별 컷오프 모델 시리즈: 2013 년부터 2024 년까지의 연도별 데이터로 12 개의 13 억 파라미터 모델을 0 번부터 학습시킨 최초의 대규모 시리즈를 공개했습니다.
2. 엄격한 시간적 경계 보장: 데이터 크롤링 날짜와 지시 데이터의 시간 민감성 필터링을 통해 모델이 미래 정보에 노출되지 않도록 설계했습니다.
3. 상호작용형 웹 데모: 사용자가 서로 다른 컷오프 연도의 모델 응답을 비교하고 시간적 맥락에 따른 지식 변화를 관찰할 수 있는 웹 인터페이스 (www.datedgpt.com) 를 제공했습니다.

4. 실험 결과 (Results)

• 언어 이해 및 지시 수행 성능:
  • HellaSwag, PIQA, ARC, MMLU, IFEval 등 다양한 벤치마크에서 13 억 파라미터 규모의 기존 모델 (GPT-XL, OPT-1.3B, TinyLlama 등) 과 경쟁력 있는 성능을 보였습니다.
  • 특히 IFEval 벤치마크에서 높은 점수를 기록하여 지시 수행 능력이 우수함을 입증했습니다.
  • 컷오프 연도가 달라도 (예: 2013 년 vs 2024 년) 모델의 전반적인 언어 이해 능력은 유사하게 유지되었습니다.
• 지식 암기 및 Lookahead Bias 검증 (Perplexity Probing):
  • Bloomberg 의 뉴스 헤드라인 데이터셋을 사용하여 각 모델의 퍼플렉시티 (Perplexity) 를 측정했습니다.
  • 결과: 각 모델의 데이터 컷오프 연도 이전의 뉴스에 대해서는 낮은 퍼플렉시티를 보였으나, 컷오프 연도 이후의 데이터에 대해서는 퍼플렉시티가 급격히 상승하는 경향을 보였습니다. 이는 모델이 미래 정보를 학습하지 않았음을 통계적으로 입증합니다.

5. 의의 및 결론 (Significance)

• 금융 및 시계열 예측의 신뢰성 확보: DATEDGPT 는 LLM 이 미래 정보를 암기하지 않고, 오직 주어진 시점의 정보만을 기반으로 추론하는지 검증할 수 있는 기준을 마련했습니다. 이는 금융 예측, 경제 시뮬레이션 등 시간 기반 작업에서 모델의 유효성을 평가하는 데 필수적입니다.
• 방법론적 혁신: 단순한 데이터 업데이트를 넘어, 모델의 지식 베이스를 엄격한 시간적 경계로 분리하여 학습하는 새로운 패러다임을 제시했습니다.
• 오픈 소스 및 접근성: 모든 모델 체크포인트, 데이터, 학습 파이프라인을 오픈소스로 공개하여 연구 커뮤니티가 시간 인식 LLM 연구의 표준을 확립하는 데 기여할 것으로 기대됩니다.

이 논문은 LLM 의 '기억'과 '추론'을 구분하고, 특히 금융과 같이 시간 민감도가 높은 분야에서 모델의 편향을 제거하는 데 있어 중요한 이정표가 되는 연구입니다.