Daily and Weekly Periodicity in Large Language Model Performance and Its Implications for Research

본 논문은 고정된 조건에서도 GPT-4o 의 성능이 일별 및 주별 주기성을 보이며 전체 분산의 약 20% 를 차지한다는 장기 연구를 통해, 언어 모델 성능의 시간 불변성 가정이 깨질 수 있음을 밝히고 연구 방법론에 중요한 시사점을 제시합니다.

핵심

📅 AI 의 '기분'도 매일 변한다? : 거대 언어 모델의 숨겨진 주기성 연구

이 논문은 우리가 매일 사용하는 AI(거대 언어 모델) 가 시간에 따라 성능이 달라질 수 있다는 놀라운 사실을 발견했습니다. 마치 사람이 아침에는 머리가 맑고 밤에는 피곤하듯, AI 도 하루 중 시간이나 요일에 따라 '기분'이 변해 똑같은 질문을 해도 다른 답을 내놓을 수 있다는 것입니다.

이 복잡한 연구를 일반인도 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드리겠습니다.

---

1. 연구의 배경: "AI 는 항상 똑같은가?"

우리는 보통 AI 를 사용할 때, **"같은 질문을 하면 항상 같은 답이 나온다"**고 믿습니다. 마치 자동판매기에 같은 동전을 넣으면 항상 같은 음료를 나오는 것처럼 말이죠. 그래서 연구자들은 AI 를 연구 도구로 쓰거나, AI 의 능력을 시험할 때 "시간이 지나도 성능은 변하지 않는다"고 가정합니다.

하지만 이 연구팀은 **"혹시 AI 도 사람처럼 하루 종일 컨디션이 변하지는 않을까?"**라고 의심했습니다.

2. 실험 방법: 3 개월간의 'AI 체력 측정'

연구팀은 GPT-4o라는 최신 AI 에게 물리 문제 하나를 매일 3 시간마다, 총 10 번씩 물어보는 실험을 약 3 개월 동안 진행했습니다.

• 조건: 질문 내용, AI 버전, 설정값은 모두 똑같이 고정했습니다.
• 목표: 오직 **'시간'**만 변수로 두고 AI 의 점수가 어떻게 변하는지 관찰했습니다.

3. 주요 발견: AI 도 '일과주'와 '주말'이 있다!

실험 결과를 분석한 놀라운 사실은 다음과 같습니다.

📉 "AI 의 점수는 20% 나 요동쳤다!"

AI 의 평균 점수는 시간과 요일에 따라 약 20% 정도 크게 오르내렸습니다. 이는 단순히 랜덤한 실수가 아니라, 매우 규칙적인 패턴이 있다는 뜻입니다.

🌊 "조수 간만의 차이" 비유

이 현상을 바다에 비유해 볼까요?

• 하루 주기 (일일 리듬): 하루 중 특정 시간 (예: 낮 12 시) 에는 AI 가 가장 잘하고, 밤에는 조금 둔해집니다.
• 일주일 주기 (주간 리듬): 하지만 이 '하루의 리듬'이 평일과 주말에 따라 모양이 다릅니다.
  • 평일: 사람들이 많이 일하는 시간대에 AI 서버에 접속자가 몰려서, AI 가 조금 지쳐서 (또는 서버 부하로 인해) 성능이 떨어질 수 있습니다.
  • 주말: 접속자가 줄어들면 AI 가 더 여유로워져서 성능이 좋아질 수도 있습니다.

이 두 가지 리듬이 서로 섞여서 (평일의 낮 12 시 vs 주말의 낮 12 시) 매우 복잡한 성능의 파도를 만들어낸 것입니다.

4. 왜 이런 일이 일어날까? (서버의 숨은 이야기)

AI 는 혼자 있는 게 아니라, 거대한 데이터 센터라는 서버에서 돌아갑니다.

• 사람들의 사용 패턴: 사람들이 출근하고 학교에 가는 평일 낮에는 AI 사용량이 폭증합니다.
• 서버의 대응: 서버가 너무 바빠지면, 속도를 늦추거나 (지연 시간 증가), 처리 방식을 간소화하여 (압축 등) 많은 사람이 동시에 쓸 수 있게 합니다.
• 결과: 이 과정에서 AI 가 내놓는 답변의 질이 미세하게 떨어지거나 변할 수 있습니다. 마치 혼잡한 지하철에서 사람이 많을 때 대화의 질이 떨어지는 것과 비슷합니다.

5. 이 발견이 우리에게 주는 경고 (중요한 점)

이 연구는 AI 를 연구하거나 업무에 사용할 때 다음과 같이 조심해야 한다고 말합니다.

1. 단순한 한 번의 테스트는 믿지 마세요: 만약 어떤 연구자가 월요일 아침에만 AI 를 테스트했다면, 그 결과가 AI 의 '진짜 실력'일지, 아니면 '평일 아침의 컨디션'일지 알 수 없습니다.
2. 편향된 결론의 위험: 특정 시간대에만 데이터를 모으면, AI 가 실제로는 못 하는 일을 잘하는 것처럼 보이거나, 그 반대의 오해를 할 수 있습니다.
3. 해결책: AI 의 능력을 정확히 평가하려면 일주일 내내, 그리고 하루 종일 다양한 시간에 걸쳐 테스트를 반복해야 합니다. 마치 사람의 건강을 볼 때 아침에만 측정하지 않고, 일주일 동안 여러 번 측정하는 것과 같습니다.

6. 결론: AI 는 완벽한 기계가 아니다

이 논문은 **"AI 는 시간과 환경에 따라 컨디션이 변하는 살아있는 존재처럼 행동한다"**는 것을 증명했습니다.

• 비유: AI 는 마치 매일 다른 기분을 가진 예술가와 같습니다. 어떤 날은 명작을 그리고, 어떤 날은 조금 실수할 수 있습니다. 우리는 그 예술가의 '평균적인 실력'을 알기 위해, 그가 가장 좋은 날이나 나쁜 날이 아닌, 일주일 내내 다양한 시간에 작품을 보여줄 때 그 진가를 판단해야 합니다.

이 연구는 앞으로 AI 를 더 신뢰하고 정확하게 사용하려면, 언제 (시간대) 에 물어보느냐가 무엇을 물어보느냐만큼 중요하다는 사실을 일깨워줍니다.

기술 요약

논문 요약: 대형 언어 모델 (LLM) 의 일별 및 주별 주기성 성능 변동

1. 연구 배경 및 문제 제기 (Problem)

• 가정: LLM 을 연구 도구로 사용하거나 연구 대상으로 삼는 대부분의 연구는, 모델 스냅샷, 하이퍼파라미터, 프롬프트가 고정된 조건에서 LLM 의 성능이 **시간에 불변 (time-invariant)**하다고 가정합니다. 즉, 동일한 조건에서 언제 질문하든 평균 출력 품질이 일정하다고 믿습니다.
• 문제: 이 가정은 신뢰성, 타당성, 재현성을 위협할 수 있습니다. 만약 LLM 성능이 시간 (하루, 일주일 등) 에 따라 체계적으로 변동한다면, 특정 시점의 측정만으로는 모델의 실제 능력을 왜곡하여 평가할 수 있으며, 연구 결과의 재현성이 저해될 수 있습니다.
• 목표: 고정된 조건 하에서도 LLM 성능이 시간적 주기성 (주기적 변동) 을 보이는지 실증적으로 검증하고, 그 변동이 연구에 미치는 영향을 규명하는 것.

2. 연구 방법론 (Methodology)

• 대상 모델: GPT-4o (스냅샷: gpt-4o-2024-08-06).
• 작업 (Task): 독일 물리 올림피아드 중간 난이도 문제 (다중 선택형 전기 회로 문제).
• 실험 설계:
  • 기간: 2025 년 8 월 5 일부터 10 월 31 일까지 약 3 개월.
  • 빈도: 3 시간마다 10 회씩 총 6,930 회 쿼리 수행.
  • 조건: 고정된 온도 (Temperature=1), 동일한 프롬프트 (시스템 및 사용자 프롬프트), 동일한 모델 스냅샷.
  • 평가: 각 답변을 0(점수 없음) 에서 1(만점) 사이의 정규화된 척도로 평가 (0.25 간격).
• 데이터 분석 기법:
  • 시계열 분석: OLS 회귀를 통해 장기적인 성능 추세 (Drift) 확인.
  • 푸리에 분석 (Fourier Analysis): Welch 방법과 Hann 윈도우를 적용한 고속 푸리에 변환 (FFT) 을 사용하여 시간 계열 데이터의 주파수 영역에서 지배적인 주기성 성분을 식별.
  • 통계적 유의성: 1,000 회 반복의 비모수적 순열 검정 (Permutation test) 을 통해 주파수 스펙트럼의 피크가 통계적으로 유의미한지 확인.

3. 주요 결과 (Key Results)

• 성능 변동성: 전체 평균 정확도는 0.632 (SD=0.260) 였으나, 시간에 따른 체계적인 추이는 관찰되지 않았습니다.
• 주기적 변동 발견:
  • 푸리에 분석 결과, 총 분산의 약 **20.3%**가 통계적으로 유의미한 주기적 성분에 기인하는 것으로 나타났습니다.
  • 일일 및 주일 리듬의 상호작용: 24 시간 (일일) 리듬이 7 일 (주일) 주기에 의해 변조 (Modulation) 되는 패턴이 관찰되었습니다.
  • 스펙트럼 피크:
    • 약 7.3 일과 5.5 일 주기의 피크 (주간 주기성).
    • 24 시간 정밀 피크는 없었으나, 21.0 시간과 30.9 시간 부근의 피크가 관찰됨. 이는 일일 리듬이 주간 주기에 의해 변조될 때 발생하는 측대역 (Sidebands, $f_d \pm f_w$) 현상과 일치합니다.
    • 9.6 시간과 8.6 시간 주기의 피크는 일일 리듬의 고조파 (Harmonics) 가 주간 주기에 의해 변조된 것으로 해석됨.
• 변동 규모: 주기적 구조만으로 성능 점수 (0~1) 에서 최대 0.139 단위 (전체 범위의 약 14%) 의 피크 - 투 - 피크 (peak-to-peak) 변동을 유발했습니다.
• 시각화: 요일별 (월~일) 및 시간대별 (3 시간 간격) 히트맵을 통해 요일에 따라 시간대별 성능 패턴이 달라지는 상호작용 효과가 명확히 확인되었습니다.

4. 연구의 공헌 및 기여 (Key Contributions)

1. 시간 불변성 가정의 반증: 고정된 조건에서도 LLM 성능이 시간 (하루, 일주일) 에 따라 체계적으로 변동한다는 최초의 장기적 실증 증거를 제시했습니다.
2. 변동 원인 가설: 서버 부하 (Server Load) 관리 전략 (예: 트래픽이 많은 시간대의 입력 압축, 모델 양자화, 추론 엔진 최적화 등) 이 성능 저하로 이어져 이러한 주기적 패턴을 생성했을 가능성을 제시했습니다.
3. 연구 방법론적 제안: LLM 기반 연구의 신뢰성을 높이기 위해 다음과 같은 샘플링 전략을 제안했습니다.
   • 최소 1 주일 이상 (관찰된 가장 긴 주기) 에 걸친 데이터 수집.
   • 균등한 간격 (최소 일일, 이상적으로 시간 단위) 의 샘플링.
   • 각 시간점에서의 다중 반복 (Stochasticity 감소).
   • 변동성 측정치 보고 및 불확실성 전파.

5. 의의 및 함의 (Significance)

• 연구 재현성 위기: 특정 시간대 (예: 업무 시간대 또는 주말) 에만 데이터를 수집한 기존 연구들은 모델의 실제 평균 능력을 과대 또는 과소 평가했을 가능성이 높습니다. 이는 연구 결과의 타당성과 재현성을 위협합니다.
• 연구 도구로서의 LLM 위험: LLM 을 코딩 (Qualitative Coding) 이나 데이터 추출 도구로 사용할 때, 시간적 변동이 연구 결과에 체계적인 편향을 일으킬 수 있습니다.
• 인간과의 차이: 인간의 인지 능력도 생체 리듬에 따라 변동하지만, 인간은 메타인지 (자기 모니터링) 를 통해 이를 인지하고 조절할 수 있는 반면, LLM 은 자신의 성능 변동을 스스로 감지하거나 보상할 수 없다는 근본적인 차이가 있습니다.
• 향후 방향: 로컬 호스팅 모델 (서버 부하 영향 없음) 과 클라우드 모델의 비교 연구, 다양한 도메인에서의 주기성 검증, 그리고 에너지 소비와 같은 환경적 고려사항을 포함한 효율적인 실험 설계가 필요합니다.

결론적으로, 이 논문은 LLM 연구자들이 성능 평가 시 '시간'이라는 변수를 통제하지 않으면 신뢰할 수 있는 결론을 도출하기 어렵다는 점을 강력하게 경고하며, 향후 LLM 연구 설계에 있어 시간적 주기성을 반드시 고려해야 함을 시사합니다.