Daily and Weekly Periodicity in Large Language Model Performance and Its Implications for Research

この論文は、GPT-4o の性能が固定条件下でも時間的に不変ではないことを示し、3 ヶ月にわたる長期調査で日次および週次の周期性が検出されたことから、LLM を用いた研究における再現性と信頼性の再考を促すものである。

要約

この論文は、「AI（特に大規模言語モデル）の性能は、いつ使っても同じだ」という思い込みが、実は間違っているかもしれないという驚くべき発見について書かれています。

専門用語を排し、日常の例えを使ってわかりやすく解説しますね。

🍳 料理の味は「曜日」や「時間」で変わる？

想像してみてください。あなたが毎日同じレストランで、同じメニュー（例えば「ハンバーグ」）を注文しているとします。

• いつもの常識： 「同じシェフ、同じレシピ、同じ材料なら、味はずっと一定のはずだ」と思いますよね。
• この研究の発見： 「実は、『平日の昼間』と『週末の夜』では、同じハンバーグの味が微妙に違うことがあった！」というのです。

この研究では、AI（GPT-4o）に「物理の問題」を 3 時間おきに、約 3 ヶ月間、延々と解かせ続けました。そして、その答えの正解率を記録しました。

🔍 発見された「リズム」

分析の結果、AI の性能には**「1 日（24 時間）」と「1 週間（7 日）」のリズム**が隠れていることがわかりました。

• 1 日のリズム： 朝、昼、夜で性能が上下する。
• 1 週間のリズム： 平日と週末で、その「1 日のリズム」の形自体が変わる。

これらは単純に足し算されるのではなく、「平日の昼間のリズム」と「週末の夜のリズム」が複雑に絡み合っている状態でした。
この変動は、AI の回答のばらつきの約**20%**を占めるほど大きなものでした。つまり、AI の成績の 5 分の 1 は「いつ質問したか」によって決まってしまうのです。

🌪️ なぜこんなことが起きるの？（原因の仮説）

なぜ同じ AI が、時間によって性能が変わるのでしょうか？

これは、**「混雑するスーパーマーケット」**に例えるとわかりやすいかもしれません。

1. 混雑（サーバー負荷）： 多くの人が同時に AI を使おうとする時間帯（例えば平日の昼間）は、サーバーがパンクしそうです。
2. 対策（負荷分散）： サービス提供者は、混雑を避けるために「クイック対応」を取ることがあります。
   • 質問を短くする（要約する）。
   • 計算を簡略化する（精度を少し下げて速く返す）。
   • 別のサーバーに回す。
3. 結果： この「時短対策」が、AI の答えの質を微妙に落としてしまうのです。

つまり、**「AI が疲れている」のではなく、「AI を動かすシステムが混雑して、無理やり効率化しているから」**性能が揺らぐのではないか、というのがこの論文の仮説です。

⚠️ 研究者への警鐘：「いつ」測るかが重要

この発見は、AI を研究に使っている人々にとって大きな問題です。

• もし、ある研究チームが「火曜日の朝だけ」に AI にテストをさせた場合：
  その日の AI はたまたま調子が良かった（あるいは悪かった）かもしれません。
• 別のチームが「土曜日の夜」に同じテストをしたら：
  結果が全く違う出たかもしれません。

これでは、**「再現性（同じ条件で同じ結果が出る）」**が保証されません。
「AI はいつでも同じ」という前提で論文を書くと、実は「その時間帯だけの偶然の結果」を「AI の能力」として報告してしまっている危険性があるのです。

💡 私たちができること（対策）

では、どうすればいいのでしょうか？

1. 時間を分散させる： 実験をするなら、1 週間中、朝・昼・夜、平日・週末とまんべんなく時間をかけてデータを集めること。
2. 繰り返し行う： 一度きりではなく、何度も試して平均値を出すこと。
3. 不安定さを認める： 「AI の答えは、いつ測るかによって少し変わるかもしれない」という不確実性を、研究結果に含めて報告すること。

🎭 人間との違い

面白いことに、人間も「朝は元気、夜は疲れる」というリズムがありますが、人間は「今、疲れているな」と自分で気づいて調整できます。
しかし、AI は**「自分が今、性能が落ちていることに気づくことができません」**。システムが混雑して質が落ちても、AI 自身は「いつもの調子だ」と思い込んで答えを出し続けてしまいます。

まとめ

この論文は、**「AI は魔法の箱ではなく、時間や混雑の影響を受ける生きたシステム」**であることを教えてくれました。

AI を使うときは、「いつ使うか」も重要な要素の一つとして意識する必要があります。まるで「天気」や「交通渋滞」を気にして出発時間を決めるように、「AI のパフォーマンスが最も安定する（あるいは知りたい）時間帯」を選んで使うことが、より良い研究や利用につながると言えるでしょう。

技術概要

以下は、Tschisgale と Wulff による論文「Large Language Model Performance and Its Implications for Research（大規模言語モデルの性能における日次・週次周期性とその研究への示唆）」の技術的サマリーです。

1. 研究の背景と課題 (Problem)

大規模言語モデル（LLM）は、研究対象としてだけでなく、研究ツール（例：定性データ分析、文献レビュー）としても広く利用されています。しかし、多くの研究では、**「固定された条件（同じモデルスナップショット、ハイパーパラメータ、プロンプト）下では、LLM の性能は時間的に不変（Time-invariant）である」**という暗黙の仮定が置かれています。

この仮定が成立しない場合、特定の時間帯に収集されたデータに基づく性能評価は偏り、研究の信頼性、妥当性、再現性が損なわれるリスクがあります。既存の証拠は、LLM の性能が時間とともに変動する可能性を示唆していますが、その変動が「日次（24 時間）」や「週次（7 日）」の周期的パターンを持つかどうか、またそのメカニズムは何かについては未解明でした。

2. 研究方法 (Methodology)

本研究は、LLM の性能が時間的に不変であるという仮説を検証するために、長期にわたる縦断的実験を行いました。

• 対象モデル: GPT-4o（スナップショット：gpt-4o-2024-08-06）。
• タスク: ドイツの物理オリンピックから選ばれた中等難度の多肢選択問題（電気回路に関する問題）。
• 実験条件:
  • 固定条件: 温度パラメータ $T=1$、同一のプロンプト（システムプロンプトおよびユーザープロンプト）、同一のモデルスナップショット。
  • データ収集: 2025 年 8 月 5 日から 10 月 31 日（約 3 ヶ月）にかけて、3 時間ごとに 10 回ずつクエリを実行。
  • 総データ量: 合計 6,930 件の有効なレスポンス。
• 評価指標: 正解率を 0（得点なし）から 1（満点）まで 0.25 刻みでスコアリング。
• 分析手法:
  1. 記述統計: 時系列データの傾向（ドリフト）を確認。
  2. フーリエ解析（スペクトル分析）: 高速フーリエ変換（FFT）とウェルチ法（Welch's method）を用いて、時系列データから支配的な周期的成分を特定。
  3. 統計的有意性: パーミュテーション法（置換検定）を用いて、観測されたピークが偶然によるものではないことを確認。

3. 主要な結果 (Key Results)

A. 時間的ドリフトの欠如と周期的変動の存在

• 線形回帰分析により、3 ヶ月間の性能に系統的な増減（ドリフト）は見られませんでした（$p=0.303$）。
• しかし、時系列データには明確な周期的変動が存在しました。

B. 日次と週次の相互作用（乗法的プロセス）

フーリエ解析により、以下の周期的ピークが統計的に有意に検出されました：

• 週次成分: 約 7.3 日および 5.5 日のピーク。
• 日次成分の側帯波（Sidebands）: 24 時間（1 日）のピークは単独では見られず、代わりに21.0 時間および30.9 時間のピークが観測されました。
  • これは、24 時間周期の日次リズムが、7 日周期の週次リズムによって**乗法的に変調（Modulation）**されていることを示唆しています（$f = f_{daily} \pm f_{weekly}$）。
  • 具体的には、平日と週末で 1 日以内の性能変動パターンが異なることを意味します。
• 高調波: 9.6 時間および 8.6 時間のピークも検出され、これらは非正弦波の日次リズムの高調波が週次周期で変調された結果と考えられます。

C. 変動の規模

• 観測された全分散のうち、約 20.3% がこれらの周期的成分によって説明されました。
• 周期的構造のみによるピーク・トゥ・ピークの変動幅は、スコア範囲（0-1）の約14%（0.139 単位）に達しました。これは、単なるノイズではなく、実質的に意味のある変動です。

4. 考察と示唆 (Discussion & Significance)

研究への影響

1. 再現性と妥当性の脅威:

   • 特定の時間帯（例：平日の昼間のみ）でデータ収集を行うと、モデルの「真の平均性能」を過大評価または過小評価するバイアスが生じます。
   • LLM を研究ツール（例：コーディング、アノテーション）として使用する際、収集期間が偏っていると、結果がモデルの時間的変動を反映し、データそのものの特性を歪める可能性があります。

2. 原因の推測:

   • 周期性は、サーバーの負荷（Server Load）と関連している可能性が高いです。平日の稼働時間や夜間・週末の負荷変動に対し、プロバイダーがレイテンシ制御のために負荷分散や推論効率化（モデル圧縮、入力圧縮など）を行うことで、出力品質が周期的に変動していると考えられます。

3. 今後の研究への提言:

   • サンプリング設計: 信頼性の高い評価を行うためには、少なくとも1 週間（最も長い周期）またはその倍数にわたってデータを収集すべきです。
   • サンプリング間隔: 理想的には時間単位でのサンプリングを行い、1 日あたり複数回の反復測定を行うことで、確率的なノイズと時間的変動を区別する必要があります。
   • 報告義務: 研究者は、性能推定値のばらつきを報告し、下流の分析においてその不確実性を伝達する必要があります。

人間との比較

人間も日内リズムや週次リズムによって認知パフォーマンスが変動しますが、人間はメタ認知を通じて自身の状態を監視・調整できます。一方、LLM は自身の性能変動を内部で検知・補正する能力を持たないため、この「時間的変動」はシステム外部からの要因としてのみ管理可能です。

5. 結論

本研究は、固定条件下であっても LLM の性能が日次および週次の周期的パターンに従って変動することを実証しました。この変動は統計的に有意であり、研究の信頼性と再現性に重大な影響を及ぼします。LLM を用いた研究においては、データ収集の「時間的サンプリング」を慎重に設計し、時間的バイアスを最小化する新たな標準が求められます。