あなたは、ロボットに賑やかな街の風景を描く方法を教えようとしていると想像してください。あなたは、その通りの昼間の写真を何千枚もロボットに見せ、ロボットは車や歩行者、信号機を完璧に描けるようになりました。しかし、夜の同じ通りを描くように頼むと、ロボットは無残に失敗します。ロボットは街灯を描く代わりに太陽を描き続け、人々がコートを着ていることも忘れてしまいます。これは「分布ドリフト（distribution drift）」という問題です。世界は変化しているのに、ロボットの学習データは過去に留まったままなのです。

この論文は、「テンポラルグラフ（temporal graphs）」という、より高度でテクニカルなバージョンのこの問題に取り組んでいます。グラフを単なるチャートとしてではなく、ある一瞬におけるソーシャルネットワークや通信システムの「スナップショット」だと考えてください。「テンポラルグラフ」とは、これらのスナップショットで作られた「映画」のようなものであり、時間の経過とともに接続がどのように形成され、壊れていくかを示しています。科学者たちは、前のフレームに基づいて次のフレームを予測するために、特別なAIモデルを使用します。大きな疑問は、もしAIが物語の前半部分のルールを学んだとしても、物語が突然変わった場合に、後半部分を予測できるのか？ ということです。もしできないのであれば、新しいフレームが到着するたびにそれを「観察」して、AIに「おい、ルールが変わったぞ、描き方を調整しろ！」と伝えることはできるのでしょうか？

天津大学と杭州電子科技大学のチームによるこの論文の著者たちは、驚くべき、そしてやや失望させるような答えを出しています。彼らは、これらの特定のタイプのAIモデルにおいて、新しいデータが到着するのをただ見て、見たものに基づいてモデルを修正しようとすることは、数学的にうまく行うことが不可能であることを証明しました。彼らは、AIが古いタスクを完璧にしようとすればするほど、新しいタスクに対して性能が悪化することを明らかにしました。そして、「過去を見る」ことでは未来を解決できないことを示しました。

「シャープニング・ドリフト（Sharpening-Drift）」の罠

研究者たちは、「シャープニング・ドリフトの緊張関係（sharpening-drift tension）」と呼ぶ奇妙なトレードオフを発見しました。あなたが1920年代の歴史の試験に向けて勉強している学生だと想像してください。あなたがその年代の詳細を完璧に暗記するほど猛勉強したとします。しかし、試験の内容が1930年代に変わりました。1920年代について完璧に知れば知るほど、あなたは1930年代に苦戦することになります。

実験において、チームはAIモデルが「学習期間（1920年代）」の予測に優れれば優れるほど、「展開期間（1930年代）」での性能が悪化することを見出しました。それは単に少し悪くなるのではなく、直接的な数学的トレードオフでした。彼らは「べき乗則（power law）」の関係を見出しました。モデルが古いデータに対して一歩改善するごとに、新しいデータに対する性能は著しく低下するというものです。具体的には、誤差の指数が -0.605 であることが測定されました。これは、古いデータの誤差を半分に減らすと、新しいデータの誤差が約1.5倍に跳ね上がることを意味します。モデルは本質的に過去に対して「過学習（overfitting）」しており、古いルールに対して自信を持ちすぎるあまり、新しいルールに対処できなくなっていたのです。

動かない「エラーフロア（Error Floor）」

通常、AIが間違いを犯したとき、私たちは計算能力を増やしたり、もっと長く「考えさせる」（「サンプリング予算（sampling budget）」を増やすプロセス）ことで解決できると考えがちです。AIが1ステップではなく50ステップかけて絵を描けば、真実にずっと近づけるのではないかと期待するかもしれません。

しかし、この論文は、データにドリフトがある場合にはこれが機能しないことを示しています。研究者たちは、AIの誤差には、どれだけ手間をかけても突き破ることのできない「フロア（底）」が存在することを発見しました。AIが1ステップで描こうが50ステップで描こうが、新しいデータに対する誤差はほとんど変わりません。努力を50倍に増やしても、誤差の変化は6%未満でした。AIは単に遅いのではなく、追加の努力では修正できない高いレベルの不正確さに陥っているのです。

なぜ「過去を見る」ことが通用しないのか

この論文の最も重要な部分は、「不可能の証明（impossibility result）」です。変化する世界に対する明快な解決策は、「新しいデータが入ってくるのをただ観察し、それがどのように異なっているかを測定して、AIに調整するように伝える」というものです。しかし、著者たちはこの戦略が失敗する運命にあることを証明しました。

彼らは2種類の「補正器（correctors）」を比較しました。

1. オラクル（Oracle）： 新しい世界の正確なルールを即座に知っている魔法のような存在。この存在は、エラーの60%を修正できます。
2. オブザーバー（Observer）： 過去のスナップショットだけを見て、新しいルールを推測する普通のAI。

研究者たちは、オブザーバーが決してオラクルに近づくことはできないことを数学的に証明しました。新しいデータは「高速な平均回帰型のランダムウォーク（fast mean-reverting random walk）」のように振る舞います。酔っ払いが家に帰る様子を想像してください。彼らは左にふらつき、次に右へ、また左へとよろめきます。もし、2ステップ前の位置に基づいて次のステップを予測しようとしても、次のステップは（ドリフトそのものと同じくらい大きな）全くの予想外の動き（「イノベーション」）であるため、おそらく間違えるでしょう。

データは、ネットワークの変化が「平均回帰的（mean-reverting）」であり、「トレンドレス（trendless/傾向がない）」であることを示していました。変化があまりにもランダムで予測不能であるため、履歴を見ても役に立ちません。オブザーバーができる最善の策は、オラクルが修正できるエラーのわずか5.7%を回収することだけでした。

「外挿（Extrapolation）」という間違い

多くの人は、トレンドを見て未来を予測する「外挿（extrapolating）」によってこれを解決しようとします。例えば、ネットワークが先週5%成長したなら、今週も5%成長するかもしれない、といった具合です。論文は、これが「何もしないこと」よりも厳密に悪い結果をもたらすことを示しています。

彼らは、この「トレンド外挿」を、単に直近の観測値を信頼することと比較テストしました。その結果、トレンドを予測しようとすると、AIの予測は、単に「次の一瞬は直前の瞬間と同じである」と仮定する場合よりも、1.27倍から1.51倍も悪化することが分かりました。AIが追おうとしていた「トレンド」は実際には存在せず、データは単なるノイズだったのです。ランダムなノイズの中にトレンドを予測しようとすることは、さらなるエラーを加えるだけになります。

最善かつ最悪の解決策

最後に、チームは新しいデータが到着するたびにAIを「再学習（retrain）」させる（「テスト時適応（Test-Time Adaptation）」と呼ばれる手法）とどうなるかをテストしました。あなたは、「AIが新しいデータに弱いなら、新しいデータを教え込めばいいじゃないか！」と思うかもしれません。

結果は直感に反するものでした。最も単純な修正策、つまり新しいデータに基づいてAIの基本的な確率をわずかに微調整するだけの「マージナル・アンカー（marginal anchor）」が、モデルの本格的な再学習よりも優れた結果を出しました。本格的な再学習は、むしろ状況を悪化させました。なぜでしょうか？ それは、新しいデータが非常に速く、かつランダムに変化しているため、AIが「新しい」ルールを学習し終える頃には、ルールはすでに変わってしまっているからです。重厚な学習は、間違ったターゲットに対してモデルを「過剰に鋭敏化（over-sharpening）」させてしまい、モデルをさらに混乱させてしまうのです。

結論

この論文は、変化するネットワークの未来を予測するAIを構築するすべての人々に、厳しい真実を突きつけています。分布ドリフトを、単に「観察して学ぶ」ことで乗り越えることはできません。数学が証明しているのは、もし世界が高速かつランダムで予測不可能な形で変化する場合、観察に基づく補正（observation-based correction）ではAIのミスを修正できないということです。これを解決する唯一の方法は、「サイド情報（なぜ世界が変化しているのかという理由など）」を持つか、あるいは「過去に対して完璧になろうとしない」モデルを構築することです。それまでは、AIが高いエラーフロアに突き当たることを受け入れ、動く標的に向かって無理に学習を強いるのを止めるのが最善の戦略かもしれません。