The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

この論文の解説：AIは一部の戦争に対して「盲目」である

大きなアイデア：AIは一部の戦争に対して「盲目」である

あなたが嵐がいつ悪化するかを予測しようとしている場面を想像してください。あなたには2つのツールがあります。

1. 超知能を持つ気象予報士（LLM）： これまでに書かれたあらゆる新聞、本、ウェブサイトを読み込んできました。歴史や地理に関するあらゆる知識を持っています。
2. 単純な雨量計（ロジスティック回帰）： 自分が「どこ」にいるのか、あるいは「誰」が関わっているのかを知りません。ただ、今現在の水位と、ここ数日間の水位だけを見ています。

この論文は問いかけています：どちらが嵐を予測するのに優れているか？

衝撃的な答えは：単純な雨量計の勝利です。 超知能を持つ予報士は無残にも失敗しました。しかし、それはAIが「馬鹿」だからではありません。AIが、非常に偏ったニュースという「食事」を与えられて訓練されたために失敗したのです。

問題点：「ニュース・ダイエット」によるバイアス

研究者たちは、2020年から2026年の間に紛争が発生していた22の異なる場所を調査しました。彼らは、それぞれの場所で英語のニュースがどれだけ報じられているかと、実際にどれだけの戦闘が行われているかを比較しました。

• 「VIP」ゾーン： イスラエルやウクライナのような場所は、膨大な注目を集めています。たった一度の戦闘に対して、数十ものニュース記事が存在します。
• 「忘れられた」ゾーン： ミャンマーやコンゴ民主共和国のような場所は、ほとんど注目されません。一つの戦闘に対して、記事は1つに満たないこともあります。

その差： 報道量には224倍の差があります。最も多く報じられている場所は、最も報じられていない場所よりも、戦闘1回あたりのニュース量が224倍多いのです。

大規模言語モデル（LLM）は、この英語のニュースに基づいて訓練されているため、彼らが持つ「世界のメンタルマップ」は完全に歪んでいます。彼らはVIPゾーンについては熟知していますが、忘れられたゾーンについてはほとんど何も知りません。

実験：次の戦闘を予測する

研究者たちは、2つの有名なAIモデル（Llama-3.3とGPT-4o）に対し、これら22カ国において、来月暴力の激化が進むかどうかを予測するよう求めました。彼らはAIにデータを与えませんでした。単に「国名」と「日付」だけを与えたのです。これは「ゼロショット」テストと呼ばれ、AIが訓練中に記憶した内容のみに頼らなければならないテストです。

彼らはAIを以下のものと比較しました：

1. 「常にイエス」というベースライン： すべての国に対して「はい、悪化します」と答える人。
2. 「単純な数学」というベースライン： 国名を完全に無視して、過去数週間の戦闘数という数字だけを見るコンピュータプログラム。

結果：AIはマンネリに陥っていた

結果は、AIがある場所では「まあまあ」、別の場所では「素晴らしい」といった、滑らかなグラデーションにはなりませんでした。代わりに、AIは2つの明確で奇妙な挙動に分かれました。

1. 「パニックボタン」型AI（Llama）

• 失敗した場所： 「忘れられた」ゾーン（報道が少ない地域）。
• 取った行動： すべてのケースにおいて「はい、暴力は激化します」と予測しました。
• 例え話： 特定の近所のことを全く知らない警備員を想像してください。彼は「あそこでは悪いことが起きる」という噂を聞いているため、あらゆる事象を犯罪だと決めつけてしまいます。彼は通りを歩くすべての人に対して「警報！」と叫びます。
• 結果： 彼はすべての本当の緊急事態を捉えましたが（再現率100%）、同時に無実の人々に対しても叫び続けました。彼のパフォーマンスは、「常にイエス」と答える人と全く同じでした。彼は予測を行っていたのではなく、単にその国を「混沌とした場所」として分類していたのです。

2. 「否定」型AI（GPT-4o）

• 失敗した場所： 「VIP」ゾーン（報道が多い地域）。
• 取った行動： たとえ戦闘が急増していても、すべてのケースにおいて「いいえ、暴力は激化しません」と予測しました。
• 例え話： 同じ嵐を10年間見続けている気象予報士を想像してください。彼は「これは前にも見た。ただの背景ノイズだ」と考えます。風が強まっていることに気づかず、「大丈夫だ」と言い放ちます。
• 結果： 彼はすべての本当の激化を見逃しました（再現率0%）。自分の「世界知識」に自信を持ちすぎていたため、実際の危険を無視してしまったのです。

逆転劇：AIにデータを与えると、かえって悪化した

研究者たちは、「もしかしたら、AIにはもっと事実が必要なのかもしれない」と考えました。そこで、彼らはAIに、過去3ヶ月間の実際の戦闘数（構造化された証拠）を含む成績表を与えました。

• 何が起きたか？ AIの成績は悪化しました。
• なぜか？ AIはその数字を読もうとしましたが、その「脳」は依然として古い習慣に縛り付けられていました。
  • 「忘れられた」ゾーンでは、数字を見たことで「パニックボタン」型AIが混乱し、精度が低下しました。
  • 「VIP」ゾーンでは、「否定」型AIは依然として数字を信じようとしませんでした。
• 勝者： **「単純な数学」のベースライン（雨量計）**が依然として勝利しました。それは国名やニュースの報道量などには一切関心がありませんでした。ただ数字を見て、「水位が上がったなら、嵐は激しくなっている」と判断したのです。それはAIよりも2.4倍多く正解を出しました。

結論：問題はデータではなく、バイアスである

この論文は、問題はAIにデータが不足していることではないと結論付けています。問題は、AIがその国に基づいてデータをどのように解釈するかにあります。

• 「忘れられた」場所に対して： AIは「混沌がデフォルトの状態である」と想定します。
• 「VIP」に対して： AIは「安定がデフォルトの状態である」と想定します。

AIは「予測（信号に基づいて未来を予測すること）」をしているのではなく、「分類（訓練データに基づいて国をラベル付けすること）」をしているのです。

実生活への教訓

もしあなたが、忘れられた紛争地帯で命を救おうとしている人道支援ワーカーであるなら：

1. AIの「直感」を信じてはいけません。 AIはおそらく、すべてに対して「はい、状況は悪いです」と答えるだけであり、それは役に立ちません。
2. もっと多くのニュース記事を与えれば解決すると考えてはいけません。 それは単にAIを混乱させる可能性があります。
3. 単純なツールの方がうまく機能します。 最近の出来事の数を追跡するだけの基本的なシステムの方が、インターネット中のあらゆる知識を読み込んだ超知能AIよりも、実際には信頼できるのです。

この論文は、AIの新しいテスト方法を求めています。私たちは単に「AIは賢いか？」と問うべきではありません。「そのAIは、特定の国に対して賢いのか？」と問うべきです。なぜなら、現在のAIは、ある場所に対しては賢く、ある場所に対しては盲目だからです。