ロボットにパズルを解く方法を教えているところを想像してみてください。人工知能の世界では、これらのロボットは「大規模言語モデル（LLM）」と呼ばれています。彼らは、図書館にあるほぼすべての本を読み終えた、非常に熱心な学生のようなものです。物語を書いたり、コードのバグを取り除いたり、高校の教科書に出てくるような数学の問題を解いたりすることに長けていることで有名です。しかし、ここに落とし穴があります。たとえ学生が練習テストで「A」を取れたとしても、それがゲームのルールを本当に理解していることを意味するわけではありません。もしテストがほんの少し変わっただけで――例えば、数字を一つ増やしたり、言葉の順番を入れ替えたりしただけで――その学生は突然パニックに陥り、奇妙で予測不可能な形で失敗してしまうかもしれません。科学者たちはこれを「脆さ（brittleness）」と呼んでいます。それは、完璧に見えるものの、そよ風が吹いただけで崩れてしまうカードの家のようなものです。

なぜこのようなことが起こるのかを理解するために、研究者たちはこれらのモデルがどのように新しいスキルを「学習」するかを調査しています。通常、私たちは彼らが人間のように学習することを期待します。つまり、次のレベルに進む前に、ステップ・バイ・ステップで強固な基礎を築いていくことです。例えば、足し算を学ぶとき、人間は一番端（一の位）から始めて、繰り上がり（数字が一つに収まりきらなくなった場合）を処理し、それから十、百の位へと進む方法を学びます。これは論理的で階層的な考え方です。しかし、もしロボットが全く異なる順序でルールを学んだとしたらどうでしょう？ もし、大きな恐ろしい数字を先に学び、小さな数字を後回しにしたり、あるいはすべてを一度に学ぼうとしたりしたら？ この論文は、その謎を解明するために、シンプルな数学パズルを用いて、これらのデジタルな脳が実際にどのようにスキルを成長させているのかを観察し、彼らが人間のような理解とは異なる、ショートカット（近道）を取っている可能性を明らかにしています。

---

砕け散ったパズル：AIがいかに数学を逆さまに学ぶか

この研究において、ウィスコンシン大学マディソン校の研究者たちは、推測をやめて「観察」することに決めました。彼らは、単純な合成算術タスク（基本的には数字の足し算や掛け算を何度も練習させること）を用いて、小さな単純なAIモデル（トランスフォーマーと呼ばれるもの）を訓練しました。しかし、単に最後に正しい答えが出ているかどうかを確認するのではなく、桁（けた）ごとに、スローモーションで学習プロセスを観察したのです。彼らは、モデルがどのようにルールを解明していくのかを知りたかったのです。

彼らが発見したのは、まるで子供が靴紐から始めて、その後でつま先がどこに行くのかを理解しようとしている様子を見ているかのようでした。研究者たちは、これらのAIモデルが人間のように数学を学んでいないことを発見しました。下から上へ（一の位から）積み上げていくのではなく、モデルはしばしば最も高い桁から学習していたのです。

例えば、4つの大きな数字を足している場面を想像してください。人間なら一の位を見て、それらを足し合わせ、余った分を十の位に繰り越し、といった具合に進めます。しかし、AIは最初、一の位を完全に無視しているようでした。AIは千の位や百の位に集中し、それらの桁を完璧に学習しましたが、一の位は混乱したままでした。それはまるで、モデルが個々のアイテムがいくつあるかを知る前に、まず山全体の大きさを推測しようとしているかのようでした。研究者たちは、この現象を**「砕け散った構成性（shattered compositionality）」**と呼んでいます。これは、モデルがカードの家を作ろうとしているものの、屋根を地面の上に積み上げ、土台が後から追いつくことを期待している状態を意味します。

「相関関係」というショートカット

なぜ、これほど賢いAIがこれほど愚かなことをするのでしょうか？ 論文は、その答えがAIのトレーニングデータの見方に隠されていると示唆しています。人間は、「これとこれを足すと10になるから、1を繰り越さなければならない」という原因と結果を理解することで数学を学びます。しかし、AIは「統計的なマッチング」というゲームをしているようです。AIはデータを見て、「どの数字が通常一緒に現れるのか？」と問いかけます。

研究者たちは、答えの最も高い桁は、下の桁で何が起きていようとも、入力された数字の最も高い桁と強く結びついていることが多いことを発見しました。それは強力で、見つけやすいパターンです。AIは、この最も分かりやすい信号があるために、この簡単なパターンに真っ先に飛びつくのです。それは、容疑者の車を見ただけで、他の手がかりをすべて無視して「赤い車を持っているから有罪だ」と即座に断定する探偵のようなものです。AIは、最も見つけやすい相関関係である「赤い車」のルール（高い桁）を最初に学びます。そして、高い桁をマスターした後になってようやく、低くて複雑なルールを理解しようとするのです。

これを証明するために、研究者たちは「サボタージュ（妨害）」実験を行いました。彼らはトレーニングデータの千の位の数字を入れ替え、ランダムにしました。すると突然、AIは低い桁を全く学習できなくなりました。動けなくなったのです。これは、AIが論理的な順序で数学のルールを学んでいたのではなく、残りのパズルを解くために高い桁に依存していたことを証明しました。高い桁がなければ、学習プロセス全体が崩壊してしまったのです。

並行学習の混沌

AIが複数のスキルを同時に学ぼうとすると、問題はさらにややこしくなります。数字の並べ替えや比較のようなタスクにおいて、AIは異なるルールを並行して学ぼうとします。それは、自転車に乗ること、ジャグリング、ピアノを弾くことを同時に学ぼうとしている学生のようなものです。時には、これらのスキルが互いに邪魔をし合うことがあります。

研究者たちは、AIがこれらのスキルを同時に学習すると、「混合エラー（mixing errors）」が発生することを発見しました。名前のリストを並べ替えている場面を想像してください。人間なら、まず名前の長さをチェックし、次に最初の文字、次に2番目の文字を確認します。しかし、AIは混乱する可能性があります。例えば、ある名前の最初の文字と別の名前の最後の文字を組み合わせて、全く新しいデタラメな単語を作り出してしまうかもしれません。論文では、これらを「混合エラー」と呼んでいます。それは、玉ねぎのみじん切りと人参のみじん切りを別々に学んだシェフが、サラダを作ろうとした時に、誤って玉ねぎのボウルに人参を、人参のボウルに玉ねぎを入れてしまい、奇妙で食べられない混合物を作ってしまうようなものです。

この並行学習は、脆弱なシステムを生み出します。もしAIに対して、トレーニングで見たものと少し異なる問題（例えば、リストに数字を一つ増やすなど）を解かせると、AIはしばしば崩壊します。並行して学んだスキル同士が衝突し始め、モデルは入力された情報の支離滅裂な混ぜ合わせを出力してしまうのです。

より大きく、より賢くなれば解決するのか？

あなたはこう思うかもしれません。「なるほど、小さなモデルが混乱しているだけかもしれない。ニュースで見かけるような、巨大で超強力なAIモデルならどうだろうか？ あるいは、人間のように思考を書き留めるための『メモ帳（scratchpad）』を与えたらどうだろうか？」

研究者たちは、これもテストしました。彼らはより大きなモデル（最大1億パラメータ）を訓練し、さらに大規模な事前学習済みモデル（Pythia-1B）をこれらの数学タスクに合わせて微調整（ファインチューニング）しました。また、モデルが最終的な答えを出す前に、数学の問題のステップを書き出せる「メモ帳」を与える試みも行いました。

結果はどうだったでしょうか？ 何も変わりませんでした。

巨大なモデルであっても、数字を間違った順序で学習していました。メモ帳を与えられたモデルであっても、依然として高い桁を優先し、低い桁に苦戦していました。メモ帳はモデルが正解に到達するスピードを早めるのには役立ちましたが、根本的な学習スタイルを修正することはありませんでした。モデルは依然として、真のステップ・バイ・ステップの論理を学ぶのではなく、「相関関係のショートカット」を取っていたのです。これは、AIを大きくしたり、より多くのツールを与えたりするだけでは、自動的に人間のように考えさせられるわけではないことを示唆しています。この「砕け散った構成性」は、単に特定の小さなモデルのバグではなく、これらのモデルがデータから学習する際の根本的な癖であるようです。

まとめ

この論文は、AIが驚異的な能力を持ちながらも、根本的には私たちとは異なっているという姿を描き出しています。AIは人間のような数学を解くことができますが、それは人間とは異なる内部ルールで行われています。それは論理的でステップ・バイ・ステップのアルゴリズムに従っているのではなく、統計的なパターンの地図に従っているのです。そのパターンが完璧であれば、AIは輝きます。しかし、パターンが少しでも変化すると――問題が少し違ったり、データが乱れていたりすると――AIの「砕けた」学習スタイルによって、つまずきが生じます。

研究者たちは、AIが壊れているとか役に立たないと言っているわけではありません。彼らは、AIをより信頼するためには、その「学習の仕組み」を理解する必要があると述べているのです。もし私たちが、問題が完璧ではなく、常にデータが変化する現実世界においてAIを信頼できるものにしたいのであれば、AIに、混沌とした並行学習ではなく、安定した人間のような階層構造に基づいてスキルを構築する方法を教える方法を見つけなければなりません。それまでは、これらのデジタルな学生に、練習したものとは少しだけ異なる問題を解かせる際には、注意が必要かもしれません。