人工知能の世界を、巨大なロボット（大規模言語モデルと呼ばれます）が読み、書き、推論することを学ぼうとしている、巨大で賑やかな図書館だと想像してみてください。これを行うには、膨大な量の情報を処理する必要があり、それには莫大なエネルギーとメモリが必要です。それは、単一の単三電池でスーパーコンピュータを動かそうとするようなものです。それではうまく機能しません。科学者たちは、これらのロボットをより効率的にするために、より「単純な」数字で考えるように教えることで、彼らをより効率化しようとしてきました。高精度な複雑な小数（例えば、距離を100万分の1ミリメートル単位で測定するようなもの）を使う代わりに、粗い4ビットの数字（例えば、長さをインチ単位で測るようなもの）を使うように試みています。これにより、膨大なスペースとエネルギーを節約できます。しかし、落とし穴があります。ロボットがこれらの粗い数字を使って学習しようとすると、しばしば混乱し、間違いを犯し、学習が完全に止まってしまうのです。それは、地図のルール自体が書き換わり続ける迷路をナビゲートしようとしているようなものです。

これから読む論文は、この特定の混乱に対処しています。論文はこう問いかけます。「なぜ、超単純な数字でAIロボットを教えると、クラッシュしてしまうのか？」著者たちは、問題は単に数字が単純であることではなく、ロボットが「学習を進める（文章を読む）」ときと「学習を逆方向に進める（間違いをチェックする）」ときの、数字の整理の仕方が変わってしまうことにあることを発見しました。それはまるで、ロボットが本を左から右へと読む一方で、ノートをチェックするときには突然、右から左へと読み始め、ページ番号をバラバラにして筋書きを見失ってしまうようなものです。論文は巧妙な解決策を提案しています。ロボットがどちらの方向を見ているとしても、ルールが変わらないような新しい数字の整理方法です。これにより、ロボットは賢さを失うことなく、最も単純な数字を使用しながらも、安定して学習できるようになり、より速く、より安価に学習することが可能になります。

---

大いなる数字のシャッフル：AIのメモリ・グリッチを修正する

あなたは超スマートなAIを作りたいと考えていますが、コンピュータの電力とメモリが不足しています。通常のトリックは、AIに「低精度」の数学を使うよう指示することです。このように考えてみてください。通常、AIは非常に細かい目盛りがある超精密な定規（BF16やFP8など）を使って測定します。しかし、スペースを節約するために、4つの大きな塊のような目盛りしかない定規（FP4）を使いたいと考えています。その方がはるかに速く、場所も取りません。しかし、問題はここにあります。AIがこれらの塊のような目盛りを使って学習しようとすると、しばしば崩壊してしまうのです。AIは突拍子もない推測を始め、学習がクラッシュしてしまいます。

長い間、科学者たちは、問題は単に塊のような目盛りが十分に詳細ではないだけだと考えてきました。彼らは、数字をグループ化し、各グループに共通の「スケール（数値を適合させるために数値を引き伸ばしたり縮めたりする方法）」を与えることで解決しようとしました。これはうまく機能しましたが、メディ・ラヒミファル（Mehdi Rahimifar）氏とそのチームによる新しい論文は、「ちょっと待ってください！真の犯人を見つけました」と述べています。

その犯人とは、**転置（transposition）**と呼ばれる、巧妙に隠れた小さなグリッチです。

「左から右 vs 右から左」の問題

壁に並んだ付箋のグリッド（格子）があり、それが列（行）で構成されていると想像してください。それぞれの付箋に数字を書き、その行全体に、その数字がどの程度の大きさであるかを示すラベルを付けます。これが、AIが通常データを整理する方法です。

ここで、AIが学習している場面を想像してください。まず、AIは左から右へと付箋を読みます（「フォワード・パス」）。AIは数字とラベルを見て、学習します。しかしその後、自分の間違いをチェックして修正するために、グリッドを裏返す必要があります（これは数学では「転置」と呼ばれます）。すると突然、行が列になります。

ここで災難が起こります。従来のやり方（1Dブロック量子化と呼ばれるもの）では、グリッドが反転すると、付箋が「新しいグループ」へとシャッフルされてしまいます。ある特定のラベルを持つ「グループA」にあった付箋が、今や全く異なるラベルを持つ「グループB」に入ってしまうのです。AIはこう思います。「待てよ、この数字は小さいはずなのに、ラベルによれば巨大な数字になっているぞ！」学習時に見たものと、チェック時に見ているものとの間のこの不一致が、混乱を招き、バイアス（偏り）のある信号を生み出します。それは、ページをめくるたびに材料リストが変わるレシピに従おうとしているようなものです。結果はどうなるでしょうか？AIは目が回り、学習は不安定になり、学習に失敗します。

2Dスクエア・ソリューション

論文の著者たちは、素晴らしいアイデアを思いつきました。**「グリッドを反転させても、グループが変わらないようにする」**というアイデアです。

彼らは、2Dスクエア・ブロックを使用することを提案しました。付箋の長い列の代わりに、完璧な正方形（例えば32x32のチェッカーボードのような形）に配置することを想像してください。正方形のグリッドを反転させても、正方形は正方形のままです。左上の正方形にあった付箋は、反転しても同じグループに対応する正方形の中にあり続けます。ラベル（スケール）は、AIが順方向に読んでいるときも逆方向に読んでいるときも、その数字に対して全く同じままです。

この**転置不変（transposition-invariant）**のルールを強制することで、AIはもはや混乱しません。学習時に見ている数字は、修正時に見ている数字と同一になります。この単純な変更が「めまい」を解消し、超単純なFP4数値を使用してでも、AIが安定して学習することを可能にします。

セーフティネット：クリッピングなしとランダムな推測

しかし、それだけではありません！グループを修正するだけでは不十分でした。FP4の数字は非常に単純であるため、大きくなりすぎたり（オーバーフロー）、バイアスが生じるような丸め方（例えば、常に切り上げるなど）をしたりしやすいからです。

これを修正するために、チームは2つの安全機能を加えました。

1. 非切断スケーリング（Truncation-Free Scaling）: 数値を切り捨ててデータを歪ませる（データの形を損なう）代わりに、すべての数字が範囲内に快適に収まるように「定規」自体を調整します。これは、背の高い人が頭を切り落とされることなく収まるように、定規を伸ばすようなものです。
2. 確率的丸め（Stochastic Rounding）: 数字が定規の目盛りの間に落ちたとき、最も近い目盛りに常に丸める（これはバイアスを生みます）のではなく、AIはコイン投げを行います。時には切り上げ、時には切り下げます。時間が経つにつれて、平均は完璧に正確な状態を保ちます。これは、ハウス（主催者）が不正をしない公平なゲームのようなものです。

アテンションのための「秘伝のソース」

AIの脳には、「アテンション（注意）」と呼ばれる非常にトリッキーな部分があります。ここでは、モデルが文中のどの言葉が重要かを判断します。この部分は非常に敏感です。ここで単純なFP4数値を使用すると、AIは混乱してしまいます。

そこで、著者たちは**混合精度（mixed-precision）**戦略を考案しました。重労働（主要な計算）には超効率的なFP4数値を使用しますが、この「アテンション」の部分には、もう少し精度の高い形式（MXFP8）を使用します。これは、大きな穴を掘るために素早く効率的なシャベルを使う一方で、中央のデリケートな花壇には精密な移植ごて（小さなスコップ）に切り替えるようなものです。これにより、最も敏感な部分を守りつつ、システム全体の高速性と効率性を維持します。

実際に機能するのか？

チームは、最大300億個のパラメータ（これは膨大な数の脳細胞です！）を持つ非常に大規模なAIモデルを含む、いくつかのモデルでこのアイデアをテストしました。これらは最大1,000億トークン（単語や記号）で学習されました。

結果は驚くべきものでした：

• 安定性: モデルは最初から最後までスムーズに学習されました。この2Dスクエアのトリックを使用しなかった古い手法では、学習の初期段階でクラッシュしていました。
• パフォーマンス: この新手法で学習されたAIモデルは、低速で重い高精度な数字で学習されたモデルとほぼ同じ性能を示しました。品質の差は極めて小さく、いくつかのテストでは1.3%未満でした。
• 効率性: メモリを大幅に節約（約65%削減）し、将来の専用ハードウェア上では理論的に3.5倍速く動作させることができます。

結論

この論文は、AI学習を極限まで効率化するための最大の障壁は、単に小さな数字を使うことではなく、AIがどのように数字を見ているとしても、それらが一貫して振る舞うようにすることであると示唆しています。乱れた、変化する「行」から、整然とした、安定した「正方形」へと切り替えることで、著者たちはAI学習を高速かつ堅牢にする方法を見つけました。

もちろん、まだ課題はあります。専用のチップがまだ広く普及していないため、チームは現在のコンピュータ上でこれをシミュレートする必要がありました。しかし、数学的な裏付けは取れており、進むべき道は明確です。AIをより速く、より安価にしたいのであれば、数字のシャッフルを止め、ルールを一貫させる必要があるのです。