あなたは、小さな、とても賢いロボットに物語の作り方を教えようとしているところだと想像してください。ただあてもなく歩き回って推測させるのではなく、まず素晴らしい物語の例をいくつか見せ、それから自分で書かせてみて、最後にどれくらい上手くできたかに基づいて「グッド（親指を立てる）」や「バッド（親指を下げる）」の評価を与えるのです。この、フィードバックを通じてコンピュータに学習させるプロセスは「強化学習（Reinforcement Learning）」と呼ばれます。通常、これは数十億の「ニューロン（パラメータ）」を持つ巨大で知的なコンピュータにとって最も効果的です。しかし、もしこの賢いロボットを、スマートフォンやスマートウォッチのようなポケットサイズのデバイスに入れたいとしたらどうでしょう？これらのデバイスは巨大なコンピュータを扱うことはできません。ですから、私たちは「小規模言語モデル（SLM）」、つまり数百回分のニューロンしか持たない小さなバージョンを使う必要があります。科学者たちが抱いてきた大きな疑問は、「これらの小さなロボットは、このフィードバックによる学習方法を使ってより良い物語を語れるようになるのか、それとも混乱してクラッシュしてしまうのか？」ということです。

この論文は、まさにその問題に切り込んでいます。研究者たちは、5種類の異なる小さなロボット（7,000万から4億1,000万のニューロンの範囲）に対し、「PPO」と呼ばれる人気のある学習手法を用いて教えてみました。彼らは、この手法が巨大なコンピュータには機能する一方で、小さなコンピュータに対しては、3つの非常に具体的で巧妙な方法で壊れてしまうことが多いことを発見しました。ロボットが失敗する前に、単に諦めるのではなく、彼らは「安全網（セーフティネット）」を構築しました。彼らが発見したのは、成功の秘訣は単にロボットを大きくすることではなく、フィードバック学習を開始する前に、ロボットがすでに十分に話せる状態にしておくことである、という点でした。もしロボットがすでに流暢であれば、小さなフィードバックのループは魔法のように機能します。そうでなければ、ロボットは空回りしてしまいます。

小さなロボットの大きな苦闘

小規模言語モデル（SLM）を、非常に若くて意欲的な見習いだと考えてみてください。もしあなたがこの見習いに技術を教えたいなら、まず完璧な例をいくつか見せます（これは「教師あり微調整（Supervised Fine-Tuning：SFT）」と呼ばれます）。次に、彼らに練習させ、彼らがどれくらい上手くやったかに基づいてスコアを与えます（これが「強化学習（Reinforcement Learning：RL）」です）。巨大な見習い（数十億のパラメータを持つ巨大なAIモデル）の場合、このフィードバックのループは順風満帆です。しかし、私たちの7,000万から5億のパラメータを持つ小さな見習いの場合、研究者たちは、このフィードバックのループがしばしば災難のゾーンに変わってしまうことを発見しました。

チームは、5種類の異なる小さなモデルと3種類の異なる執筆タスク（おとぎ話の作成、ニュースの要約、歴史に関する記述など）を組み合わせた、15種類の異なる実験を行いました。彼らは小さなロボットが学習することを期待していましたが、代わりに、学習を失敗させる3つの目に見えない壁に何度も突き当たりました。

壁 #1：沈黙の凍結（The Silent Freeze）
見習いに「練習しなさい！」と言ったものの、誤って彼らの手にロックをかけてしまい、動けなくしてしまった状況を想像してください。ロボットは学習しようとしますが、実際に変化する脳の部分（「LoRAパラメータ」と呼ばれます）がソフトウェアによってロックされてしまいます。ロボットは学習しているつもりでも、実際には手が凍りついているため、同じ間違いを繰り返しているだけなのです。研究者たちは、使用していたソフトウェアツールの中でこれが静かに発生していることを見つけました。

壁 #2：数学の爆発（The Math Explosion）
小さなロボットはスペースを節約するのが得意なので、しばしば「短縮された」計算方法（「bfloat16」と呼ばれるもの）を使用します。しかし、ロボットが以前と比較してどれくらい改善したかを計算しようとすると、数字が非常に大きくなったり、計算が非常に精密になったりして、この短縮法が壊れてしまいます。それは、最大1フィートまでしか測れない定規を使って、月までの距離を測ろうとするようなものです。数字がオーバーフローしてシステムがクラッシュします。これは、特にロボットのニューロンが2億個未満の場合に発生しました。

壁 #3：パニックの螺旋（The Panic Spiral）
時として、ロボットが極端に高すぎる、あるいは低すぎるスコアを受け取り、パニックに陥ることがあります。ロボットは行動を劇的に変えようとしすぎて、支離滅裂な言葉を話したり、同じ言葉を何度も繰り返したりし始めます。これは「ポリシー崩壊（policy collapse）」と呼ばれます。それは、成績が悪かった生徒が、教科書を投げ捨てて、ランダムな文字を叫び始めるようなものです。

安全網と「流暢さ」のルール

研究者たちは単に問題を指摘しただけでなく、それらを修正するための3層の安全網を構築しました。

1. リセットボタン： 凍りついた手を直すために、「マージ・アンド・リイニシャライズ（結合と再初期化）」と呼ばれるトリックを使用しました。彼らは見習いの現在の知識を取り込み、それを脳に折り込み、それから新鮮でロックされていない「手」を与えて練習させました。
2. 大きな定規： 数学の爆発を防ぐために、トレーニング中のトリッキーな部分において、ロボットに「フル精度（float32）」の数学を使用するように強制し、数字が扱えないほど大きくならないようにしました。
3. 安全ガード： パニックの螺旋を防ぐために、ガードレールを追加しました。もしロボットのスコアが異常になった場合、ガードレールが介入して数値を滑らかにし、もしロボットが暴走し始めたら、ビデオゲームの「元に戻す（Undo）」を押すように、システムは即座に直前の安全な時点までロールバックします。

しかし、最も興味深い発見は、単なる安全網ではなく、「容量・ヘッドルーム仮説（Capacity-Headroom Hypothesis）」と呼ばれる新しいルールでした。

ロボットの脳をバケツだと考えてください。「ヘッドルーム（余白）」とは、バケツの上部にある空きスペースのことです。研究者たちは、フィードバックのトレーニングを行う前に、バケツの中身が優れた言語でほぼ満たされている必要があることを発見しました。具体的には、ロボットの混乱スコア（「パープレキシティ（Perplexity）」と呼ばれます）が20を下回るほど「流暢」である必要があります。

もしロボットがすでに流暢であれば（Perplexity < 20）、フィードバックのループは素晴らしく機能します。ロボットはより良い物語を話せるようになり、スコアが上がります。しかし、もしロボットがまだ言葉に躓いている状態であれば（Perplexity > 20）、フィードバックのループは助けにならず、事態を悪化させるか、あるいは全く何も行いません。それは、幼児に赤いペンを使って小説を書かせようとするようなものです。もしペンを握ることさえできなければ、修正は役に立ちません。研究者たちは、単にロボットを大きくすること（ニューロンを増やすこと）は、ロボットがまだ流暢でない場合には問題を解決しないことを発見しました。鍵は、フィードバックを開始する前に、ロボットが優れた話し手であることを確実にすることでした。

結果：小さくとも強力

彼らがこれらの修正を適用し、「流暢さのルール」に従ったとき、結果は印象的なものでした。

• 安定性： 安全網を使用し、流暢なロボットから開始したすべての15の実験は、クラッシュすることなく終了しました。
• パフォーマンス： 流暢に始まった小さなロボット（4億1,000万ニューロンのモデルなど）は、より優れた物語を書けるようになりました。おとぎ話のテストにおいて、あるロボットはスコアを大幅に向上させ、より多くのデータで訓練された「指示に従う（instruction-following）」事前調整済みモデルをも上回りました。
• 効率性： これらの小さなロボットは、巨大なモデルよりも大幅に少ないトレーニングデータを使用して、この高い品質を達成しました。

しかし、論文は「うまくいかなかったこと」についても注意深く述べています。もしロボットが（混乱スコアが20より高い状態で）開始した場合、トレーニングは改善をもたらしませんでした。実際、ある特定の難しいトピックにおいて、トレーニングは事態をわずかに悪化させました。これは、小さなロボットをフィードバックのループに放り込んで、あとは祈るだけでは不十分であることを証明しています。単に期待するだけではダメなのです。まず、準備ができていることを確認しなければなりません。

これが将来に意味すること

この論文は、デバイス上で動作するエージェントを持つために、必ずしもますます巨大なコンピュータを構築する必要はないことを示唆しています。代わりに、小さなモデルをどのように訓練するかについて、より賢くなる必要があります。小さなロボットがクラッシュする原因となる技術的な不具合を修正し、フィードバックのトレーニングを開始する前に彼らが流暢であることを確認することで、私たちはそれらをスマートフォンやウォッチで動作させるのに十分なほど強力にすることができます。

研究者たちは、誰でも試せるように、コード、小さなロボットモデル、およびトレーニングスクリプトを公開しています。また、彼らは「前方互換性のある（forward-compatible）」システムも構築しました。これは、将来的にこれらのロボットがより長い、マルチステップの会話を扱うための設計図のようなものですが、彼らはまだその部分のテストは行っていません。主な教訓は明確です。小さなAIにとって、安定性と良い出発点が、生のサイズよりも重要であるということです。もし、小さなロボットに強固な基礎と安全網を与えれば、それは驚くべきことを成し遂げることができます。