Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems

ロボットに歩かせたり、飛ばせたり、あるいは繊細なカップを落とさないように持たせたりする方法を教えようとしているところを想像してみてください。これを行うには、「フィードバック制御器」が必要です。この制御器は、ロボットの「内耳」と「脳」が連携している様子だと考えてください。それは、ロボットが今どこにいるのかを常にチェックし、それが「あるべき姿」とどう違うかを比較し、すべてを安定させるために、微細で即座の調整を行います。もしロボットがよろめき始めたら、制御器は押し返し、もし動きが遅すぎれば、制御器は後押しを与えます。何十年もの間、これらの制御器を設計することは、高度な数学や物理学を長年研究してきた訓練を受けた人間のエンジニアたちの仕事でした。しかし最近、大規模言語モデル（LLM）と呼ばれる新しい種類のデジタル脳が登場しました。これらは、詩を書いたり、謎解きをしたり、あなたとチャットしたりできる、これらと同じタイプのAIです。科学者たちは今、大きな問いを投げかけています。「このおしゃべりでクリエイティブなAIの脳は、エンジニアリングという重労働もこなせるのだろうか？」彼らは、ロボットが複雑で、ぐにゃぐにゃとしていたり、奇妙な動きをしたりする場合でも、転倒を防ぐための数学を設計できるのかを問うているのです。

「Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems」と題されたこの論文は、まさにその問いに深く切り込んでいます。研究者たちは、AIは単純なタスクには優れているものの、現実世界の機械が持つ、乱雑で複雑な現実に対応できるかどうかはまだ誰もテストしていないことに気づきました。そこで、彼らは**CoDy成立制御ベンチマーク（CoDyControlBench）**と呼ばれる、ビデオゲームのような巨大なテスト場を構築しました。これは132もの異なるレベルを持つ、巨大な障害物コースのようなものです。単一の車輪が平坦な道を転がるような簡単なレベルもあれば、悪夢のようなレベルもあります。例えば、すべての車輪が互いに絡み合い、路面が揺れ、ロボット自身の重さが移動に合わせて変化する6輪ロボットなどです。目標は、AIがコードを書き、衝突したりスピンアウトしたりすることなく、このロボットを目標地点まで完璧に運転できるかどうかを確認することです。

チームは、6つの異なる「超知能」AIをこの障害物コースに通しました。中には有名な商用モデル（GPT、Gemini、Claudeなど）もあれば、オープンソースのモデル（Qwen、DeepSeekなど）もありました。結果は、驚きと警戒心が入り混じったものでした。主役はGPTであり、複雑な課題に対して94.8%の成功率で機能する制御器を設計することに成功しました。それは、絡まり合ったバネやモーターの塊を見つめ、それらを瞬時に調整する方法を知っている熟練のエンジニアのようでした。一方で、Qwenは成功率が50%にとどまりました。それは、単純なおもちゃの車なら扱えるものの、車輪がバラバラの方向に回転し始めると完全に混乱してしまう学生のようでした。

研究者たちは、AIにとって最大の難関は、必ずしもロボットが「非線形（ぐにゃぐにゃしている）」であることや「時変的（時間の経過とともに変化する）」であることではなく、むしろ「動くパーツの数」にあることを発見しました。可動部（自由度、DoFと呼ばれます）が1から6へと増えるにつれて、AIの成功率は著しく低下しました。まるで、AIは一つのボールを扱うのは簡単だが、二つ目、三つ目、あるいは六つ目のボールが加わると、それらを落とし始めてしまうかのようです。興味深いことに、AIはより一般的で単純な「PID制御」よりも、特定の複雑な数学に基づいた制御器（スライディングモード制御と呼ばれます）を設計する方が容易であることを見出しました。これは驚きです。なぜなら、人間は通常、単純なものの方が簡単だと考えるからです。AIは、単純な「試行錯誤」スタイルの制御よりも、複雑な数学の厳格でステップ・バイ・ステップのルールを好んだようです。

しかし、この物語で最もエキサイティングな部分はここにあります。研究者たちは、単にクラウド上の大きなAIが仕事をこなせるかどうかを知りたいだけでなく、小さなチップの中で動作する「小さなAI」ができるかどうかを知りたいと考えました。これをテストするために、彼らは**「推論蒸留（Reasoning Distillation）」**という手法を用いました。天才的な教師（巨大なAI）が、単に数学の問題の答えを与えるだけでなく、その思考プロセスを書き出す様子を想像してください。「まず、ロボットが左に揺れているので、右に押す必要がある。待てよ、もし強く押しすぎたら、行き過ぎてしまう（オーバーシュートする）ので、少し速度を落とそう」といった具合です。彼らは、非常に小さな（AIとしてはわずか15億パラメータという）軽量なAIに対し、最終的な答えだけでなく、この「思考プロセス」を模倣するように教えました。

結果はどうだったでしょうか？思考プロセスを学んだ小さなAI（「思考モデル」と呼ばれます）は、驚くほど優れたエンジามารถとなりました。それは、単に答えを暗記しただけの小さなAIを凌駕し、訓練を受けていないベースモデルをも上回りました。実世界のテストにおいて、この小さなAIは、制御が極めて難しく不安定な空気圧筋肉（エア駆動の筋肉）によって動くロボットアームに搭載されました。この小さなAIは、3回の試行すべてにおいて、アームを目標の角度へと正確に導き、安定させることができました。このことは、将来のロボットを制御するために、クラウド上の巨大なスーパーコンピュータは必要なく、代わりに、スマートな「推論するエンジニア」をロボット自身の脳チップの中に詰め込むことができる可能性を示唆しています。

要約すると、この論文は、今日のAIがロボット制御において非常に優れた能力を持ちつつある一方で、最も複雑な多部品の機械に対しては依然として苦戦していることを示しています。しかし、小さなAIに単に答えを暗記させるのではなく、問題に対して「推論」することを教えることで、エッジ環境（現場のデバイス上）で動作する、軽量でスマートな制御器を作り出すことができるのです。それによって、将来のロボットを安定させ、安全に、そして的確に動かす準備を整えることができるのです。