ロボットに、内部の状態や位置の変化を伴う一連の指示に従う方法を教えようとしていると想像してみてください。人工知能の世界では、これは「シーケンス・モデリング」と呼ばれます。ロボットは物語を一度に一つの単語ずつ読み進め、新しい単語が現れるたびに、物語がどこに向かっているのかという理解を更新していきます。長い間、最も有名なロボット（「Transformer」と呼ばれます）はこの作業において非常に優れていましたが、それらは計算能力を猛烈に消費するという欠点がありました。そこで科学者たちは、より軽量で効率的な新しいタイプのロボット、「状態空間モデル（SSM）」を発明しました。SSMは、物語を読み返すたびに全体を読み直すのではなく、読み進めるのと同時に瞬時に自己更新を行う、非常に効率的なメモリバンクを持つロボットのようなものです。

しかし、ここからが厄介なところです。ロボットが効率的であるからといって、あらゆることをこなせるほど賢いとは限りません。いくつかのタスクは単純な数学（数字の足し算など）のようなものですが、他のタスクは、特定の順序でアイテムを入れ替えるような複雑なパズルに似ています。数学において、これらのパズルはしばしば「群（グループ）」を用いて記述されます。「群」とは、物事がどのように組み合わされたり入れ替わったりするかについての、洗練されたルールのことです。もしルールが単純で予測可能であれば（足し算のように）、ロボットは容易に処理できるでしょう。しかし、もしルールが乱雑で、操作の順序に依存する場合（例えば、赤と青のボールを入れ替える際、赤の次に青を入れ替えるのと、青の次に赤を入れ替えるのでは結果が異なる場合など）、ロボットは混乱してしまいます。科学者たちは、これら効率的なロボットが実際に理解できる限界はどこにあるのかを知りたいと考えています。彼らは複雑なパズルを解くことができるのでしょうか、それとも単純なパズルに縛られているのでしょうか？

この論文は、その問いを深く掘り下げ、非常に効率的な特定の種類のロボットである「対角型SSM（Diagonal SSM）」をテストすることで、この問題に取り組んでいます。研究者たちは、これらのロボットが複雑な状態変化、具体的には非可換群（順序に依存する厄介なパズル）を追跡できるかどうかを調べたいと考えました。彼らは、ある数学的な壁を発見しました。単層の対角型ロボットは、どれほど努力しても、これらの厄介なパズルを解くことは根本的にできないのです。しかし、もしこれらのロボットを2層以上積み重ねれば、理論的にはこれらのパズルを解く力を得ることができます。ただし、それはパズルが特定の階層構造（「可解群」と呼ばれるもの）を持っている場合に限られます。

物語を面白くする「ひねり」はここにあります。たとえ積み重ねられたロボットが理論上はこれらのパズルを解けるはずであっても、実際には失敗することが多いという点です。それはまるで、山に登るのに十分なエンジンを備えた車があるのに、ドライバー（学習アルゴリズム）が溝にはまってしまい、道を見つけられないようなものです。この論文は、その能力がアーキテクチャの中に存在していることを証明していますが、標準的な学習方法では、その能力を引き出すことが非常に困難であることを示しています。

ロボットのメモリバンク

著者らが発見したことを理解するために、まずこれらの「対角型SSM」がどのように機能するかを見る必要があります。対角型SSMを、一列に並んだライトスイッチを持つロボットだと想像してください。新しい単語を読み取ると、ロボットは単純なルールに基づいてこれらのスイッチを切り替えます。「対角型」のSSMでは、あるスイッチを切り替えるルールは他のスイッチには依存しません。各スイッチは独立して動作します。これにより、ロボットは非常に高速で訓練が容易になります。まるで、互いに会話する必要がなく、各自が自分の仕事を行う作業員のチームのようです。

研究者たちは、このロボットを「状態追跡」というゲームでテストしました。このゲームでは、ロボットに一連のコマンド（「赤いボールを入れ替える」「青いボールを回転させる」など）が与えられ、最終的なボールの配置を記憶しなければなりません。コマンドが単純で可換である場合（つまり、2 + 3 が 3 + 2 と同じであるように、順序が重要ではない場合）、ロボットは非常に優秀です。しかし、コマンドが非可換である場合（靴下を履いてから靴を履くのと、靴を履いてから靴下を履くのでは結果が異なるように）、ロボットはより困難な課題に直面します。

理論的な壁：単層か、多層か

論文は、単層のロボットができることに関する強力な数学的証明から始まります。著者らは、単層の対角型SSMは、本質的に「可換（Abelian）」なパズル、つまり操作の順序が重要ではないパズルのみを解くことに限定されていることを示しました。どれほどチューニングを行っても、もし独立したスイッチが1層しかない場合、複雑な非可換群（3つのオブジェクトの置換として知られる群 $S_3$ など）の状態を追跡することはできません。

しかし、層を積み重ねると物語はさらにエキサイティングになります。著者らは、もし $k$ 層の対角型ロボットを積み重ねれば、そのパズルが $k$ 個の単純な可換ステップの連鎖に分解できる場合に限り、そのチームがパズルを解けることを証明しました。リレーレースを想像してみてください。もしパズルが1人のランナーには複雑すぎても、第2のランナーにバトンを渡し、そのランナーが第3のランナーに渡すことができます。パズルが特定の数の単純なステップに分割できる限り、その数のロボットのチームは理論的にそれを解くことができます。これは、深さ（層を追加すること）がより複雑な知性を解き放つ鍵であることを意味しますが、そこには厳格なルールがあります。つまり、パズルが持つ「複雑さの切れ端」と同じ数の層が必要であるということです。

学習のギャップ：理論と現実

ここで物語は深まります。著者らは単に数学的な議論をしただけでなく、実際にこれらのロボットを構築し、訓練を試みました。彼らは、単純な足し算（可換）からトリッキーな $S_3$ 置換パズル（非可換）に至るまで、様々なタスクに対して単層および2層のモデルをテストしました。

結果は、成功と挫折が入り混じったものでした。単純なタスクについては、ロボットは素早く学習し、非常に長いシーケンスを扱うことができました。しかし、複雑な $S_3$ タスクについては、たとえ2層のロボットが（彼らの数学によれば）それを解くのに十分な能力を持っているはずであるにもかかわらず、ほとんどの場合失敗しました。ロボットは正しいパターンを見つけることができず、何千回試行しても学習できませんでした。

研究者たちは、問題はロボットが「できない」ことではなく、解決策はロボットのデザインの中に存在しているのだと気づきました。それは、まるでロボットが干し草の山の中から針を探しているようなもので、標準的な学習方法（勾配降下法）が針を見逃し続けている状態でした。ある実験では、ロボットを正解の非常に近くからスタートさせることで「手助助」を試みました。すると、ロボットは突然タスクを学習し、見たこともないような長いシーケンスを扱うことができるようになりました。このことは、解決策はロボットの「重み空間」の中に隠れて存在するものの、その経路は非常に狭く、標準的な学習方法ではナビゲートするのが極めて難しいことを示唆しています。

まとめ

本論文は、対角型SSMは効率的であり、層を十分に積み重ねれば複雑な状態追跡問題を解く理論的な能力を持っている一方で、それらが「実際に学習できること」と「理論的にできること」の間には巨大な隔たりがあることを結論付けています。数学的には2層のロボットが $S_3$ パズルを解けるはずですが、実用上はほとんど失敗します。これは、AI研究における重要な教訓を浮き彫りにしています。モデルが潜在能力を持っているからといって、それが容易に賢くなれるとは限らないのです。著者らは、このギャップを埋めるためには、モデルの訓練方法を変更するか、あるいは（スイッチ間の相互作用を少し許容するなど）アーキテクチャを微調整する必要があるかもしれないと示唆しています。

要するに、これらの効率的なロボットは、難しい問題を解くための教科書の知識は持っているものの、その知識をどう応用すべきかが分からずに試験に落ち続けている優秀な学生のようなものです。この論文は、彼らに何ができるかを正確に描き出していますが、同時に、彼らに実際にパフォーマンスを発揮させることは、数学が示唆するよりもはるかに困難な挑戦であることも警告しているのです。