Learning in Infinitesimal Non-Compositional Sketches

学習機械の隠された文法

あなたがロボットにビデオゲームの遊び方を教えようとしている場面を想像してみてください。機械学習の世界では、その標準的な方法は、ロボットにスコアカードを与えることです。ミスをすればスコアが下がり、うまくできればスコアが上がります。ロボットは、次に高いスコアを取れるように、内部の設定を微調整します。これは「最適化」と呼ばれ、写真の中の猫の認識から言語の翻訳に至るまで、あらゆる場面で驚異的な効果を発揮しています。しかし、ここには落とし穴があります。この手法は、ロボットの脳を「ブラックボックス」として扱うのです。それは最終的な数値だけに注目し、ロボットが「どのように」そこに到達したのか、あるいはその論理が実際に意味を成しているのかどうかを無視します。

では、単に最終スコアを見るのではなく、ロボットの脳の中を覗き込み、その思考が正しく「結びついている（sticking together）」かどうかを確認できるとしたらどうでしょうか。数学やコンピュータサイエンスにおいて、物事が完璧に適合するという概念は「構成性（compositionality）」と呼ばれます。それは、時計の歯車がスムーズに噛み合っているか、あるいは物語の文章が論理的に流れているかを確認するようなものです。時として、ロボットは「ズル」を学習することがあります。正しい理由ではないのに正解を出したり、近くで見ると内部の論理が崩壊していたりすることがあるのです。この「LINCS（リンクス）」と題された論文は、「無限小非構成的スケッチにおける学習（Learning in Infinitesimal Non-Compositional Sketches）」というタイトルで、**圏論的機械学習（categorical machine learning）**という分野から発表されました。これは、抽象数学（具体的には圏論）のルールを用いて、機械がいかに学習するかを記述する、非常に高度な手法です。この論文は、深い問いを投げかけます。「単にロボットの間違いを見るだけでなく、ロボットの脳をほんの少し、ごくわずかに動かしたときに、その間違いがどのように変化するかを見たらどうなるだろうか？」

論文の核心的なアイデア：「微小な揺さぶり」テスト

この論文は、LINCSと呼ばれる新しい機械学習の考え方を提案しています。単に「ロボットは正解を得られたか？」（通常は単純なイエス・ノー、あるいは数値です）と問うのではなく、LINCSは「ロボットの論理は壊れているか？ そして、もしその脳をわずかに揺さぶったとき、その壊れ方は悪化するのか、変わらないのか、それとも修復されるのか？」と問いかけます。

著者たちは、機械学習モデルが失敗するたびに、それは単なる数学的なエラーではなく、「構成（composition）」の失敗であると考えています。積み木でタワーを作っている場面を想像してください。タワーが崩れたとき、普通の教師なら単に「点数が下がった」と言うでしょう。しかし、LINCSの教師はタワーを見て、「下のブロックが傾いていたから、ブロック同士がうまく噛み合わなかったのだ」と言うはずです。さらにLINCSは一歩踏み込みます。「もしその下のブロックを微小な量だけ動かしたとき、タワー全体が、隠れた欠陥を露呈させるような揺れ方をするだろうか？」と問うのです。

論文の言葉を使えば、この「微小な揺さぶり」は**無限小（infinitesimal）**と呼ばれます。著者たちは、学習プロセスを一つの「地図」として扱います。地図が完璧であれば、あらゆる経路は正しい目的地へと導きます。もし地図が壊れていれば、経路は一致しません。LINCSはこの壊れた地図を取り、その「接（tangent）」バージョン、つまり「地図の地図」を作成します。そして、元の地図における微小なエラーが、ズームアップした新しいバージョンの地図においても、やはり一致しないままなのかどうかをチェックします。もし一致しないのであれば、そのモデルには、単純なスコアカードでは見逃されてしまうような、深い構造的問題があるのです。

「接リフト（Tangent Lift）」：目に見えないものを見る

この論文の核となる概念は、**接リフト（Tangent Lift）**です。学習モデルを、多くの可動部品を持つ複雑な機械だと考えてください。通常、私たちは機械が正常に動作しているときだけそれを見ます。接リフトとは、単に部品を見せるだけでなく、機械をわずかに振ったときに、それらの部品が「どのように動くか」を見せる顕微鏡のようなものです。

論文は、現在の多くの機械学習手法は、スピードメーターだけを見ながら車を運転しているようなものだと主張しています。速度は分かりますが、エンジンが不調なのか、あるいは車輪が外れそうなのかは分かりません。LINCSは、エンジンの振動を示すダッシュボードを追加するようなものです。もしその振動（「無限小の非構成性」）が大きすぎるなら、たとえ現在は高速で走行していても、その車の設計には欠陥があることを意味します。

著者たちは、この「振動」を**障害（obstruction）**と定義しています。数学において、障害とは完璧な解が存在することを妨げるもののことです。LINCSにおいて、障害とはモデルの内部論理が一貫していないサインです。論文は、モデルが真に正しいルールを学習しているのであれば、これらの障害はメインのタスクだけでなく、タスクのあらゆる「微小な揺さぶり」に対しても消失するはずであることを示しています。もしモデルを揺さぶったときに障害が残るならば、それはモデルが基礎となる構造を理解しているのではなく、単にパターンを暗記しているに過ぎないことを意味します。

グローバルな混乱からローカルな修正へ

この論文の巧妙な点の一つは、巨大で混沌とした問題をどのように扱うかという点です。絡まり合った巨大な毛糸の結び目を直そうとしている場面を想像してください。どこに問題があるのかを見つけるのは困難です。LINCSは、その結び目を小さなループに分解することを提案します。もし一つの小さなループが絡まっていたら、そのループを直します。論文は、もし全ての小さなループを正しく直せば、大きな結び目も最終的に解けることを証明しています。これは**障害の局所化（obstruction localization）**と呼ばれます。

ニューラルネットワーク（チャットボットなどで使われるAIの種類）の世界では、これはネットワーク全体を一度に見る必要がないことを意味します。ネットワークの特定の層だけを見て、その微小な「揺さぶり」が論理の破綻を引き起こすかどうかを確認し、その特定の箇所を修正することができるのです。論文は、この「小さな断片を直す」という手法が、元の問題に対しても、「揺さぶり」バージョンの問題に対しても同様に有効であることを示しています。これは、大きなエラーを引き起こす前に、これら微細で隠れた論理の破綻を修正することで、より優れた、より安定したAIを構築できることを意味しており、非常に重要なことです。

学習の「塔」

また、論文は**余代数的不動点（coalgebraic fixed point）**という魅力的な概念を紹介しています。これは難解に聞こえますが、実際には非常にシンプルです。玉ねぎの皮を剥いている場面を想像してください。一層剥いたら、また次の一層、その次の一層と剥いていきます。通常、芯に到達したら止まります。しかし、LINCSでは、剥き続けます。芯を見つめ、次に「芯の芯」を見つめ、といった具合に。

著者たちは、真に完璧な学習モデルとは、十分に層を剥いていった後（あるいは十分に「接リフト」を適用した後）、新しい問題が見つからなくなるモデルであると示唆しています。つまり、「振動」や「障害」が変化しなくなる状態です。モデルは**安定状態（stable state）**に達したのです。論文は、この「剥いていくプロセス」を繰り返せば、最終的に、どれほど微小に揺さぶっても論理が壊れることのない、極めて一貫した地点に到達することを、高度な数学を用いて証明しています。これが「不動点」です。それは、AIが単にゲームの答えを知っているのではなく、ゲームのルールを真に「学習」した瞬間なのです。

論文が否定するもの、そして示唆するもの

この論文が述べているのではない、という点に注意することが重要です。著者たちは、従来のAIの訓練方法（単純なスコアや損失を用いる方法）を捨てるべきだとは言っていません。彼らは、従来の方法が強力で有用であることを明示しています。むしろ、彼らは「従来の方法では不十分である」と示唆しているのです。エラーのスコアが小さいからといって、モデルが完璧であるとは限らない、と彼らは主張しています。モデルはエラースコアが極めて小さくても、現実の世界が奇妙な動きをしたときに破綻してしまうような、壊れた内部論理を持っている可能性があるのです。

また、この問題を解決するために全く新しい数学を発明する必要はない、という点についても、論文は否定しています。代わりに、既存の数学的ツール（「接カテゴリー」や「スケッチ」など）を使用して、問題を再定義できることを示しています。彼らは、あらゆる機械学習の問題を解決したと主張しているわけではありません。実際、これらの「安定状態」が存在することは数学的に証明されていますが、現実世界のAI（物語を書いたり車を運転したりする巨大なモデル）において、実際にそれらを見つけ出すことは、まだ進行中の課題であると認めています。彼らは、大規模言語モデルや強化学習において、この理論が実用的に機能するかどうかについての実験が現在行われていることに触れていますが、それらの具体的な実験結果については、完了した結果ではなく「進行中」であると述べています。

「リー・ブラケット」とAIの秘密の言語

この論文の中で最も遊び心があり、かつ深い概念の一つが、**リー・ブラケット（Lie bracket）**です。簡単に言えば、これは機械における二つの異なる動作が、互いにどのように干渉し合うかを測定する方法です。ダンスをしている場面を想像してください。左にスピンしてから前へ踏み出すのと、前へ踏み出してから左にスピンするのでは、最終的な位置が変わります。その二つの結果の差が「リー・ブラケット」です。

論文は、適切に学習されたAIにおいては、これらの「ダンスの動き」（あるいは内部操作）が完璧に適合すべきであると示唆しています。もし適合していなければ、それはAIが物事の順序について混乱していることを意味します。著者たちは、これらのリー・ブラケットをチェックすることで、AIモデルが言語や意思決定などを扱う際の隠れた欠陥を見つけられることを示しています。例えば、AIが「文章の中の単語を入れ替えても意味は変わらない」と理解すべきなのに、実際には変わってしまう場合、リー・ブラケットはその混乱がどこで起きているかを正確に検知できるのです。

なぜこれが未来にとって重要なのか

では、なぜ好奇心旺盛なティーンエイジャーがこれに注意を払う必要があるのでしょうか？ それは、未来のAIには、単なる「賢い推測器」以上のものが必要だからです。AIには、論理的な思考が必要なのです。もし私たちが、単にスコアを最小化するようにAIを訓練するだけなら、テストには強いが、現実の世界を理解することには極めて弱いモデルを生み出すことになるかもしれません。それらは脆弱であり、少し予想外のことが起きただけで崩壊してしまう可能性があります。

LINCSは、より堅牢で信頼できるAIを構築するための道筋を示しています。「微小な揺さぶり」をチェックし、圧力がかかった状態でも論理が維持されることを確認することで、人間のように振る舞うだけでなく、問題の構造そのものを理解する機械を作ることができるのです。論文は、次世代のAIは単にデータによって訓練されるのではなく、**「コヒーレンス（一貫性/整合性）」**によって訓練されるようになるかもしれない、と示唆しています。それは、地面が揺れても、論理の塔が揺らぐことのないように機械を教えることなのです。

著者たちは、このフレームワークを、機械学習を捉えるための新しいレンズであると結論づけています。それは、AIの訓練という混沌としたプロセスを、壊れた論理を一つずつ、層ごとに修正していく構造化された旅へと変えるものです。そして、機械が完璧で安定した理解の状態に達するまで、その旅は続きます。数学的な内容は重厚ですが、考え方はシンプルです。「答えを確認するだけでなく、思考を確認せよ。そして、もしその思考が揺さぶられたときに揺らぐのであれば、次に進む前に、その揺らぎを修正せよ」ということです。