Sutra: Tensor-Op RNNs as a Compilation Target for Vector Symbolic Architectures

本論文は、シンボリックなベクトル記号アーキテクチャ演算を融合された PyTorch 張力グラフにコンパイルする純粋関数型プログラミング言語 Sutra を紹介するものであり、これによりプログラムは多様な凍結埋め込み基盤において完全な復号精度を達成し、かつ完全な可読性を保ちソースコードとして再コンパイル可能な状態で逆伝播による学習を可能にする。

要約

知識の巨大な凍結された図書館を想像してみてください。この図書館では、「りんご」や「正義」、「タンパク質」といったすべての概念が、ページ上の単語ではなく、固有の多次元の「色」や「形」として存在します。この図書館は、インターネット全体を読み込んだ巨大な AI によって構築され、「凍結」されているため、一度図書館が完成すると、色や形は決して変化しません。

問題は、これらの色で数学や論理をどう行うかです。標準的な規則（論文で言及されている「アダマール積」など）を使ってこれらを混ぜようとすると、色が濁って区別できなくなります。赤と青の絵の具を混ぜて紫を作ろうとしても、代わりに部屋にある他のどの色とも見分けがつかない濁った茶色になってしまうようなものです。

Sutra はこの問題を解決する新しいツールです。これはプログラミング言語であり、論理規則を記述できますが、通常のコンピュータプロセッサ上で実行されるのではなく、これらの「色」（ベクトル）を直接操作する単一の超効率的な機械にその規則をコンパイルします。

Sutra の仕組みを簡単な概念に分解して説明します。

1. 「魔法の回転」（バインディング）

従来の方法では、2 つの概念を混ぜることは、それらを粉砕して混ぜ合わせるようなもので、混乱を招いていました。Sutra は回転バインディングと呼ばれるトリックを使用します。

• アナロジー: 各概念には固有の「鍵」（役割）があると想像してください。Sutra は、その鍵に特定の詳細（「充填子」）を結合する際、それらを粉砕するのではなく、鍵が鍵穴の中で回るように詳細を回転させます。
• なぜ機能するか: 図書館は凍結されており、回転は数学的に完璧であるため、他の詳細と混ぜてしまっても、元の詳細を取り出すために鍵を元に戻すことができます。論文は、これがテキストだけでなく、タンパク質配列（生物学）においても完璧に機能することを証明しており、従来の「粉砕」法は完全に失敗していたのとは対照的です。

2. 「滑らかな論理」（ファジー数学）

通常、コンピュータは厳密な「はい/いいえ」または「オン/オフ」のスイッチで思考します。しかし、図書館の「色」は完璧ではなく、少しぼやけています。

• アナロジー: 明暗スイッチではなく、調光スイッチを想像してください。Sutra は、論理を滑らかなスライダーとして扱う特別な数学（多項式）を使用します。これにより、「多分」（0）、「真」（+1）、「偽」（-1）を破綻させることなく処理できます。
• 魔法: 論文は、Sutra がこれらのファジー論理規則を単一の滑らかな数式に変換することを示しています。これにより、コンピュータは論理を実行するだけでなく、それから学習することも可能になります。

3. 「ワンステップ機械」（コンパイル）

通常、ループ（反復ステップ）や「if-then」の判断を含むプログラムを書くと、コンピュータはそれらの規則を一つずつ確認する必要があり、それは遅いです。

• アナロジー: Sutra は、あなたのレシピ（プログラム）を受け取り、あなたが座る前に、料理全体を調理済みの単一のブロックに事前調理するマスターシェフのようなものです。
• 結果: プログラムを実行すると、リアルタイムで「if」のチェックや「while」ループが発生することはありません。コンピュータは単一の巨大で連続的な数学の流れを実行するだけです。それは駅に止まらず、最初から最後まで滑らかに進む列車のようなものです。

4. 学習と「読みやすい」コード

Sutra が行う最も驚くべきことの 1 つは、学習することです。

• アナロジー: 通常、ニューラルネットワークが学習すると、人間には読めない数値の塊である「ブラックボックス」になります。Sutra は異なります。論理をより良く機能させるために、単一の数値（「ゲイン」または音量ノブ）を調整できます。
• 転換点: コンピュータがそのノブの完璧な設定を学習した後、Sutra はその数値を取り出し、それを単純な数値として元のコードに書き戻します。
• なぜ重要か: 神秘的なブラックボックスが得られるのではなく、「この論理を実行し、結果を 1.43 倍してください」と言う、クリーンで読みやすいプログラムが得られます。学習済みモデルは依然として人間が読み取れるテキストの断片です。

5. 「辞書」（コードブック）

コンピュータは「色」（ベクトル）しか理解しない場合、人間とどう会話するのでしょうか？

• アナロジー: Sutra は内蔵された辞書（コードブック）を持っています。「りんご」という単語を入力すると、コンパイラはプログラムが開始する前に即座にそれを「色」に翻訳します。プログラムが終了すると、結果として得られた「色」を見て、辞書から最も近い単語を見つけ、人間が読み取れる答えを返します。

論文が実際に証明したこと

この論文は、Sutra がまだ病気を治したり株式市場を予測したりできるとは主張していません。代わりに、3 つの具体的なことを証明しています。

1. 異なる図書館で機能する: 同じ論理プログラムを、コードを変更することなく、テキスト（書籍など）と生物学（タンパク質など）の両方の図書館で正常に実行しました。
2. 旧来の手法を上回る: これらの凍結された図書館において、Sutra の「回転」法は 100% の精度で情報を検索できましたが、従来の「粉砕」法は惨めに失敗し（ほぼランダムな推測まで低下しました）。
3. 学習可能で読みやすい: 彼らは、単語をカテゴリに分類する単純な分類器（プログラム）をゼロから学習させました。それはランダムな推測から始まり、100% の精度で学習し、最終結果は特定の数値が組み込まれたクリーンで読みやすいコードになりました。

要約すると、Sutra は、現代の AI の「凍結された脳」内で直接実行される論理規則を書けるようにする架け橋であり、それらを高速で学習可能かつ人間が読み取れる機械へと変換します。

技術概要

技術的概要：Sutra：ベクトル記号アーキテクチャのためのコンパイルターゲットとしてのテンソル演算 RNN

問題定義

ベクトル記号アーキテクチャ（VSA）は、従来、制御されたランダム分布から抽出された高次元ベクトルに依存し、バインディングのためにハダマール積（要素ごとの乗算）や円形畳み込みなどの演算を使用してきました。しかし、現代の「冻结（frozen）」大規模言語モデル（LLM）の埋め込みは、これらの仮定に適合しません。それらは異方的であり、ベクトル空間内の狭い円錐内に集中するため、コサイン類似度を圧縮し、複数のアイテムをバンドルする際の標準的なバインディング演算（ハダマール積など）が、破壊的なクロストークにより失敗する原因となります。

さらに、既存のニューロシンボリックシステムは、多くの場合、ニューラルモデルが離散シンボルを抽出し、その後、別の記号推論器がそれらを処理するという 2 段階のアーキテクチャに従っています。これにより、連続的な埋め込み空間と離散的な論理層との間に断絶が生じます。制御フロー、論理、および入出力がすべて単一の微分可能なテンソル演算グラフにコンパイルされ、連続的な埋め込み空間を完全なプログラミング言語の主要な基盤として扱うシステムは存在しません。

手法

本論文は、冻结した埋め込み基盤上で動作する PyTorch ニューラルネットワークにコンパイルされるように特別に設計された、型付きの純粋関数型プログラミング言語であるSutraを導入します。核心的な手法は、標準的な VSA 演算と制御フローメカニズムを置き換える 4 つの統合プリミティブを含みます。

1. 多項式ファジィ論理: 標準的なファジィ論理で使用される微分不可能な min/max 演算子（ゴードル t-ノルム）の代わりに、Sutra はクレインの 3 値論理（真理値：$+1, 0, -1$）に対してラグランジュ補間多項式を採用します。これらの多項式は離散的な $\{-1, 0, +1\}$ グリッド上では正確ですが、それ以外では $C^\infty$（滑らか）であり、テンソルグラフ内の論理結合子（AND、OR、NOT）を通じた勾配流を可能にします。
2. テンソルグラフへのベータ簡約: Sutra コンパイラは積極的なベータ簡約を行い、標準ライブラリの定義をインライン化し、代数式を簡略化します。その結果、名前付きバインディング、関数呼び出し、または Python 制御フローを含まない基盤純粋なテンソル演算グラフが生成されます。条件分岐はソフトマルチプレクサ多項式に低下され、ループはソフトハルト RNN セルにコンパイルされます。
3. 回転バインディング: 冻结した LLM 埋め込みの異方性に対処するため、Sutra はハダマール積に代わってハール直交回転バインディングを使用します。役割固有の直交行列 $R_{role}$ はコンテンツハッシュを通じて生成され、充填ベクトルに適用されます（$bind(role, filler) = R_{role} \times filler$）。この演算は、逆可能であり、異方的な基盤上でも良好な条件付けを持ちます。
4. RNN としての末尾再帰ループ: ループは末尾再帰関数宣言として表現されます。コンパイラはこれらをソフトハルト RNN セルに低下させ、状態ベクトルは固定幅となります。「停止」信号は、ヘヴィサイド条件の累積単調和を通じて計算され、ループが Python レベルの分岐なしに状態を固定することを可能にします。

このシステムは、文字列リテラルを埋め込みにマッピングし、出力で最近傍文字列をデコードするために、コンパイル時のコードブック（.sdb ファイルとして保存）を使用し、フォワードパス中のホスト側辞書参照を必要とせずに文字列入出力のループを閉じます。

主要な貢献

本論文は、4 つの具体的な技術的貢献を提示します。

1. ラグランジュ補間による微分可能な論理: クレイングリッド上では正確だがそれ以外では微分可能な多項式結合子の導出。ニューロシンボリック文脈における標準的なファジィ論理演算子に関連する勾配流の問題を解決します。
2. 基盤純粋なコンパイル: 高レベル関数型言語を、ホスト側制御フローを含まない単一の融合テンソルグラフ（行列積、要素ごとの演算、非線形）に削減するコンパイラパイプライン。これにより、プログラム全体が入力および学習可能パラメータの微分可能な関数であることを保証します。
3. 異方的基盤のための回転バインディング: 冻结した LLM 埋め込み（テキストおよびタンパク質モデル）において、回転ベースのバインディングがハダマールバインディングを上回るという実証的検証。ハダマールバインディングが偶然のレベルに崩壊するバンドル幅において、100% のデコード精度を維持します。
4. 可読で再コンパイル可能な学習済みモデル: 学習済みパラメータ（特にスカラーゲイン）を数値リテラルとしてソースコードに焼き戻すことのデモンストレーション。これにより、学習済みモデルは不透明なチェックポイントとしてではなく、学習された動作を高精度で再現する再コンパイル可能で人間が読み取れる Sutra プログラムとして表現可能になります。

結果

本論文は、2 つの主要な実験軸を通じてアプローチを検証します。

• クロス基盤容量: 3 つのテキストエンコーダ（nomic-embed-text、all-minilm、mxbai-embed-large）と 1 つのタンパク質言語モデル（ESM-2）の 4 つの冻结基盤で実験が行われました。

  • 回転バインディング: すべての基盤において、幅 $k=8$ でバンドルされたレコードのデコードにおいて100% の精度を達成しました。
  • ハダマールバインディング: 著しく崩壊し、同じ幅においてmxbai-embed-largeでは精度が2.5%、all-minilmでは**7.5%**まで低下しました。
  • ノイズ蓄積: 単一サイクルのレコードでは精度が 100% を維持しましたが、連鎖長 $L=8$ までには偶然のレベルまで劣化し、現在の実装の検証された領域を定義しました。

• エンドツーエンドの微分可能な学習:

  • Sutra で記述されたファジィルール分類器が、ランダム初期化（精度 $\approx 18.7\%$、偶然 $= 20\%$）から標準的な PyTorch 逆伝播を使用して 30 エポックで100.0% の精度まで学習されました。
  • 勾配が、再実装なしにコンパイルされたテンソルグラフ（類似度 $\to$ ラグランジュ - クレイン多項式 $\to$ 交差エントロピー）を通じて流れることが確認されました。
  • 重み付き変種は、埋め込みの異方性を相殺するためにスカラーゲイン $w$ を学習しました。学習済みモデルはソースコードに正常に「焼き戻し」され（例：1.431431 * similarity(...)）、このソースを再コンパイルすることで、最大差が $\approx 2 \times 10^{-7}$ となる学習済みログイットを再現しました。

意義と主張

本論文は、Sutra がニューロシンボリックコンピューティングと微分可能プログラミングの分野において新たな位置を占めていると主張します。その意義は、単一のアーティファクト内での論理と学習の統合にあります。

• アーティファクトの形状: Python スクリプトにプリミティブを公開するライブラリ（TorchHD など）や、知覚と推論を分離するニューロシンボリック言語（Scallop、DeepProbLog など）とは異なり、Sutra は制御フローや文字列入出力を含むプログラム全体を単一の融合テンソル演算グラフにコンパイルします。
• 基盤非依存性: このアーキテクチャは特定の埋め込みモデルに縛られておらず、テキストとタンパク質の両方の埋め込みへの同じソースコードの成功した移植によって実証されたように、高密度ベクトル表現を生成する任意のネットワークをターゲットにできます。
• 可読性: ソースリテラルとして書き戻すことができるパラメータを学習することにより、システムはブラックボックスのニューラル重みと解釈可能な論理プログラムの間のギャップを埋めます。学習済みモデルは「ブロブ」ではなく、再コンパイル可能なプログラムです。

著者は明示的に、この仕事が他のシステムに対する一般化ベンチマークではなく、コンパイルされたグラフを通じた「ソース - 学習の往復」と勾配流の検証であることを述べています。システムは現在、単一サイクルのレコードと特定の冻结基盤に限定されており、深いネストされたレコードや任意の埋め込みモデルは将来の課題として特定されています。