技術的概要：一般化ホログラフィック低次元表現（GHRR）

1. 問題定義

ハイパー次元コンピューティング（HDC）は、ベクトル記号アーキテクチャ（VSA）とも呼ばれ、接続主義と記号主義の AI を橋渡しする神経記号パラダイムとして機能する。これは、頑健性、ノイズ耐性、固定幅の合成といった特性を備えたデータを表現するために高次元のハイパベクトルを利用する。しかし、標準的な HDC 実装、特にフーリエ型ホログラフィック低次元表現（FHRR）は、複雑な構成的構造の符号化において重大な限界に直面している：

• 結合の可換性: FHRR における標準的な結合演算（スカラー位相の要素ごとの乗算）は可換である。これは、置換や位置符号化などの外部技術に依存することなく非対称な構造（例：シーケンス、木）を符号化する能力を制限し、表現を複雑にする。
• 表現力の限界: FHRR における結合演算は、低容量のホログラフィック射影（実質的にテンソル積の対角成分を取るもの）として機能する。これにより、深層学習におけるアテンション機構などで必要とされるような、複雑な相互作用に必要な十分な情報を保持する能力が制限される。
• スケーラビリティと効率性: 深層学習が膨大なデータと計算資源を通じて汎化を達成するのに対し、HDC はより効率的な代替手段を提供するが、現在、その望ましい特性（透明性、頑健性、固定幅）を犠牲にすることなく、複雑な構造的推論を処理するための表現力を欠いている。

2. 手法：一般化ホログラフィック低次元表現（GHRR）

著者らは、上記の限界に対処するために、基礎となる代数構造を一般化した FHRR の拡張である**一般化ホログラフィック低次元表現（GHRR）**を提案する。

核心的な数学的枠組み

• 要素の一般化: FHRR のハイパベクトルが単位群 $U(1)$（絶対値 1 の複素スカラー）の要素から構成されるのに対し、GHRR はこれらの要素を $m \geq 1$ に対する群 $U(m)$ のユニタリ行列に一般化する。
• ハイパベクトル構造: GHRR ハイパベクトル $H$ は、次元 $D \times m \times m$ のテンソルであり、$H = [A^{(1)}, \dots, A^{(D)}]^\top$ と表される。ここで、各 $A^{(j)} \in U(m)$ である。
• 演算:
  • 束縛 (+): 要素ごとの行列加算。
  • 結合 ($*$): 要素ごとの行列乗算。これは $m > 1$ の場合、本質的に非可換であり、順序や非対称な関係の自然な符号化を可能にする。
  • 類似度: $\delta(H_1, H_2) = \frac{1}{mD} \text{Re} \left( \text{tr} \left( \sum_{j=1}^D A^{(j)} (B^{(j)})^\dagger \right) \right)$ と定義される。

理論的性質

本論文は、GHRR が HDC の基本的な要件を満たすことを確立している：

1. 準直交性: ランダムにサンプリングされた基底ハイパベクトルは準直交的である（次元 $D \to \infty$ となるにつれて類似度は 0 に収束する）。
2. 結合不変性: 結合演算の結果は、その操作数に対して準直交的であり、合成構造がその構成部分と区別されることを保証する。
3. 類似度保存: 2 つの概念間の類似度は、第 3 の概念との結合の下で保存される。
4. カーネルとの関連: GHRR はランダムフーリエ特徴（RFF）との関連を維持する。GHRR 符号化間の類似度は、シフト不変カーネルを近似する。分解 $A = Q\Lambda$ における行列成分 $Q$ は、適応型カーネルを可能にし、カーネルの形状を入力または行列構造によって変調できる。

結合としてのアテンション

重要な理論的洞察として、GHRR 結合はアテンション機構を実装し得るという点である。

• 標準的なトランスフォーマーでは、アテンションは $\text{softmax}(QK^\top)V$ として計算される。
• GHRR では、結合演算（行列乗算）と類似度関数（積のトレース）の組み合わせが、数学的にアテンション機構を反映する。
• 行列成分 $Q$ を学習可能または固定の基底として扱い、$\Lambda$ をデータ符号化として扱うことで、GHRR 結合は、クエリ - キーの類似度に基づいて値の重み付き和を実行するが、これはハイパー次元代数の内部で行われる。

3. 主要な貢献

1. 枠組みの導入: 可換 FHRR の柔軟な非可換拡張としての GHRR の提案。具体的にはユニタリ行列 $U(m)$ を用いた実装を含む。
2. 理論的証明: GHRR が HDC の性質（準直交性、類似度保存）を満たし、$m=1$ の場合に FHRR と同等であることを形式的に証明。
3. カーネルと結合の分析: FHRR 結合（対角射影）とテンソル積表現（完全なテンソル積）の間の補間として GHRR 結合を解釈。GHRR 結合がアテンション機構を実装し得ることを実証。
4. 実証的検証:
   • 非可換性: 可換な FHRR とは異なり、GHRR（$m=3$）が置換演算なしにネストされた辞書や木を符号化できることを実証。
   • 復号精度: 深層構成的構造（木）の復号精度において、FHRR に比べて $m$（行列サイズ）を増加させることで精度が向上することを示した。
   • 容量: GHRR が FHRR と同等のメモリ容量を維持しつつ、非可換機能を提供することを確認。
   • 言語モデリング: トランスフォーマーの標準的なアテンション機構を GHRR ベースの同等物に置換。モデルを Wikitext-2 および Penn Treebank データセットでテスト。

4. 実験結果

• 非可換性: 辞書検索タスクにおいて、可換な FHRR はキーが置換された値を区別できなかったが、GHRR（$m=3$）は正しい値を正常に復元した。
• 復号深度: 木構造データにおいて、より大きな $m$ を持つ GHRR は、FHRR に比べてより深い深度で高い復号精度を維持した。興味深いことに、置換ベースの FHRR は当初 100% の精度を維持していたが、急激な低下を招いたのに対し、GHRR はより滑らかに減衰した。
• 容量: GHRR は FHRR と同等の束縛容量を示した。重要なのは、結合されたハイパベクトルの置換を区別する際、GHRR（$m > 1$）は置換を区別できない FHRR（$m=1$）を大幅に上回ったことである。
• 言語モデリング: トランスフォーマーのアテンションを GHRR 結合に置換した結果、言語モデリングタスクにおけるパープレキシティ（PPL）が改善された：
  • Wikitext-2: 平均 5.47% の改善。
  • Penn Treebank: 平均 2.75% の改善。
  • 最良の設定では、Query、Key、Value 行列に対して個別の位置符号化を使用していた。

5. 意義と主張

本論文は、GHRR が HDC の単純さと、複雑な記号的推論および深層学習に必要な表現力を橋渡しする柔軟な非可換結合演算を提供すると主張している。

• 表現力: GHRR 結合は他の HDC 変種よりも表現力が高く、標準的な VSA 結合には存在しない機能である行列乗算を通じて直接アテンション機構を実装可能である。
• 効率性と頑健性: HDC の固定幅、ホログラフィック、頑健な性質を維持することで、GHRR は標準的な深層学習の膨大な計算資源に依存しない、効率的で解釈可能な AI システムへの道筋を提供する。
• 神経記号統合: この枠組みは、接続主義モデルの学習能力を維持しつつ構造を明示的に指定できる、透明な神経記号統合をサポートする。
• 実用性: トランスフォーマーのアテンションを GHRR 結合で成功裏に置換したことは、ハイパー次元コンピューティングが最先端の深層学習アーキテクチャを直接強化し、構造化表現学習のための計算およびデータ要件を潜在的に低下させながら、言語モデリングタスクのパフォーマンスを向上させ得ることを示している。

著者らは、GHRR が従来の HDC の望ましい特性を犠牲にすることなく、複雑な構成的構造の正確な符号化と復号を可能にすることで、効率的かつ解釈可能な AI への新たな道を開くと結論づけている。