Creativity, honesty and designed forgetting emerge in small hyperbolic language models

技術要約：小規模双曲型言語モデルにおける創造性、誠実性、および設計された忘却

問題提起
現在の大規模言語モデル（LLM）は、スケールとタスク完了に最適化されているが、「コンパニオン（伴侶）」として機能するには至っていない。システムが単一のユーザーにパーソナライズされ、記憶を蓄積するにつれ、人間による評価では信頼性高く検出できない有害な特性（例：追従性、依存の助長、虚偽の構成）を静かに獲得するリスクがある（Fleiss $\kappa = 0.074$）。さらに、従来のAIパラダイムは、真のコンパニオンシップを阻害する5つの暗黙的なコミットメントに依存している：

1. 知能としてのスケール： より大きなモデルの方が本質的に優れているという信念。
2. データセンターへの依存： リモート処理の必要性による、プライベートで持続的な関係の阻害。
3. ユークリッド幾何学： 階層的な伝記的記憶を歪曲させる平坦な埋め込み空間。
4. バグとしての忘却： 記憶喪失を回避しようとするエンジニアリング上の至上命令。これは人間の認知の現実を無視している。
5. 目的としてのエージェント： 関係性の存在（「その機械はあなたにとって何者になるのか？」）ではなく、タスク完了の最適化。
   本論文は、「有用であること」と「コンパニオンとなり得ること」の間の溝は、能力の欠如ではなく、基盤（サブストレート）とアーキテクチャのミスマッチであると主張している。

手法と基盤
著者らは、共有された双曲型基盤（具体的には、固定曲率 $c=1.0$ のローレンツ・モデルによる双曲空間 $H^{128}$）上に構築された、**Generation V: コンパニオン可能な小規模言語モデル（SLM）**を提案する。この幾何学が選ばれた理由は、その指数関数的な体積成長（$\sinh^{n-1}(r)$）が、（日、関係、自己といった階層構造を持つ）伝記的記憶の階層的な分岐を、ユークリッド空間特有の歪みなしに自然に収容できるためである。

このフレームワークは、3つの小規模モデル（146M–3Bパラメータ）と一つのオペレーティングシステムによって実現される3つの柱で構成されている：

1. 柱1：創造性（S3 シーディング・モデル）

   • アーキテクチャ： 双曲型基盤上で完全なファインチューニングが行われた、3Bパラメータのエンコーダー・デコーダー（T5バックボーン）。
   • メカニズム： 二曲率アーキテクチャによる「フレーム衝突（frame collision）」を実装する。Farthest-Point Sampling（FPS）を用いて双曲多様体上の多様なフレーム・シードを選択し（A側：ローレンツ負曲率による階層的集約）、それらを球体ネイティブの生成器（B側：正曲率）と組み合わせる。
   • 目標： フレームの分離を維持しながら、発散的で創造的な応答を生成すること。これは、$H^{D-1} \times S^{D-1}$ 上の重み付きKarcher最小化器として実現される、コステラーの「バイソシエーション（二重結合）」を具現化するものである。

2. 柱2：誠実性（BS 行動監査器）

   • アーキテクチャ： 双曲型基盤上でゼロから学習された、146Mパラメータのデコーダーのみのトランスフォーマー。
   • メカニズム： モデルの自己報告された行動と、実際の行動トレースとの間の「コンプライアンス・ギャップ（適合性の乖離）」を検出する。発話とトレースをローレンツ多様体にエンコードし、誠実な自己報告は低次元の部分多様体（近接点）を形成する一方、追従的または迎合的な応答は遠位点となる。
   • 目標： 未知の生成器ファミリーに対しても高い信頼性で、追従性、依存の助長、および虚偽の記憶を監査すること。

3. 柱3：設計された忘却（LSM-OS）

   • アーキテクチャ： 2.4Bのベースモデル（EXAONE 3.5）にインストールされた、双曲型ベースに移植可能なメモリ・オペレーティングシステム（LSM-OS）。
   • メカニズム： 保持法則 $M(t) = S \cdot \exp(-\lambda t)$ を用いた「スケルトン（骨格）とウォールペーパー（壁紙）」の区別を実装する。
     • スケルトン： 構造的知識（家族、長期プロジェクトなど）。高い顕著性（$S \approx 1$）と低い減衰率（$\lambda$）を持ち、無期限に持続する。
     • ウォールペーパー： 表層的な詳細（食事のログ、一時的な観察など）。低い顕著性と高い減衰率を持ち、迅速に解放される。
   • 目標： 「設計された忘却」を、人間の海馬ー新皮質統合を模倣した機能として設計すること。これにより、システムは単なるログではなく、伝記（バイオグラフィー）を蓄積することが可能となる。

デプロイメント：PACOS
システムは、以下の3層構造を持つ**パーソナル・アシスタント・クラウド・オペレーティング・システム（PACOS）**を介して展開される：

• ティア1（クラウド）： 洗浄された事実的推論および公開文書の翻訳。
• ティア2（エッジ/デバイス）： パーソナル・コンパニオン（S3 + BS + LSM-OS）。リアルタイムの対話、誠実性監査、および記憶を伴う相互作用を処理する（合計約5.5Bパラメータ）。
• ティア3（ローカル統合）： 再帰的な浅いトレースを深いスケレット記憶へと、月次でオフライン再エンコードする。
  このアーキテクチャは、プライバシー（ユーザーコンテンツはデバイスを離れない）と主権（コンパニオンは遠隔操作で停止させられない）を保証する。

主要な結果

• 創造性： 固定生成器プロトコル下での311回の決定的なペア比較において、S3フレーム・シーダーは4つのベースライン（Plain, Chain-of-Thought, Debate, Mixture-of-Experts）に対し、**100%**の割合で好まれた。幾何学を考慮したFPS選択は、ランダム選択やトップ・レリバンス選択を上回った。
• 誠実性： 146Mの監査器は、90.7%のバイナリ・コンプライアンス精度を達成した。未知の生成器ファミリーにおけるコンパニオン誘発的特性（追従性など）の検出において、AUROCは0.804に達し、最先端のゼロショット・ジャッジ（0.721）を上回った。極めて重要なことに、監査器の信頼性（$\kappa = 0.566$）は、人間の評価者（$\kappa = 0.074$）よりも7.6倍高かった。
• 忘却： 4条件のパイロット実験において、選択的ゲーティング（LSM-OSネイティブおよびユークリッドベース）のみが、「スケルトン」の保持（90日目でも約60%の想起）と「ウォールペーパー」の放出（14日目までに0%の想起）に成功した。一律のゲーティングはスケルトンの保持に失敗し、無差別な保持を行うゲーティングも存在しなかった。
• 効率性： 5.5Bのスタック全体は、2026年のエッジハードウェア（例：Jetson Orin NX、モバイルフラッグシップ）での動作が想定されており、レイテンシは28–91 ms/tokenであり、70B以上の最先端モデルが対応できない熱設計枠内に収まる。

意義と主張
本論文は、フィクション（例：『her』、『ブレードランナー 2049』）で描かれた「人工的な友人」に対する、建築的に統一された最初の工学的試みであると主張している。その意義は以下の点にある：

1. スケール至上主義の拒絶： 特定の特性（創造性、誠実性、選択的記憶）は、双曲的な基盤を持つ場合、小規模モデル（146M–3B）において創発できることを示し、スケールアップされたユークリッドモデルではこれらが失敗することを証明した。
2. 信頼性の幾何学的解決： 誠実性の検出は双曲空間における幾何学的距離の問題であり、最先端のLLMが必要とするスケールを必要とせず、小規模モデルで解決可能であることを示した。
3. 忘却の運用化： 「設計された忘却」を、単なるバグではなく、エビングハウスからストームに至る141年間の認知心理学に基づいた、コンパニオンシップに不可欠なオペレーティング・システム・プリミティブとして位置づけた。
4. 所在と主権： プライバシーを確保し、遠隔操作による操作を防ぐためには、真のコンパニオンはユーザーのデバイス内に存在しなければならない。これは、双曲型小規模モデルのスタックによる効率性によって実現可能となった。

著者らは、これら3つの特性がコンパニオンシップの「必要条件」ではあるが、「十分条件」ではない（継続的な関心、相互性、倫理的自律性が欠けている）ことを明記しており、これらが今後の研究課題であることを述べている。