LAWS: Learning from Actual Workloads Symbolically -- A Self-Certifying Parametrized Cache Architecture for Neural Inference, Robotics, and Edge Deployment

本論文は、実際のワークロードから形式的に境界付けられた専門関数のライブラリを動的に構築し、ニューラル推論、ロボティクス、エッジシステムに対するデプロイ時のエラー保証を提供するとともに、既存のミクスチャー・オブ・エキスパートおよび KV キャッシング手法を一般化してそれらを上回る性能を発揮する、自己認証型のパラメータ化キャッシュアーキテクチャである LAWS を導入する。

要約

あなたは毎日数千の数学の問題を解かなければならない、天才的だが疲弊した教授だと想像してください。これらの問題のほとんどは、実際には以前に見たことのある同じ問題で、数字や名前がわずかに異なるだけです。

現在、あなたのシステムは、百万回も解いたことのある問題さえも、すべてゼロから再解決することを強要しています。これは遅く、高価で、多くのエネルギーを浪費します。

LAWS（Learning from Actual Workloads Symbolically：実際の作業負荷から記号的に学習する）は、この問題を修正するために教授（AI モデル）の上に載る新しい「スマートアシスタント」です。簡単なアナロジーを用いて、その仕組みを説明します。

1. 自ら書く「カンニングペーパー」

LAWS を、自ら書くカンニングペーパーと考えてください。

• 仕組み: 教授が問題を解くたびに、LAWS はそれを見守ります。もし「入力がこのように見えるときは、答えはいつもあれだ」といったパターンに気づけば、将来その特定の問題タイプを処理するための小さく単純な規則（「エキスパート」）を書き留めます。
• 魔法: 教授に何かを再学習させる必要はありません。教授の既存の知識（「重み」）を眺めるだけで、「あなたはこれができる；ここにショートカットがある」と言うだけです。

2. 「安全バッジ」（自己認証）

通常、ショートカットを使おうとすると、「このショートカットは本当に正しいのか、それとも間違った答えを出すのではないか？」と心配します。

• LAWS の解決策: LAWS が作成するすべてのショートカットには、数学的な安全バッジが付いています。ショートカットを使用する前に、教授の元の脳を調べて、その特定の問題タイプに対してショートカットが 100% 安全であることを証明します。
• アナロジー: 単に車が安全に運転できるかどうかを推測する交通警官ではなく、今まさに安全であることを証明するメーカーからのデジタル証明書を持っているようなものです。ショートカットが認証されていない場合、LAWS はそれを使用することを拒否し、教授に難しい作業を任せます。

3. 「二つの脳」システム（システム 1 vs システム 2）

この論文は、人間の思考のあり方（心理学者ダニエル・カーネマンのアイデアに基づく）と比較しています。

• システム 2（教授）: 遅く、慎重で、エネルギー集約的。これが難しい数学を行う巨大な AI モデルです。
• システム 1（カンニングペーパー）: 速く、自動的で、安価。これが LAWS です。
• 連携の仕組み: 質問が入ってくると、LAWS はまずカンニングペーパーをチェックします。
  • ヒット: 「以前に見たことがある！即座に答えを提示する。」（速く、安価）
  • ミス: 「これは私がまだ見たことのない新しい変種だ。」（LAWS は「わかった、教授、これはあなたが処理してください」と言います）
  • 結果: 教授は、絶対に必要な場合のみ、難しい作業を行います。

4. 「艦隊」効果（共に学ぶ）

それぞれ異なるタスクを行っている 1,000 体のロボットの艦隊を想像してください。

• LAWS なし: ロボット A がドアの開け方を学びます。ロボット B は、同じドアであるにもかかわらず、ゼロからドアの開け方を学び直さなければなりません。
• LAWS あり: ロボット A がそのドアを開けるためのショートカットを解明すると、規則を書き留めて共有クラウドにアップロードします。ロボット B はその小さな規則を即座にダウンロードします。
• メリット: 艦隊全体が共に賢くなります。1,000 体のロボットが働いている場合、新しいショートカットを発見する速度は、単一のロボットが働く場合の 1,000 倍になります。

5. エネルギーの節約（「バッテリー」のアナロジー）

巨大な AI モデルを動かすことは、高出力のジェットエンジンを動かすようなもので、多くの燃料（電気）を消費します。

• LAWS の影響: 「カンニングペーパー」のショートカットを 90% の頻度で使用することで、システムは稀で困難な 10% の質問に対してのみ「ジェットエンジン」を点火すればよくなります。
• 結果: この論文は、これにより約10 倍のエネルギーを節約でき、スマートな AI をバッテリーを瞬時に消耗させることなく、スマートフォンやロボットなどの小型デバイスで実行可能になると主張しています。

6. 人間は不要

人間がすべての規則や事実を手動で書き留めなければならなかった旧来の「記号的 AI」（Cyc や Wolfram Alpha など）とは異なり、LAWS は規則を自動的に発見します。

• アナロジー: 人間の司書がすべての本のために目録カードを書くのではなく、LAWS は人々が本を借りる様子を見て、パターンに気づき、自動的に目録カードを書くロボット司書です。

まとめ

LAWS は、以下の方法で AI モデルをより速く、より安価にするシステムです。

1. 彼らの行動を監視する。
2. 彼らの作業から単純なパターンを発見する。
3. 数学を用いてそれらのパターンが安全であることを証明する。
4. 毎回難しい作業を行う代わりに、それらの単純なパターンを使用する。

これにより、「遅く、慎重な思考者」を「主に筋肉の記憶に頼る専門家」へと変えますが、その筋肉の記憶が常に正しいという保証付きです。

技術概要

技術概要：LAWS – 実際のワークロードからの記号的学習

1. 問題定義

大規模言語モデル（LLM）、拡散モデル、ロボティクス制御器を含む現代のニューラルネットワーク推論システムは、「再利用なしの反復」という根本的な非効率性に直面しています。推論クエリの大部分は、以前遭遇したパターンの変種（例えば、異なる変数名を持つ同じアルゴリズム、または異なるオブジェクトに対する同じ操作タスク）ですが、現在のシステムには、これらの計算パターンを自動的に発見し、検証し、再利用するメカニズムが欠如しています。

既存のアプローチには重大な限界があります：

• KV キャッシュ： 厳密なトークン接頭辞に対してのみ計算を再利用します。パラメトリックな変異には対応できません。
• エキスパートの混合（MoE）： 訓練時に決定された固定されたサブネットワーク群へルーティングします。ライブラリは成長せず、特定の入力に対する正しさの形式的保証はありません。
• 記号 AI（例：Cyc、Wolfram Alpha）： 手動で作成されたルールと語彙に依存しており、膨大な人的労力を必要とし、キュレーションされたドメイン外では一般化できません。

核心的なギャップは、展開経験から再利用可能な計算パターンを自動的に発見し、再訓練なしでその妥当性を形式的に検証し、これらのパターンのライブラリを継続的に成長させるシステムの欠如です。

2. 手法：LAWS アーキテクチャ

LAWS（Learning from Actual Workloads Symbolically）は、訓練済みのニューラルネットワーク（$F_W$）の上に透明なインターセプション層として機能する推論時アーキテクチャです。ベースモデルを変更したり、追加の訓練を必要としたりすることなく動作します。

中核コンポーネント

1. パラメトリックエキスパート： LAWS は、エキスパートのライブラリ $\mathcal{L}$ を維持します。各エキスパート $e = (n^*, f, \phi, \tau^*, \epsilon_{fit})$ は以下の構成要素からなります：

   • シグナルポスト（$n^*$）： 確率的言語トライ（PLT）からの代表的な入力（トライノード）。
   • 関数（$f$）： $F_W$ を近似する安価な計算（定数、線形/ヤコビアン補正、プリミティブアルゴリズム、または小型 MLP など）。
   • パラメータ抽出器（$\phi$）： 入力を $f$ に必要なパラメータにマッピングします。
   • 妥当性半径（$\tau^*$）： エキスパートが正しいことが保証される PLT 空間内のメトリック距離。
   • 適合誤差（$\epsilon_{fit}$）： シグナルポストにおけるエキスパートとベースモデル間の誤差境界。

2. 確率的言語トライ（PLT）ルーティング：

   • システムは、入力間の類似度を測定するために PLT メトリック $d_T(s, s') = -\log_2 P_M(s \wedge s')$ を使用します。
   • クエリ $x$ を受け取ると、LAWS は $x$ を含むエキスパートの妥当性ボール $B(n^*, \tau^*)$ を検索します。
   • 一致が見つかった場合（キャッシュヒット）、安価な関数 $f(\phi(x))$ が実行されます。
   • 一致が見つからない場合（キャッシュミス）、完全なベースモデル $F_W(x)$ が実行されます。その後、出力はライブラリに新しいエキスパートを蒸留するために使用されます。

3. リプシッツ定数による自己検証：

   • 中核的な革新は、すべてのエキスパートの妥当性が、推論なしで訓練済み重みから計算可能なベースモデルのリプシッツ定数 $\Lambda(W)$ を用いて形式的に検証されることです。
   • ルーティング半径 $\tau^*$ は、$\Lambda(W)$、適合誤差、および品質閾値 $\delta$ から導出されます。これにより、半径内の任意の入力に対して近似誤差が $\delta$ 以下に抑えられることが保証されます。

3. 主要な貢献と理論的結果

A. 自己検証定理（定理 3）

本論文は、訓練済み重み $W$ がすべてのエキスパートの妥当性を検証するリプシッツ定数 $\Lambda(W)$ を符号化していることを証明しています。

• 結果： 任意のエキスパート $e$ とその妥当性半径内の入力 $x$ に対して、誤差 $\|F_W(x) - f(\phi(x))\|$ は $\epsilon_{fit} + 2\Lambda(W) \cdot CE$（ここで $CE$ は埋め込み直径）によって抑えられます。
• 意義： これにより、ウォームアップ段階、プロキシモデル、または再訓練を必要とせずに正しさの形式的保証が得られます。

B. エキスパートライブラリのダイナミクスと成長（定理 6, 7, 8）

• 単調なヒット率： ライブラリが成長するにつれて、期待されるキャッシュヒット率は非減少します（定理 6）。
• 成長率： エントロピー $H$ を持つ定常分布の下では、$N$ 回のクエリ後に作成される新しいエキスパートの数は $O(2^H \log N)$ です。固定エントロピーのワークロードの場合、これは $O(\log N)$ です。
• 獲得コスト： 新しいエキスパートを獲得するコスト（作成をトリガーするために必要な「ミス」）は、$N \to \infty$ においてゼロに償却されます（定理 8）。

C. 先行研究の一般化（定理 10）

LAWS は既存のアプローチを厳密に一般化することが示されています：

• KV キャッシュ： $\tau^* = 0$ かつ $f$ が恒等関数である退化ケースとして復元されます。
• エキスパートの混合： ライブラリサイズ $K$ が固定され、トライの深さが 1 であるケースとして復元されます。
• 記号 AI： Cyc や Wolfram Alpha と異なり、LAWS はモデルの分布から記号的語彙を自動的に発見し（定理 11）、形式的な妥当性証明を提供します。

D. ロボティクスとフリート学習（定理 15, 16）

• フリート収束： $K$ 個の協調ユニットからなるフリートは、単一ユニットよりも $\Omega(K)$ 倍速く完全なカバレッジに収束します。
• OTA 更新： オーバー・ザ・エア更新に必要な帯域幅は $O(2^H \log(\Delta N) \cdot B_{expert})$ に抑えられます。1,000 台のロボットからなるフリートの場合、これはロボットあたり約1 日あたり 870 KBに相当し、エッジデバイスでの継続的学習を可能にします。

E. エネルギー節約（定理 18）

• コスト削減： キャッシュヒットは $O(n + k \cdot d_{model})$ FLOPs を消費するのに対し、完全なパスでは $O(Ln^2 + Lnd_{model})$ です。
• 結果： 90% のヒット率において、LAWS はクエリあたりのエネルギー消費を最大10 倍削減します。

4. 生物学的および科学的アナロジー

本論文は、LAWS を生物学的知能の計算論的定式化として位置づけています：

• カーネマンの二重プロセス理論： LAWS は、システム 1（高速、パターンベース）をエキスパートライブラリに、システム 2（低速、意図的）をベースモデルにマッピングします。遷移は、クエリ距離が妥当性半径を超えたときにトリガーされる「中止と再計画」シグナルです。
• チョムスキーの先天仮説： 事前訓練された重み $W$ は、先天言語獲得装置（LAD）として機能し、展開前に可能な文法/パターンの空間を制約する事前構造（PLT トライ）を提供します。
• 科学的発見： 科学者が観察から自然法則を発見し、立法するのではなく、LAWS は実際のワークロードから「法則」（不変パターン）を発見し、安価で検証済みのエキスパートとして符号化します。

5. 意義と主張

本論文は、LAWS が特にエッジデバイス上の展開された AI の時代における、AI 推論の新しいパラダイムを表すと主張しています。その意義は以下の点にあります：

1. 形式的安全性： ヒューリスティックなキャッシングとは異なり、LAWS はモデル重みから直接導出されたすべてのキャッシュ済みエキスパートに対して$\delta$-精度保証を提供します。
2. 自動知識成長： 人手による記号ルールや固定されたエキスパートプールを不要とし、システムが使用から継続的に新しい能力を学習し検証することを可能にします。
3. スケーラビリティ： 分散デバイスがコンパクトな OTA 更新を介して効率的に知識を共有するフリート学習を可能にします。
4. 効率性： 反復的なワークロードに対して大幅なエネルギーおよびレイテンシ削減を提供し、リソース制約のあるハードウェアでも高機能モデルを現実的なものにします。

著者は、Safebox/Safebots.ai エコシステムをこのアーキテクチャの実用的な実現として位置づけ、LAWS エキスパートとハードウェアによる証明されたポリシー実行を組み合わせ、証明可能で監査可能かつ帯域幅効率の高い推論基盤を構築しています。

6. 限界と未解決の問題

本論文は特定の限界を認識しています：

• リプシッツ境界： 理論的な最悪ケースのリプシッツ定数 $\Lambda(W)$ は、深層ネットワークにおいて大きく、妥当性半径が小さくなる可能性があります。著者は、分布内データにおける実効的リプシッツ定数ははるかに小さいと仮定しています（仮説 1）が、これは実証的な検証が必要です。
• 定常性仮定： 理論的な収束保証は、定常的な入力分布を仮定しています。システムはキャッシュミス経路を通じて分布シフトに対処しますが、形式的境界は定常領域に適用されます。
• 高精度タスク： 極端な精度を必要とするタスク（例：高い小数点以下の算術）の場合、必要な感度が妥当性半径を超え、システムが常にベースモデルを呼び出すことを余儀なくされます（系 2）。

結論として、LAWS は、ニューラルネットワークが自身の運用履歴からの計算法則の自動発見と検証を通じて、「システム 2」的思考者から「システム 1」のエキスパートへと進化するための、数学的に裏付けられた枠組みを提案しています。