💻 computer science

Time as a Computational Substrate: The Eligibility Trace and the First Challenge to the von Neumann Architecture

本論文は、時間という概念を単なるシーケンス番号と見なすフォン・ノイマン型アーキテクチャの仮定に対し、スパイキングニューラルネットワークにおける創発的な分化への特有の必要性と、確率的勾配降下法におけるその同型的な因果構造を実証することによって、時間の因果の矢をハードウェアに直接埋め込む新しい計算基質として、エリジビリティ・トレースを導入するものである。

原著者： Yahua Ruan

公開日 2026-08-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yahua Ruan

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

単なる刻むだけの時計ではないもの

あなたがロボットにキャッチボールの遊びを教えようとしている場面を想像してみてください。ロボットはボールを投げるたびに、それがターゲットに当たったかどうかを確認するために数秒間待ちます。もし当たれば、ロボットはポイントを獲得します。外れれば、何も得られません。1940年代から標準となっている従来のコンピュータの世界では、時間は単なる「命令のリスト」に過ぎません。コンピュータは、「ステップAを行い、次にステップBを行い、次にステップCを行った」と考えます。コンピュータは、ステップAがステップCの結果を引き起こしたということを本当の意味では理解していません。コンピュータは時間を、番号の振られたロッカーの列のように扱います。ロッカー1、ロッカー2、ロッカー3。もしロッカー1にメッセージを入れたとしても、コンピュータはその特定のロッカーを開けた時に初めてその存在を知るのです。コンピュータには、「3ステップ前にやったあのことが、今自分が嬉しい理由なのだ」と言うための組み込まれた方法がありません。

この論文は、科学の異なる領域、すなわち「時間が経過する中で、機械がいかにして因果関係から学ぶか」について深く掘り下げています。これは、コンピュータがどのように構築されているかという、非常に古い概念に異議を唱えるものです。何十年もの間、私たちは時間は単なる中立的なシーケンス（連続体）、つまり前進する単純なカウンターであると想定してきました。しかし、自然界、特に人間の脳は、時間を異なる方法で処理しているようです。脳は、直前に何が起きたかという「消えゆく記憶」を保持し、後から結果が届くのを待ち、その記憶が良かったか悪かったかを判断します。この論文は、大きな問いを投げかけます。「もし、時間を単なる数字のリストとしてではなく、過去と未来をつなぐ物理的な架け橋として扱うコンピュータを作ることができたらどうなるだろうか？」もしそれが実現できれば、機械は物事が「起きた」ことだけでなく、「なぜ起きたのか」を理解することを学べるようになるかもしれません。

時間を旅する記憶

この論文の著者であるヤフア・ルアン（Yahua Ruan）は、私たちがパズルの極めて重要なピースを見落としていると提唱しています。彼らは、**エリジビリティ・トレース（適格性痕跡）**と呼ばれる概念を導入しています。これは、コンピュータが特定のアクションに対して残していく「付箋」のようなものだと考えてください。

標準的なコンピュータ（私たちが日常的に使用している「フォン・ノイマン型アーキテクチャ」に基づくもの）では、ボタンを押すとコンピュータは即座に何かを実行します。もし結果が後になって現れたとしても、コンピュータはそのボタン押しと結果を結びつける方法を持っていません。それは、峡谷に向かって叫び、そのエコーが自分がどの言葉を叫んだかを正確に教えてくれることを期待しているようなものですが、その峡谷にはあなたの声の記憶がありません。

エリジビリティ・トレースはこのルールを変えます。それは、「何かを行うと、その消えゆく跡を残す」という単純な方程式です。この跡は瞬時に消えることはありません。それは、空気中の香りや池に広がる波紋のように、時間の経過とともに弱まりながらも、残り続けます。もし報酬（「よくやった」という信号のようなもの）が後から到着した場合、コンピュータは自分が残したすべての消えゆく跡を調べます。そして、「ああ、3秒前のあの跡がまだ強く残っている。そしてその時に報酬を得た。だから、あの行動が原因だったのだ！」と判断するのです。

論文は、この「消えゆく跡」は単なる巧妙なトリックではなく、60年以上にわたる標準的なコンピュータ設計に対する最初の実用的な挑戦であると主張しています。著者は、この特定のメカニズムがなければ、機械は結果が遅れてやってくる場合に、良い行動と悪い行動を区別して学習することはできないと示唆しています。

大規模な実験：トレースが不可欠であることの証明

これを証明するために、研究者たちは単に推測したのではなく、大規模なシミュレーションを実行しました。彼らは8万個の小さな「ニューロン」（論文ではスパイキング・ニューラルネットワークと呼んでいます）からなるデジタル脳を構築し、それに学習という任務を与えました。彼らはこの脳の5つの異なるバージョンをテストしました。

フル・ブレイン（完全な脳）: エリジビリティ・トレース（付箋）を備えている。
トレースレス・ブレイン（跡のない脳）: エリジビリティ・トレースを完全に除去したもの。
その他のバリエーション: 「報酬予測」や「重みの飽和」といった他の要素を取り除き、それらが真の主役であるかどうかを確認したもの。

結果は驚くべきものでした。エリジビリティ・トレースを取り除くと、脳は学習を停止しました。凍りついてしまったのです。「ジニ係数」（脳の接続がいかに専門化されたかを測定するための高度な数学的手法）は横ばいになりました。脳は賢くなるどころか、開始時と全く同じ状態のままでした。

しかし、トレースは維持したまま他の部分を取り除いた場合、脳は（少しやり方は変わるものの）依然として学習を行いました。著者は、エリジビリティ・トレースこそが唯一の必要条件であることを発見しました。それはエンジンです。これなしでは、たとえホイールや燃料がどれほど優れていても、車は動き出しません。

彼らはまた、これらを2種類のコンピュータ（CPUとGPU）でテストしましたが、結果は小数点第3位まで同一でした。このことは、この発見が単なるコードの不具合ではなく、学習の仕組みにおける根本的なルールであることを示唆しています。

「タイム・ネイティブ」革命

論文はさらに、この「消えゆく跡」の論理は他の学習システムにも存在していることを示唆しています。彼らは、現代のAI（エッセイを書いたりチャットしたりするもの）が**確率的勾配降下法（SGD）**と呼ばれる手法を用いてどのように学習しているかを調査しました。彼らは、これらのシステムで使用される「モメンタム（慣性）」が、まさにエリジビリティ・トレースと同じ役割を果たしていることを発見しました。それは、AIが次にどの方向に進むべきかを決定するのに役立つ、過去の勾配の記憶なのです。

巧妙な実験において、彼らは大規模なAIモデルの中でこの「記憶」を壊そうと試みました。学習信号の方向をバラバラにした（「消えゆく跡」を混沌とした状態にした）ところ、AIは天井に突き当たり、どれほど訓練しても改善が止まってしまいました。しかし、信号を強くしても、学習が速くなることはなく、単に同じ速度で学習するだけでした。これは、時間の構造（過去と未来の間の架け橋）が、信号の強さよりも重要であることを証明しています。

未来にとっての意味

著者は、現在のコンピュータの作り方は、より大きな可能性の中の「特殊なケース」あるいは「退化した限界」であると結論づけています。時間を単純なカウンターへと崩壊させることで、私たちは数学には長けているが、時間の経過に伴う因果関係の理解には疎い機械を作り上げてしまったのです。

彼らは、**タイム・ネイティブ計算（時間原生計算）**と呼ばれる新しい種類のコンピューティングを提案しています。この新しい世界では、時間は単なる時計上の数字ではありません。時間は、機械の脳の物理的な一部となります。機械は、「イベントAがイベントBを引き起こした」ということを自然に理解することになります。なぜなら、Bが起きた時に、Aの記憶がまだ「粘り強く（スティッキーに）」残っているからです。

この論文は、まだ完璧な「時間を旅するロボット」を構築したと主張しているわけではありません。言語や運動制御といった現実世界のタスクにおけるさらなる検証が必要であることも認めています。しかし、エリジビリティ・トレースこそが欠けていた鍵であるという、最初の確かな証拠を見つけたと主張しています。もし私たちが、私たちと同じように——つまり、行動と遅延報酬の間の点と点を結びつけながら——真に学習する機械を望むのであれば、時間を単なる命令のリストとして扱うのをやめ、架け橋として扱い始める必要があると示唆しています。

要約すれば、この論文は、機械が真に賢くなるためには、過去を単なるフォルダ内のファイルとしてではなく、未来がその意味を教えてくれるのを待つ「消えゆく残響」として記憶する必要があると論じています。そして、その残響、すなわちエリジビリティ・トレースこそが、過去80年間にわたるコンピュータのあり方に対する、最初の真の挑戦なのです。

技術要約：計算基質としての時間

問題提起
1945年のフォン・ノイマン型アーキテクチャの定式化以来、汎用コンピューティングは、時間は離散的で一様であり、意味的に中立なシーケンス番号（プログラムカウンタ）であるという、検証されていない仮定の下で運用されてきた。このパラダイムにおいて、物理的な時間の矢は計算上の意味を持たない。すなわち、マシンは、あるイベントが3サイクル前に発生したのか、あるいは3万サイクル前に発生したのかを、メモリのアドレスインデックスとしてではなく、区別することができない。その後のニューラルネットワークの世代（フィードフォワード、CNN、RNN、Transformer）は表現力を向上させてきたが、この根本的な前提に挑戦してはいない。これらは時間を、エンコード、圧縮、またはマスクされるべき「座標」として扱っており、因果関係が計算へと入り込むための「物理的な基質」として扱ってはいない。本論文は既存の文献におけるギャップを特定している。すなわち、ニューロモーフィック・チップやリザーバー・コンピューティングが時間的ダイナミクスを利用し、強化学習が適格性トレース（eligibility trace）を利用している一方で、これまでの研究では、学習規則そのものの中に因果の矢が明示的にエンコードされた構造を示した例はなく、また、そのような構造が「創発的な分化（differentiation）」のための唯一の必要条件であることを、アブレーション検証によって証明した研究も存在しない。

方法論
著者は、式 $e(t + 1) = \lambda e(t) + \Delta w$ によって定義される適格性トレースを中心とした、「タイムネイティブ（時間原生）」な計算構造を提案し、検証する。この構造は、局所的なイベント（シナプス変化）を、遅延したグローバルな評価信号へと橋渡しする。本研究は、以下の3つの異なる領域を通じて仮説を検証するクロス・サブストレート・アプローチを採用している：

スパイキングニューラルネットワーク (SNN): スパイク・タイミング依存可塑性（STDP）を用いた報酬変調型SNNを、合成パターン認識タスクを用いてテストした。研究では、3つのスケール（ $N=800, 8,000, 80,000$ ニューロン）および3つのランダムシードを用い、5つの条件によるアブレーション設計を実施し、500,000ステップ実行した。テスト対象となったコンポーネントは、フルモデル、適格性トレースの除去（ $no\_ELIG$ ）、乗法的LTPの除去（ $no\_MULT$ ）、ロジスティック重み飽和の除去（ $no\_LOG$ ）、および報酬予測誤差の除去（ $no\_RPE$ ）である。
確率的勾配降下法 (SGD): 線形アテンションモデル（CubeAttn, $d=2048$ ）を用いた摂動実験をAdamWを用いて実施した。研究では、「勾配方向の一貫性」（適格性トレースのSGDにおける類似物）を、勾配を増幅させる（ $batch\_spike$ ）、あるいは直交ノイズによって時間的一貫性を劣化させる（ $ortho\_kick$ ）ことによって操作した。
因果発見: 既知の因果ラグを持つ合成ベアリング振動データを用いて、スパイキングネットワークを訓練した。ネットワークはスカラー報酬信号のみを受け取り（明示的な因果ラベルなし）、適格性トレースがグレンジャー因果関係を回収できるかどうかをテストした。

主な貢献

計算プリミティブとしての適格性トレース: 本論文は、適格性トレースを単なる学習規則の構成要素としてではなく、物理的な時間の矢が学習メカニズムに直接エンコードされた「タイムネイティブ」なプリミティブとして定義する。これは、分化はグローバルな信号と、減衰する局所的イベントの積から生じるという命題を提示している： $Differentiation = Global Signal \times Decaying Memory$ 。
アブレーションによる検証された必要性: 系統的なアブレーションを通じて、著者は、適格性トレースが創発的な分化（重み分布のジニ係数で測定）のための「唯一の必要条件」であることを実証した。トレースを除去した場合（ $no\_ELIG$ ）、分化は横ばいとなり（ $\Delta Gini \approx -0.044$ ）、初期化時の状態に固定される。対照的に、乗法的LTPなどの他のコンポーネントを除去した場合は、分化の速度を低下させたり平衡状態を変化させたりするものの、現象そのものを消失させることはない。
スケールおよび実装の不変性: このメカニズムは、2桁のオーダー（ $10^4$ から $10^8$ シナプス）にわたってスケール不変であり、CPUおよびGPUのコードベースが小数点以下3桁まで同一の結果を生成することから、実装不変性も示されている。
非対称な因果関係: 本研究は、時間的ブリッジは必要条件であるが十分条件ではないことを確立した。時間的ブリッジを劣化させること（トレースの除去や勾配方向のランダム化）は、ブレイクスルーを完全に阻止するが、信号を増幅すること（勾配強度の増加）は、相転移を加速させない。
フォン・ノイマン・アーキテクチャの再定義: 本論文は、フォン・ノイマン・アーキテクチャは、適格性ウィンドウ（ $\tau_e$ ）がゼロに崩壊し、局所的イベントと遅延した結果との間の時間的ブリッジが消失している「退化したケース」であると論じている。

結果

SNNアブレーション: $N=80,000$ において、フルモデルは $+0.044$ のジニ係数の増加を達成した。 $no\_ELIG$ 条件では $\Delta Gini$ が $-0.005 $となり、重み分布が初期化状態で凍結された。対照的に、$ no_MULT $は大規模スケールにおいてフル効果の29%しか維持できず、$ no_RPE$ は分化を1000%以上増幅させた。これは、適格性トレースが分化のエンジンであり、他のコンポーネントはブレーキまたはアクセララントとして機能することを示している。
SGD摂動: CubeAttnの実験において、コントロール群および増幅信号（ $batch\_spike$ ）群は、正確にステップ66,000でパフォーマンスの天井を突破した。一方、時間的一貫性を破壊した劣化した信号（ $ortho\_kick$ ）の腕は、100,000ステップの間、ブレイクスルー閾値以下で振動し続け、一度も相転移を達成できなかった。
因果発見: ベアリング振動タスクにおいて、フルモデルは$0.767 $のスコアで正しい因果の方向を回収した。適格性トレースを除去すると、因果の重みの大きさが$ 17.6 $倍減少し、信号はほぼノイズレベルまで低下した。また、時間的順序をランダム化すると、因果スコアはチャンスレベル（$ 0.538$）まで低下した。
$\tau$ -スケーリング: 適格性ウィンドウ（ $\tau_e$ ）を20から200,000ステップに拡張すると、平衡状態の分化が上昇した（ジニ係数 $0.584 $対$ 0.509$）。これは、適格性ウィンドウのサイズが、因果信号統合の漸近的な容量を制御していることを裏付けている。

意義と主張
本論文は、時間が単なるシーケンス番号であるというフォン・ノイマンの仮定に対する、最初の有効な反例を提示していると主張している。著者は、適格性トレースが新しい計算プリミティブ、すなわち「タイムネイティブ計算」を構成すると論じている。このパラダイムでは、因果関係は統計的相関を通じてデータから推論されるのではなく、学習規則の非対称な時間構造の中に物理的にエンコードされる。

著者は、フォン・ノイマン・アーキテクチャは「間違っている」のではなく「不完全」であると断言している。それは、適格性ウィンドウがゼロである特殊なケースである。一般的なケースであるタイムネイティブ計算は、機械が明示的なラベルなしに観測データから因果構造を学習し、破滅的忘却を起こすことなく環境の変化に継続的に適応し、時間の矢を実装の詳細としてではなく、物理的な自由度として扱うことを可能にする。本論文は、この一般ケースを満たすマシンは、より高速なフォン・ノイマン・コンピュータとは根本的に異なるものであると結論づけている。それは、因果が媒体の物理的特性となるマシンである。