Geometric Indexing Does Not Improve Versioned Memory Retrieval: Three Pre-Registered Negative Results and a Silent Total-Failure Mode

メモリ問題：なぜAIには「読む」だけでなく「覚える」力が必要なのか

あなたは、とても賢いロボットの友だちと話していると想像してください。あなたはこう言います。「私のお気に入りの映画は『スター・ウォーズ』だよ」。その後、あなたは気が変わり、「やっぱり、さっきのは取り消して。本当のお気に入りは『マトリックス』なんだ」と言います。もしあなたが再びロボットに「私のお気に入りの映画は何？」と尋ねたら、あなたは古い答えではなく、新しい答えを覚えていてほしいはずです。これが**対話型メモリ（conversational memory）**の課題です。単にみんなが読むための本（ドキュメント）を保管するだけの図書館とは異なり、個人のメモリには、「あなた」を覚え、あなたの考えが時間の経過とともにどう変化したかを追跡し、混乱することなく修正に対応する必要があります。

これを行うために、コンピュータは**エンベディング（埋め込み）と呼ばれるものを使用します。エンベディングとは、あらゆる文章が「点」となる魔法の地図のようなものだと考えてください。意味が似ている文章は地図上の近い場所に配置され、異なるアイデアは遠くに配置されます。質問をすると、コンピュータはその質問に最も近い点を探して答えを見つけ出します。AI研究における一般的なアイデアは、この地図の幾何学（ジオメトリ）*を利用して変化を扱うことでした。その理論はこうです。「もし考えが変わったら、古い点を消すのではなく、新しい点を古い点のすぐ隣に配置すればよい」。その狙いは、点と点の間の距離*が、コンピュータに対して「おい、これら2つは同じ事実の関連したバージョンだぞ！」と教えてくれるというものでした。

しかし、この巧妙なトリックは本当に機能するのでしょうか？ それこそが、この論文が調査している内容です。研究者たちは、単に「修正された」メモリを地図上の「元の」メモリの近くに配置することが、後でコンピュータが正しい答えを見つける助けになるのかを知りたいと考えました。彼らは、AIメモリの魔法のショートカットを見つけ出すことを期待して、厳格に事前計画された実験を設定しました。ところが、彼らが発見したのは、そのショートカットが袋小路に突き当たっているということでした。そして、その過程で、多くの実世界のAIシステムを壊しかねない「サイレント・バグ」を暴き出したのです。

---

実験：地図の上で綱渡りを試みる

研究者たちは、3,000個の架空の事実（例：「ヘリオス研究所のディレクターはアナである」）を用いたシミュレーションを設定しました。そして、「ディレクター」が「ベト」に、次に「カルロス」へと修正されたときに何が起こるかをテストしました。彼らは、これらの変更を保存する方法として3つの手法を比較しました。

1. 「上書き（Overwrite）」法： 古い事実を消去し、新しい事実を書き込む。（履歴は失われますが、現在の事実は保持されます）。
2. 「複製（Duplicate）」法： その言葉に基づいた、地図上の本来あるべき場所に新しい事実を正確に保存する。
3. 「バッディング（Budding/芽吹き）」法（物語の主人公）： 新しい事実を、元の事実から少し離れた場所に配置する。これにより、幾何学的な形状と距離がそれらを結びつけることを期待する。

最初の失敗：漂流するクラスター

最初のテストで、研究者たちは固定されたルールを用いて「バッディング」法を試しました。すなわち、事実が修正されるたびに、新しいバージョンを元の事実から一定のステップで遠ざけるという方法です。

想像してみてください。あなたは直線に沿って歩こうとしていますが、一歩進むたびに、強制的に少しだけ左に曲がることを求められます。1歩目では大丈夫です。4歩目では、コースから大きく外れてしまいます。6歩目には、もはや逆方向に歩いています。

まさにこれが、AIのメモリに起こったことです。固定されたステップサイズを用いると、「修正された事実の集まり（クラスター）」は、元の事実から離れる方向へとランダムウォークを始めてしまいました。

• 4回の修正後、元の質問との接続性が低くなり、コンピュータは答えを認識できなくなりました。
• 6回の修正後、接続スコアは実際にマイナスになりました（最高値の 0.811 から -0.139 まで低下）。

コンピュータは答えを探していましたが、「修正された」メモリは地図上で遠くへ漂流してしまい、まるで赤の他人のようになっていました。「バッディング」のアイデアは、距離が蓄積し続けることで、正しい答えが検索結果の上位から押し出されてしまうため、失敗したのです。

第二の失敗：避けられない税金

研究者たちは考えました。「よし、問題は、修正が遠くに漂流しすぎていることかもしれない。新しいバージョンを、前のバージョンではなく、元のアンカー（起点）の近くに留まるように強制したらどうだろうか？」 彼らは、すべての修正が開始地点から一定の距離に留まる「境界付き（bounded）」バージョンを試しました。

この場合、メモリは漂流しませんでした。接続スコアは 0.8177 という一定で安定した値を維持しました。しかし、ここにひねりがありました。それでも、この手法は「負け」たのです。

なぜでしょうか？ なぜなら、「バッディング」法はスコアに対して約 0.036 の**一定の税金（ペナルティ）**を支払っていたからです。

• 「複製」法（事実を本来あるべき場所に正確に保存する）のスコアは 0.8540 でした。
• 「境界付きバッディング」法のスコアは 0.8177 でした。

研究者たちは、コンピュータの地図はすでに完璧であることを悟りました。「ディレクターはベトである」と言うとき、コンピュータは自然にその文章を正しい場所に配置します。過去と「リンク」させるために、人工的にそれを遠ざけることは、単に正しい場所から「遠ざけている」ことになります。それは、友人が家を見つけやすくするために、「玄関のドアから左に3フィート立ったところに立ってください」と指示するようなものです。家はすでにそこにあります。そこから動かすことは、単に見つけにくくするだけなのです。

第三の失敗：サイレント・キラー

研究者たちはこれで終わりではありませんでした。彼らは、自分たちの結論が、テストした文章が「自己完結的（名前と事実が明確に示されている）」であったことに依存しているのではないかと疑いました。現実の世界では、人々はもっと簡潔な言い回しをします。例えば、「いや、ベトだよ」と言うだけで、「ヘリオスのディレクターはベトです」とは言いません。これは**省略的な修正（elliptical correction）**と呼ばれます。

彼らは、幾何学的なトリックが有利に見えるように設計された「ワーストケース・シナリオ」のテストを設定しました。彼らは「バッディング」法を、「ハイドレイテッド（Hydrated/水を含ませた／補完された）」法（スマートなシステムが「いや、ベトだよ」を、保存前に完全な文章へと書き換える手法）と比較しました。

結果は衝撃的でした。

• 生の省略的修正（「いや、ベトだよ」という発言通りに保存する場合）の成功率は 0.0000 でした。
• コンピュータは毎回答えを返してきましたが、それは決して正しい答えではありませんでした。
• この失敗は**サイレント（静か）**でした。コンピュータは「わかりません」とは言いませんでした。それは、正しい答えと同じくらい高いランクに位置する誤った答えを、自信満々に返してきたのです。

幾何学が有利に働くはずのこの領域においてさえ、そのトリックが優位に立つのは、代替システム（文章を書き換えるシステム）が 45% 以上失敗する場合に限られていました。現実世界のシステムはそれよりもはるかに優秀であるため、幾何学的なトリックはメリットをもたらさないのです。

大きな教訓

この論文は、明確に事前登録された判決を下しています。「幾何学的インデックス作成は、バージョンの異なるメモリの検索を改善しない」。

図上の点の物理的な距離を利用して、事実の異なるバージョンをリンクさせるというアイデアは、行き止まりです。

1. もし距離を広げれば、メモリは漂流し、失われます。
2. もし漂流を止めれば、それでもペナルティを支払い、事実を最初から正しく保存する場合よりも性能が悪くなります。
3. もしこれを短い省略的な修正（「いや、ベトだよ」など）に使用しようとすれば、システムは完全に失敗し、自信たっぷりに間違った答えを返します。

これらのシステムを構築している人々にとって最も重要な知見は、警告です。「会話のターンを、代名詞などを修正せずにそのまま保存すると、修正内容は100%失われる」。システムは壊れていることを教えてはくれません。ただ、自信を持って間違った答えを提示してくるだけです。論文は、幾何学を使って賢明になろうとするのではなく、単純で決定論的なルールに従うべきだと示唆しています。つまり、「文章を修正してから、保存する」ということです。