A Model That Does Not Forget. A Logbook That Corrects and a Sleep That Consolidates, on a Frozen Language Model

あなたのポケットの中に住み、毎日あなたから質問を受けるデジタルアシスタントを想像してみてください。このアシスタントが真に役に立つためには、単に世界の事実を知っているだけでは不十分です。それは、あなたとの会話の特定の履歴を記憶している必要があります。例えば、先週あなたが犬の名前はトビーだと話したことや、今週あなたが実際にはトビーとルナという2匹の犬がいると訂正したことを、覚えておく必要があります。それは混乱することなく、その変化を保持できなければなりません。そして、もしあなたが一度も聞いたことがないことについて尋ねたなら、「分かりません」と言う方法を知っていなければなりません。これは、人工知能に取り組む科学者たちを長年悩ませてきた問題、すなわち、すでに知っていることを忘れることなく継続的に学習する機械を構築するという挑戦です。

核心的な困難は、これらのコンピュータプログラムがいかに情報を保存するかという点にあります。伝統的に、モデルが新しいことを学習する際、内部メモリを書き換えなければなりませんが、これはしばしば古い記憶を誤って消去してしまう原因となります。これは、ノートに新しいメモを書こうとして、古いメモの上に書き殴ってしまうようなものです。新しい情報は入ってきますが、古いものは失われてしまいます。他の手法では、メインメモリの外側に事実のリストを別途保持しようとしますが、そのリストが増えるにつれて、システムは低速になり、コストがかかるようになります。研究者たちは、コア構造が変わらない「凍結された」コンピュータモデルが、数百の事実を記憶し、それらが変化したときに修正し、かつ、無知であることを認める方法を知りながら、履歴が長くなっても速度を落とさない方法を見つけ出したいと考えました。

マキシミリアーノ・スペランツァという研究者は、小さな凍結された言語モデルを用いて、二部構成のシステムをテストすることでこの問題に取り組みました。第一の部分は「ログブック（記録帳）」であり、これはすべての事実とそのバージョン履歴を保存する外部記録です。このログブックは、モデルが必要なときに最新バージョンの物語を確認できる、クイックリファレンスシートのような役割を果たします。第二の部分は、「睡眠」と呼ばれるプロセスで、これは定期的に行われます。これらの睡眠サイクル中、モデルはログブックから最新の事実を取り出し、それらを練習することで、メインモデルに取り付けられた小さく調整可能なメモリコンポーネントへとゆっくりと移動させます。この定着化により、最近の記憶がモデルの永続的な知識の一部となり、ログブックに永遠に頼り続ける必要がなくなります。

実験は、モデルが毎週100個の新しい事実を学習する、8週間のシリーズで行われました。これを成功させる鍵は、ログブックや睡眠サイクル単体ではなく、睡眠中に使用された特定のテクニックでした。モデルは、以前の週に学んだ事実を新しい情報と一緒にリプレイ（再生）し、練習することを義務付けられました。このリハーサルこそが極めて重要でした。研究者がこのリプレイのステップを取り除くと、モデルは第1週に学んだすべてのことを即座に忘れ、精度はほぼ完璧な状態から一度のセッションでほぼゼロまで低下しました。リプレイは、新しい情報が追加される間、古い記憶をその場に留めておくための接着剤として機能したのです。

結果は、この手法が忘却を防ぐ上で極めて効果的であることを示しました。8週間の学習の後でも、モデルは第1週の事実を88パーセントから97パーセントの精度で記憶していました。対照的に、この睡眠とリプレイのプロセスなしにモデルのメモリを直接更新しようとする既存の他の手法は、第8週までに第1週の事実をわずか1〜10パーセントしか保持できず、さらに悪いことに、モデルが変更するように教えられていない他のタスクを実行する能力まで損なってしまいました。しかし、この新しいアプローチは、モデルの他のスキルを損なうことなく維持し、それが既知のものを壊すことなく新しいことを学べることを証明しました。

このシステムは、自分が知らないことを知っているという点でも優れていました。教わっていない事実について尋ねられたとき、モデルはほとんどの場合、正しく「分かりません」と言いました。しかし、研究者はこの能力に特定の限界があることを見出しました。モデルが、知っている二つのもの（既知の人物と、これまで見たことのない既知の関係性）を組み合わせた質問を受けたとき、無知を認める代わりに、答えを捏造することがあったのです。これは実験の終わりまでに約半数のケースで見られました。研究者は事実をより均等に分散させることでこれを修正しようとしましたが、結果は変わりませんでした。これは、モデルが質問の一部を認識すると、たとえその具体的な組み合わせが新しいものであっても、推測してしまう傾向があることを示唆しています。

最後に、この研究は、質問のたびに会話の履歴全体をモデルのプロンプトに貼り付ける、検索拡張生成（RAG）と呼ばれる一般的な代替手法と比較しました。両方の手法が同程度の精度を達成しましたが、新しいシステムは圧倒的に効率的でした。ログブックシステムは質問ごとにわずか16語しか処理しませんでしたが、代替手法は、履歴が増えるにつれて数百、あるいは数千語を処理しなければなりませんでした。この違いは、新しいシステムが数ヶ月の使用後でも高速かつ安価に動作し続ける一方で、もう一方の手法は、実用的にはるかに遅く、高価になってしまうことを意味しています。

この研究は、古い事実をリプレイしながら新しいものを統合する方法さえ与えられれば、コンピュータモデルは変化し続ける長い履歴を、過去を忘れることなく記憶することを教えられることを示しています。それは、継続的な学習の鍵が、単に情報を保存することではなく、古いものを強化しながら新しいものを統合するように、情報を積極的に練習することにあることを示しています。システムは依然として、既知の事実を組み合わせた際の特定の推測エラーに苦戦していますが、ユーザーから真に記憶し、時間をかけて学ぶことができるアシスタントを構築するための明確な道筋を提示しています。