図書館全体を読み込み、複雑なソフトウェアを書き上げ、あるいは数週間にわたって研究プロジェクトを管理できるデジタルアシスタントを想像してみてください。これを行うために、アシスタントは自身が見たものや行ったことの全履歴を、実行中のログとして保持します。この履歴は、行動を重ねるごとに長くなっていきます。この履歴は、「コンテキストウィンドウ」と呼ばれる一時的なメモリ空間に保存されます。これらのウィンドウは膨大であり、数十万語を保持できますが、無限ではありません。タスクが長引きすぎると、メモリがいっぱいになり、アシスタントは最初の方にあった最も重要な詳細を忘れてしまうリスクが生じます。これを解決するために、エンジニアは「要約」と呼ばれる手法を用います。そのアイデアは単純です。メモリがいっぱいになる前に、アシスタントは長い履歴をより短く凝縮されたバージョンへとまとめ、ノイズを捨ててシグナル（重要な情報）だけを残し、その要約から作業を継続するのです。これは、長い会話を覚えるためにメモを取る、デジタル版の行為と言えます。

しかし、ペンシルベニア州立大学の研究者による新しい研究は、このセーフティネットが、微妙ではあるが決定的な方法で機能不全に陥っていることを示唆しています。研究者たちは、これらの人工知能モデルに対して、要約する際に「より多くの詳細を保持するように」と指示することが実際に可能なのかを調査しました。彼らは、履歴が長くなるにつれて、要約も同様に長くなり、元の情報の一定割合を維持できるのかを知りたかったのです。ところが、モデルにはハードリミット（硬い限界）があることが判明しました。物語がいかに長くなろうとも、要約のサイズはおよそ一定のまま維持され、保持される情報の割合が極めて小さくなってしまうのです。人間がコンピュータに対して、より長い要約を書くよう明示的に求めたとしても、コンピュータはそれに従わず、自身の短い習慣に固執してしまいます。研究者たちは、この挙動を変える唯一の方法は、丁寧にお願いすることではなく、より長い要約の例を用いてコンピュータを再学習させることであることを見出しました。

研究チームは、汎用アシスタントから専門的なコーディングや推論ツールに至るまで、11種類の異なる大規模言語モデルを用いてこの挙動をテストしました。彼らは、長い文書や、エージェントがコーディング問題を解決する際の実世界のログを用い、入力がわずか1,000語から10万語へと増大していくプロセスをモデルに投入しました。完璧なシステムであれば、入力が100倍になれば、詳細度を維持するために要約も比例して長くなるはずです。しかし、代わりにモデルは、まるで決まりきった轍（わだち）に嵌まっているかのように振る舞いました。入力が10万語に膨れ上がっても、要約はほとんど成長しませんでした。実際、この膨大なスケールにおいて、元の入力のうち要約に残ったのは1パーセントにも満たないものでした。そのサイズの文書に対しては、元のテキストに100文あったとしても、最終的な要約に残るのはわずか1文程度であったことを意味します。残りは失われたのです。このパターンは、モデルがコードを書くためのものか、一般的な会話用か、あるいは複雑な推論用かに関わらず、共通して見られました。モデル自体のサイズも影響せず、最も大きく強力なモデルであっても、そのタスクに対してあまりにも短すぎる要約を作成しました。

そこで研究者たちは、より直接的なアプローチを試みました。彼らは、モデルが単に指示を理解できていないだけではないかと疑いました。彼らは同じ膨大な入力を使い、プロンプトに特定のコマンドを追加し、単語数、文字数、あるいはトークン数で測定された特定の長さの要約を書くよう指示しました。彼らは、元のテキストの4分の1、3分の1、あるいは半分にあたるサイズの要約を求めました。結果は、非常に一貫してらつかないものでした。モデルは、求められた際に要約をわずかに長くは書いたものの、すぐにハードシーリング（上限）に突き当たりました。もし研究者が1万6千語の要約を求めたとしても、モデルは数千語を書いたところで記述を止めてしまい、残りの要求を無視してしまうのです。モデルは、要求の長さがどのように測定されていようと、あるいはどのように表現されていようと、その需要に合わせて出力を引き延ばすことができないようでした。提供された指示は、長さのわずかな増加をもたらしましたが、情報の損失を防ぐには到底及びませんでした。

このことから、研究者たちは驚くべき結論に達しました。問題はプロンプトや入力にあるのではなく、トレーニングデータにあるということです。これを証明するために、彼らは2つのモデルを取り上げ、異なる長さの要約を用いた軽い再学習、すなわちファインチューニングを行いました。一方のグループは非常に短い要約で学習させ、もう一方はより長い要約で学習させました。これらの再学習されたモデルを、同じ中立的な指示でテストしたところ、結果は劇的に変化しました。短い要約で学習したモデルはさらに短いテキストを書き、長い要約で学習したモデルは、プロンプトで長さに言及していないにもかかわらず、大幅に長いテキストを書きました。これは、モデルがトレーニングデータから「簡潔さ」というデフォルトの習慣を学習しており、その習慣が他の要求を上書きしてしまうことを示唆しています。要約の長さは、入力サイズに基づいた柔軟な計算ではなく、モデルのDNAに刻み込まれた硬直した振る舞いなのです。

この結果が自律型エージェントに与える影響は重大です。これらのシステムは、長期的なタスクを遂行するために要約に依存していますが、もし要約が短すぎれば、ファイルパス、失敗した試行、あるいは特定の制約といった極めて重要な情報が永遠に失われてしまいます。一度失われると、エージェントはそれを復元できず、再発見するために時間を浪費するか、あるいは盲目的に進行することになります。この研究は、エージェントに対して「もっと多く覚えて」と頼んで長い要約を要求するだけでは、信頼できる解決策にはならないことを示しています。解決策は、より良いプロンプトを作成することではなく、要約器を訓練するために使用されるデータを変えることにあります。トレーニングデータが、コンテキストが増大するにつれてより多くの詳細を保持することをモデルに教え込まない限り、私たちが長期的なタスクで頼りにしているデジタルアシスタントは、一つひとつ、変えることのできない短い要約によって、記憶を失い続けることになるでしょう。