Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them
本論文は、LLMエージェントにおけるコンテキスト圧縮は指示の喪失を引き起こすことは稀である一方で、ユーザーの好みを厳格な要件へと誤って広げてしまう「制約の膨張（constraint inflation）」を頻繁に引き起こすことを示し、既存の指示喪失に対する修正策がしばしばこの問題を悪化させていることを実証するInflateBenchを導入するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
単一の複雑なプロジェクトに対して、ファイルを読み込み、ツールを実行し、人間のユーザーと対話しながら何時間も作業できるデジタルアシスタントを想像してみてください。この会話が進むにつれて、最終的にはコンピュータのメモリに一度に保持するには長すぎることがあります。作業を継続するために、システムは履歴を圧縮し、会話の初期部分を主要なポイントを捉えた短い要約に置き換えなければなりません。これは、人間が長い会議の内容を覚えるためにメモを取るのとよく似た、人工知能における標準的な手法です。長年、研究者たちは、これらの要約が重要な詳細を忘れてしまい、アシスタントがユーザーの特定のルールや安全指示を見失ってしまうのではないかと懸念してきました。主流の懸念は、機械が単純に「ボールを落としてしまう（ミスをする）」のではないかというものでした。
しかし、新しい研究は、問題は機械が忘れることではなく、記憶しすぎてしまうことにあることを示唆しています。実際、それはしばしば、あまりにも広範すぎる、あるいは厳格すぎる方法で物事を記憶してしまいます。研究者たちはこれを「制約のインフレーション（constraint inflation）」と呼んでいます。これは、一時的な一度限りの要求が、永続的なルールへと変わってしまうときに起こります。例えば、ユーザーが「インターネットが切断されているので、この特定のファイルについてはテストをスキップしてください」と言った場合、優れた要約は、その特定のファイルに対してテストがスキップされたことを記録するでしょう。しかし、欠陥のある要約は、その指示を「インターネットが切断されているときは常にテストをスキップする」と記録してしまうかもしれません。ルール自体は存在していますが、その意味が、一時的な修正から常設のポリシーへと変化してしまったのです。この微妙な変化により、アシスタントは後でミスを犯し、一時的な修正を将来のすべてのタスクに適用してしまう可能性があります。
これがどの程度の頻度で起こるかを測定するために、研究者たちは「InflateBench」と呼ばれるテスト環境を構築しました。彼らは、コーディング、データ分析、事務作業など5つの異なる領域にわたる240の現実的なワークセッションを作成しました。各セッションにおいて、彼らは「一度限りのタスク」や「一時的な好み」といった既知の範囲を持つ6つの特定の指示を仕込みました。その後、これら一連のセッションを、2種類の言語モデルを用いた7つの異なる要約手法に通しました。目的は、要約が指示を維持しているのか、完全に失っているのか、あるいは誤って拡張してしまっているのかを確認することでした。また、これらの拡張されたルールが、実際にデジタルアシスタントの次の行動を変化させるかどうかもテストしました。
結果は驚くべきものでした。要約が指示を失うことはほとんどなく、実際、99パーセント以上の指示を保持していました。しかし、忘れることは稀である一方で、頻繁に過剰に誇張していました。自由形式の要約を使用した場合、対象となる項目の12〜14パーセントをインフレ（膨張）させました。ルールや好みのための特定のセクションを持つ構造化されたテンプレートを使用した場合、その数値は20パーセント近くまで跳ね上がりました。最も一般的なエラーは、好みを要件に変えてしまうこと、あるいは、一度限りのタスクを永続的なルールとして扱うことでした。例えば、「現在のジョブのためだけに特定のツールを使用する」というリクエストが、「そのツールを常に使用しなければならない」というルールとして書き換えられることがよくありました。
研究では、指示の喪失を防ぐために設計された2つの人気のある修正策もテストされました。一つの方法は、ルールを別のリストに抽出することであり、もう一つの方法は、それらを「ピン留め」してすべての要約に表示させることでした。研究者たちは、これらの修正策は役に立たないことを発見しました。なぜなら、指示はそもそも失われていなかったからです。むしろ、これらの手法はインフレーションの問題を大幅に悪化させました。特に「ピン留め」する方法は、ケースによってはインフレーションを50パーセント以上にまで急増させました。ルールを逐一そのまま繰り返すように強制することで、要約はそのルールが一時的なものであるという文脈を失ってしまったのです。システムは、常設のルールと一度限りのリクエストの違いを判別できなくなりました。
最後に、研究者たちは、これらのインフレしたルールが実際にデジタルアシスタントの行動を変えるかどうかを確認しました。彼らは、それが起きていることを突き止めました。要約にインフレしたルールが含まれている場合、アシスタントは、そのルールが本来属さないはずの将来のタスクに対して、そのルールを適用する可能性が著しく高くなります。アシスタントが常にインフレしたルールに従うわけではありませんでしたが、エラーの発生率は、深刻な懸念となるほど高いものでした。研究は、現在の長い会話の取り扱い方を変える必要があると結論付けています。単にルールを保持するだけでは不十分です。システムは、それらのルールがいつまで続くべきかについても追跡しなければなりません。これなしでは、デジタルアシスタントは、古い一時的な指示をあたかも永遠の法則であるかのように従う、硬直した労働者になるリスクを負うことになります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。