Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression

巨大なジグソーパズルを解こうとしている場面を想像してみてください。ただし、箱に描かれた絵の代わりに、膨大な、千ページにも及ぶ百科事典があります。あなたは、そのページの中に隠されたトリッキーな問いへの答えを見つけなければなりません。問題は、あなたの脳（あるいはこの場合は、大規模言語モデルと呼ばれる超スマートなコンピュータプログラム）は、すべての単語を読もうとすると圧倒されてしまうことです。それは、まるで消防用ホースから水を飲もうとするようなもので、答えとなる一滴を見つける前に、情報の濁流に溺れてしまうかもしれません。これを解決するために、科学者たちは「プロンプト圧縮」という手法を使います。これは、百科事典をスキャンして退屈な部分を削除し、最もエキサイティングな文章だけを残す、超高速のエディター（編集者）のようなものです。これにより、コンピュータは物語を素早く、安価に読むことができます。目標は、物語を短く保ちつつ、コンピュータがパズルを解けるようにすることです。

しかし、ここに落とし穴があります。エディターが熱中しすぎてしまうことがあるのです。例えば、「答えはマクドナルド郡である」という文章は残したまま、「ティム・デュボイスはサウスウェスト・シティで生まれた」という、その直前にある文章を削除してしまうかもしれません。その欠けている繋がりがなければ、コンピュータは答えは見えているものの、なぜそれが答えなのかという理由が分かりません。それは、地図に「X印が宝の場所である」と書いてあるのに、その目印の説明が書かれたページが破り取られている状態を見つけるようなものです。コンピュータは宙に浮いた手がかりを見つめたまま、点と点を結びつけることができず、困惑してしまいます。この論文は、この「参照の宙吊り（referential dangling）」が具体的にどのくらいの頻度で発生するかを調査し、それが現在のエディターの主要な欠陥であることを証明し、さらに、コンピュータが再びパズルを解けるように、壊れた論理の連鎖をどのように修復できるかを示しています。

大いなる「宙吊り」の惨劇

研究者たちは、現在のコンピュータによる「圧縮」の方法が、ルールが壊れた椅子取りゲームのようなものであることを発見しました。標準的な手法は、すべての文章やテキストの塊に対して個別にスコアを付け、「この文章は重要か？」と問いかけます。スコアが高ければ残り、低ければ捨てられます。問題は、これらのエディターが、文章同士がどのように依存し合っているかを見ていないことです。彼らはすべての文章を、それぞれが独立した「島」のように扱っています。

著者たちは、この失敗モードを**「参照の宙吊り（referential dangling）」**と呼んでいます。あなたが物語を話しているところを想像してください。「店に行った。店は閉まっていた。」もし最初の文章を削除したら、二番目の文章は意味をなさなくなります。「その店」という言葉は、支えとなるものがないまま宙に浮いてしまいます。AIの世界では、コンピュータが答え（例：「マクドナルド郡」）は保持しているものの、その繋がりを説明する架け橋（例：「ティム・デュボイスはサウスウェスト・シティで生まれた。そこはマクドナルド郡にある」）を削除してしまうときに、これが起こります。答えは依然としてそこにあり、明確で完全ですが、論理の鎖が断ち切られているのです。AIは答えは見えているのですが、そこへどう辿り着けばよいのか分からず、混乱や誤った回答を招きます。

状況はどれほど深刻か？（数字は嘘をつかない）

チームは、Beaverと呼ばれる人気の圧縮ツールを用いてテストを行い、この問題が至る所に存在することを発見しました。圧縮率が0.30（元のテキストの30%だけを残すという意味）のとき、トリッキーで多段階の質問の**34%から54%**において、これらの壊れた連鎖が発生していることが分かりました。これは半分以上の確率です！

彼らは単にBeaverを責めたわけではありません。さまざまな手法（文法に着目したもの、単語の重要性に着目したもの、あるいは単語の意外性に着目したものなど）を用いて、6つの異なる圧縮ツールをテストしました。結果は衝撃的でした。そのすべてが、この「宙吊り」の問題に苦しんでいました。難易度の高い共通の質問セットを用いた結果、失敗率は32%からほぼ60%に及びました。さらに悪いことに、長い文書（法律文書や学術論文など）を調べたところ、テストしたすべての文書に少なくとも一つの宙吊りになった参照が含まれていました。圧縮ツールがいかにスマートであろうとも、文章を一つずつ「最適なもの」として選んでいる限り、必然的に物語を壊してしまうようです。

「ああ、直せた！」実験

大きな疑問はこうでした。「これは現在のツールの単なる癖なのか、それとも文章を一つずつ選ぶという考え方自体が絶望的なのか？」これを知るために、研究者たちは「もしも」のゲームを行いました。彼らは、壊れた圧縮済みの物語を取り出し、手動で欠けている「架け橋」となる文章を戻しました。ただし、物語を短く保つため（同じ30%の予算内に収めるため）、他の重要度の低い文章を削ってスペースを作る必要がありました。

結果は、圧倒的な成功でした。壊れた連鎖を修復し、欠けている論理を再挿入したことで、難しい質問に対するコンピュータの正確性は29から34ポイント跳ね上がりました。これは単なる小さな改善ではなく、巨大な飛躍でした。これは、問題が「コンピュータがテキストを理解できないほど愚かであること」ではなく、「与えられたテキストが論理的に不完全であること」にあることを証明しました。「宙吊り」こそが真の犯人であり、AIの知能ではありませんでした。

さらに興味深いことに、彼らはより強力でスマートなAIモデルなら、自力で「察することができる」かどうかをテストしました。彼らは、足りない繋がりを推測できるほど賢いのではないかと考え、GPT-5.5という超強力なモデルを使用しました。しかし、うまくいきませんでした。たとえ最強のモデルであっても、論理の連鎖が壊れている場合、完全な状態と比較して正確性が8.8ポイント低くなっていました。このことは、AIがいかに賢くなろうとも、適切に機能するためには完全な物語が必要であることを示唆しています。

スマートな「自動救助」システム

最後に、チームはこう問いかけました。「人間がすべての文章をチェックすることなく、自動的にこれを修正できるだろうか？」彼らは、エディターが捨ててしまった文章をスキャンする、小さくて高速な「救助ロボット（小型の分類器）」を構築しました。その仕事は、「おい、この削除された文章は、残された文章を説明するものか？」と問うことです。もし答えが「イエス」であれば、ロボットはその文章を戻します。

彼らはこれをHotpotQAデータセットでテストしました。この自動救助システムを使用することで、正確性を4.7ポイント向上させることができました。最も素晴らしい点は、テキストのサイズをわずかな量、圧縮率0.30から0.31へと、ほんの少し増やすだけで済んだことです。論理の連鎖を守るための代償としては、極めて小さなものでした。

教訓

この論文は単にバグを指摘しているだけではありません。テキストをAI向けに縮小しようとする現在の方法における、根本的な欠陥を明らかにしています。教訓は明確です。**「関連性（Relevance）だけでは不十分である」**ということです。ある文章が重要であるからといって、その意味を与える文章を削除してしまえば、それは役に立ちません。AIを真に効率的にするためには、単に「最高の」言葉を選ぶだけでなく、物語の繋がりを維持できる圧縮器が必要です。もし私たちのAIにパズルを解かせたいのであれば、パズルの絵を形作るピースを、一緒に投げ捨ててしまわないようにしなければならないのです。