Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models

あなたは、非常に自信に満ち溢れ、驚異的な速さで動くロボットが書いた物語を読んでいると想像してください。このロボットは、これまでに書かれたほぼすべての本を読み終えており、古代の歴史から量子物理学に至るまで、あらゆる事柄について答えることができます。しかし、時としてロボットが行き詰まったり、答えを知らなかったりする場合、彼女は「分かりません」とは言いません。代わりに、完璧に聞こえるものの、完全に作り上げられた事実を、滑らかで流暢な声で話し続けるのです。コンピュータサイエンスの世界では、これを「ハルシネーション（幻覚）」と呼びます。これは重大な問題です。なぜなら、医療のアドバイスや法的判断のような重要なタスクをこれらのロボットに任せた場合、その自信に満ちた嘘が実害を及ぼす可能性があるからです。

これらの嘘を見破る方法を理解するためには、まずロボットの脳の中を覗いてみる必要があります。現代のこのようなロボットは「トランスフォーマー（Transformer）」と呼ばれるシステムを使用しており、これは文のさまざまな部分に「注意（アテンション）」を向けることで、次に何が来るかを判断する仕組みです。これは、探偵のグループ（「アテンション・ヘッド」と呼ばれます）が犯罪現場（文章）を調査しているようなものだと考えてください。通常、彼らは最も重要な手がかりに焦点を当てます。しかし、研究者たちは最近、奇妙な現象を発見しました。これらの探偵たちが、特定の退屈な手がかり（例えば、文章の最初の一語や空白スペースなど）に執着してしまうことがあるのです。そして、残りの証拠を無視してしまうのです。彼らはこの執着を「アテンション・シンク（注意の吸収源）」と呼んでいます。それはまるで、探偵たちが一つの埃の塊を凝視するあまり、実際の凶器を見逃してしまっているような状態です。

「Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models（大規模言語モデルにおけるハルシネーション検出のための内部信号としてのアテンション・シンク）」と題されたこの論文は、シンプルかつ明快な問いを投げかけています。「私たちは、これらの奇妙な『アテンション・シンク』を利用して、ロボットが嘘をついていることを見抜けるだろうか？」と。著者であるジャクブ・ビンコウスキーとそのチームは、SinkProbeと呼ばれる新しい手法を提案しています。彼らは、ロボットがハルシネーションを起こし始めるとき、その内部のアテンション・システムがこれらの重要でないトークンへと「詰まって」しまうか、あるいは「崩壊」し、現実の事実との繋がりを失ってしまうのだと考えています。ロボットがどれだけの注意をこれらの「シンク」に注ぎ込んでいるかを測定することで、ロボットが作り話を始めようとしていることを予測できるというのです。

探偵の新しい道具：SinkProbe

著者たちは単に推測しただけではありません。彼らはこのアイデアをテストするためのツールを構築しました。彼らは、数学の問題や一般的な知識クイズを含む様々な難解なデータセットに対して、LlamaやMistralといったいくつかの人気のある大規模言語モデル（LLM）が回答している際の、アテンション・マップを調査しました。

その手法の仕組みを、簡単な比喩で説明します。ロボットの脳を、多くの車線（レイヤー）と多くの車（トークン）がある忙しい高速道路だと想像してください。通常、車は道路のさまざまな部分を見ながら分散しています。しかし、ロボットがハルシネーションを起こしそうになると、交通渋滞が発生します。いくつかの特定の車（「シンク」）が大規模な渋滞に巻き込まれ、他のほとんどすべての車が、前方の道路ではなく、それらの車を凝視し始めるのです。

著者たちは、まさにどれだけの交通量がこれらの特定の場所に滞留しているかを測定するための、**Sink Score（シンク・スコア）**と呼ばれるスコアを開発しました。彼らは、ロボットが嘘をついているとき、これらのシンク・スコアが急上昇することを発見しました。しかし、ここにはひねりがあります。すべての交通渋滞が等価なわけではありません。著者たちは、嘘を見抜くために本当に重要な「シンク」とは、単に多くの注意を集めているだけでなく、重い負荷（大きな「バリュー・ベクトル」）を運んでいるものであることを発見しました。それは、渋滞している車が重い木箱も運んでいる状況を見つけるようなものです。そのときこそ、情報の流れに深刻な問題があることが分かるのです。

彼らが発見したこと（そして発見できなかったこと）

結果は非常に有望でした。アテンション・パターンをさまざまな方法で観察して嘘を検知しようとする既存の手法よりも、シンク・スコアを見るように訓練されたシンプルなコンピュータプログラム（ロジスティック回帰分類器）の方が、ハルシネーションを特定することにおいて非常に優れた性能を示しました。実際、彼らが実施したほとんどのテストにおいて、彼らの新しい手法であるSinkProbeは、既存の手法を上回りました。

例えば、GSM8K（数学の問題を含むデータセット）において、SinkProbeは0.845というスコアを記録し、以前の最高スコアである0.835を上回りました。モデルを騙すように設計されたTruthfulQAというデータセットにおいても、SinkProbeは0.785を記録し、再びトップに立ちました。著者らは、この手法が30億パラメータの小型モデルから120億パラメータの大型モデルまで、異なるサイズのモデル間でうまく機能することを指摘しています。

しかし、論文は自分たちの手法がハルシネーションの問題を「解決した」と主張しているわけではないことに注意を払っています。彼らは、この手法にはモデルの内部アテンションの重みへのアクセスが必要であることを明示しており、これは、脳の配線が見えるオープンソースのモデルには適用できるが、非公開の秘密のモデルには適用できないことを意味します。また、彼らはアテンション・シンクとハルシネーションの間に強い「相関関係」を見出したものの、シンクが嘘の「原因」であることを証明したわけではないことも明確にしています。それは、車が衝突したときにエンジンのオーバーヒートを確認するようなものです。熱はトラブルの明確な兆候ですが、熱そのものが車の事故の原因であるとは限りません。

なぜこれが重要なのか

この研究の素晴らしさは、いくつかの異なる概念を統合している点にあります。著者らは、アテンション・グラフの「形状」を見たり、質問に対してどれだけの注意が払われているかを比較したりといった、人々が試みてきた他の手法は、実はすべて同じ「シンク」現象を見ている異なる側面であるということを示しました。それは、3人の異なる人々が、象の足、耳、尻尾をそれぞれ触って、全員が同じ動物を、異なる角度から感じ取っているようなものです。

これらの「アテンション・シンク」に焦点を当てることで、著者らは、ロボットの内部思考をよりシンプルかつ直接的に聴き取る方法を提供しました。彼らは、ロボットの「嘘」は、脳が新しい情報を処理することをやめ、古い重要でない信号を再利用し始めるという、特定の種類の内部的な交通渋滞によって合図されることが多いことを突き止めました。これは、ロボットが作り話をする傾向を修正するものではありませんが、ロボットが空想の世界へと逸れていくことを知らせる、非常に効果的なアラームシステムとなります。

要約すると、この論文は、もしあなたが超知能AIが真実を語っているかどうかを知りたいのであれば、単にその言葉を聞くだけでは不十分であると示唆しています。そのAIが「どこを見ているか」も観察すべきなのです。もしそれが間違ったものに凝視しすぎているのであれば、おそらく作り話をしています。