Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures

超スマートなロボットがどのように思考しているのか、解明しようとしている場面を想像してみてください。おそらく、物語を書いたり、数学の問題を解いたり、人間のようにチャットしたりできるAIの脳である「大規模言語モデル（LLM）」という言葉を聞いたことがあるでしょう。しかし、ここに落とし穴があります。これらのロボットは驚異的な能力を持っていますが、同時に「ブラックボックス」でもあるのです。入力（質問）と出力（回答）は見ることができますが、その内部で行われている、混沌としていて魔法のような思考プロセスは謎に包まれています。科学者たちは、2つの主要なツールを使って、その中を覗き見ようと試みてきました。一つのツールである「プローブ（探針）」は、ロボットが見ている言葉に基づいて、ロボットが何を考えているかを推測しようとする「翻訳者」のような役割を果たします。もう一つのツールである「スパース・オートエンコーダ（SAE）」は、ロボットの思考を、まるでレシピのように、シンプルで独立した要素の長いリストへと分解しようとします。しかし、どちらのツールにも盲点があります。翻訳者は入力指向の特徴抽出に焦点を当てていますが、ロボットが実際にどのように回答するかという全体像を完全には統合できていません。そして、レシピ作成者はノイズに混乱したり、最終的な出力とのつながりを見落としたりすることがよくあります。なぜ私たちがこれを重視するかというと、AIの脳がどのように機能しているのかを理解できなければ、彼らを完全に信頼することも、間違いを犯したときに修正することもできないからです。私たちは、始まりや終わりだけを見るのではなく、全体像を見る方法を必要としています。

そこで、この論文で導入された新しいハイブリッド型の探偵ツール、「ハイパーディメンショナル・プローブ（高次元プローブ）」が登場します。これは、古いツールの優れた部分を組み合わせ、その欠点を修正した、スーパーパワーを備えた翻訳者だと考えてください。研究者たちは、「ベクトル記号アーキテクチャ（VSA）」と呼ばれるものを用いて、このツールを構築しました。もしロボットの脳を巨大なアイデアの図書館だと想像するなら、従来のツールは、本のタイトル（入力）を読もうとするか、ページ数（出力）を数えようとするかのどちらかであり、物語がいかに繋がっているかを見ることはできませんでした。しかし、ハイパーディメンショナル・プローブは、特別な種類の「ハイパーベクトル代数」を使用します。これは、高次元の数学を用いて、ブロックを組み立てるようにアイデアを組み合わせる、高度な手法です。これにより、従来のプローブによる「トップダウン」の視点と、SAEによる「スパース性（あるいは、整然としたリスト作成）」を統合しました。

実験において、著者らは、この新しいアプローチが、異なる種類のLLM、異なるサイズ、および様々な設定において、一貫して意味のある意味論的情報（つまり、ロボットが何を考えているのかを実際に理解していること）を抽出できることを見出しました。彼らは、ロボットが文章を完成させているとき（入力補完）と、質問に答えているとき（QAに焦ったテキスト生成）という、2つの特定のシナリオでテストを行いました。結果は、この手法が従来の方法よりも明確な概念を見つけ出すのに優れていることを示唆しています。例えば、この手法は、ロボットの限られた語彙に縛られている「ロジット（最終的な単語の選択）」のみを見るという限界を克服しています。同時に、概念が明確で境界がはっきりしている状況において、SAEを使用する際にしばしば発生する「ノイズの多い」結果を回避しています。入力特徴量と出力特徴量の両方を同時に見ることができるようにすることで、本研究は、ニューラル表現が実際にどのように機能しているのかについて、より深く統一された理解への道筋を示しており、ロボットが世界をどのように捉え、それについてどのように語るのかという間の溝を埋めるものとなっています。