A Unifying Perspective on Language Model Representations: From Filler-Role Structure to Mechanistic Interpretability
本論文は、線形プロービングやスパース自己符号化器といった多様な言語モデルの解釈可能性手法が、単一の根底にあるフィラーとロールの結合構造からどのように導出され得るかを、数学的および経験的に示す統一的な枠組みとして、テンソル積表現（TPR）を提案するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能という静かでハミングする世界の中で、研究者たちは、言語モデルとして知られる巨大なコンピュータプログラムが、実際にどのように「思考」しているのかを理解しようと試みています。これらのシステムは、詩を書き、数学の問題を解き、会話を行うことができますが、そのデジタルな脳の内側では、情報は数字の長いリストとして保存されています。長年、科学者たちはこれらのブラックボックスの中を覗き見るために様々なツールを使用してきましたが、モデルが驚くほど秩序ある方法で情報を整理していることを発見してきました。あるツールは、モデルがこれらの数字のリストを加算や減算することによってパズルを解けることを示し、また別のツールは、特定の単語や概念に遭遇したときにモデルの特定の部位が反応することを明らかにしています。しかし、これらの発見は、暗い家の中の異なる部屋で見つかった別々の手がかりのように、孤立したままの状態でした。大きな疑問は、これらすべての異なる振る舞いを説明できる単一の根底にある構造が存在するのか、それともモデルは単に関連のないトリックの混沌とした寄せ集めに過ぎないのか、ということでした。
イェール大学の研究チームは、この謎に対する統一的な答えを提案しました。彼らは、これらの複雑な言語モデルが、「テンソル積表現（Tensor Product Representations）」と呼ばれる特定のアーキテクチャの原理に基づいて構築されていると示唆しています。平易に言えば、これは、モデルが情報の「内容（特定の単語など）」とその「役割（主語か目的語かなど）」の2つの要素を密接に結合させることで、情報を保存していることを意味します。あらゆる情報が、それが何であるかだけでなく、構造内のどこに属しているかによって保存されるファイリングシステムを想像してみてください。研究者たちは、このシンプルで構造化されたデータ整理の方法が、これまで無関係とされていた幅広い発見を説明できることを見出しました。それは、なぜモデルが数学的な類推を行えるのか、なぜ単純なテストによって隠れた概念を明らかにできるのか、そしてなぜモデルの内部状態の単一の部分を変更することで、その振る舞いを予測可能な形で変化させることができるのかを説明できるのです。
このアイデアを検証するために、チームは単に理論に頼るだけでなく、翻訳機として機能する新しい種類のツールを構築しました。彼らは、文の既知の構造（主語、動詞、目的語の特定）を取り込み、それをモデルが使用する特定の数値パターンへと変換するシステムを作成しました。そして、この翻訳されたバージョンを、小規模で単純なネットワークから大規模で最先端の言語システムに至るまで、いくつかの異なるコンピュータモデルの実際の内部動作と比較しました。結果は驚くほど一貫していました。数字のシーケンスや構造化された英語の文を用いたテストにおいて、研究者たちの構造的翻訳は、モデルの内部状態と極めて高い精度で一致しました。より単純なモデルにおいては、その一致はほぼ完璧であり、モデルの情報処理における変動のほとんどを捉えていました。最も大きく複雑な言語モデルにおいてさえ、この翻訳は情報の大部分を捉えており、これらの巨大なシステムが、そのサイズにかかわらず、内容と位置を結合するという同じ根本的な手法に依存していることを示唆していました。
この発見の力は、それが異なる調査手法をどのように結びつけるかという点にあります。研究者たちは、彼らの構造的翻訳の背後にある数学的論理が、今日科学者が用いている4つの主要な解釈可能性（インタープリタビリティ）の手法を再現できることを示しました。第一に、彼らは言語モデルが「加法的類推（additive analogies）」を実行できる理由を説明しました。これは、ある概念を別の概念から引き、そこに第三の概念を加えることで、関連する第四の概念が得られる現象です。彼らの研究は、これがモデルが特定の「内容と役割のペアリング」の差分を計算しているために起こることを実証しました。第二に、彼らは「線形プローブ（linear probes）」、すなわちモデルが特定の事実を知っているかどうかを検出するための単純なテストが、実際には元のアイデアを回収するために内容から役割を切り離す（アンバインディングする）方法であることを示しました。第三に、複雑な信号をより単純な部分へと分解する「スパース・オートエンコーダ（sparse autoencoders）」が、実質的にこれらと同じ「内容と役割の結合」を特定していることを説明しました。最後に、研究者がモデルの脳の一部を入れ替えて振る舞いの変化を見る技術である「アクティベーション・パッチング（activation patching）」が、これらの特定の構造的結合を直接入れ替えているために機能することを実証しました。
一連の実験において、チームは、モデルを事前に学習させることなく、これら4つの異なるテストツールをゼロから構築できることを証明しました。彼らが構築したツールを用いてモデルを分析したところ、その性能は、この分野で使用されている、高度に訓練された標準的なツールと同等でした。例えば、文の次にどの単語が現れるかを予測したり、文の主語を特定したりする際に彼らの手法を用いたところ、その精度は既存の最良の手法とほぼ同一でした。ある大規模言語モデルを用いた特定のテストでは、彼らの構造的予測と標準的な手法との差は極めて小さく、相関スコアはほぼ1に達しました。これは、これらのモデルの複雑に学習された振る舞いが、神秘的または偶然なものではなく、この基礎となる構造的規則の直接的な帰結であることを示唆しています。
研究者たちは、モデルが新しい状況に直面したときに、この構造がどの程度維持されるかも調査しました。彼らは一連の文章を用いて構造的翻訳器を訓練し、その後、見たことのない単語や役割を含む文章を用いてテストを行いました。翻訳器は汎用性を発揮し、未知の組み合わせに対しても、モデルの内部状態を正確に再構成することに成功しました。これは、モデルが単に特定の例を暗記しているのではなく、新しい内容を既知の役割と組み合わせるための柔軟なシステムを使用していることを示しています。この研究は、人工知能のあらゆる謎を解明したと主張するものでも、すべてのモデルが同一であることを示唆するものでもありません。しかし、単一の整合性のあるフレームワークが、これらのシステムがいかにして世界を表現しているかを説明できるという強力な証拠を提供しました。多様な解釈可能性の手法がすべて同じ構造的実体に指し示されていることを示すことで、この研究は、神経ネットワークがどのように機能するかについての統一的な理解へと、この分野を前進させ、孤立した観察の集まりを、機械の心の単一で一貫した絵へと変えたのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。