Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering
本研究は、線形プローブが言語モデルの隠れ状態から将来の意味情報を抽出できることを示しており、この直接的な読み出しの有効性と自己回帰的なロールアウトとの間のトレードオフは、埋め込み空間、生成ホライゾン、およびプロンプト固有の予測可能性に依存することを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
言語モデルとして知られる現代のコンピュータプログラムは、一度に一つの単語を予測することによってテキストを書き込みます。それらは、与えられた単語を読み取り、次の単語を推測し、その新しい単語を用いて次の単語を推測するというプロセスを繰り返すことで、一歩ずつ文章を構築していきます。長い間、科学者たちは、これらのプログラムは次に推測される単語の範囲までしか未来を知らないと考えてきました。しかし、新しい研究は、これらのモデルの複雑な数学的メカニズムの中に、コンピュータが実際に一文字書き始めるずっと前に、これから言おうとしている内容の全般的な意味をすでに含んでいる、隠れた情報の層が存在することを示唆しています。この研究は、コンピュータの内部状態が、将来のテキストの「プレビュー（下書き）」を保持しているのかどうか、そのプレビューが単にプロンプト（指示文）を読み取る場合と比較してどれほど明確なのか、そしてこのプレビューを知ることでコンピュータが書く内容を変えることができるのかどうかを調査しています。
研究者のチェ・ジェコル氏は、韓国外国語大学において、いくつかの異なるバージョンの人気のある言語モデルを用いて、このアイデアを検証することに乗り出しました。彼らは、コンピュータが新しい文章を生成し始める直前の瞬間に焦点を当てました。この正確な瞬間において、モデルはユーザーの入力を処理し終えており、そこまでまでに理解したすべてを要約した複雑な数値のパターンである、特定の内部表現を保持しています。研究チームは単純な問いを投げかけました。「もしこの内部のパターンを見れば、文章がまだ書かれていない段階で、これから来る文章の全般的なトピックや感情を言い当てることができるだろうか？」と。これを知見するために、彼らはこれらの内部パターンを読み取り、それを将来のテキストの要約へと翻訳するための単純なツールを訓練しました。彼らは、コンピュータに実際にいくつかの単語を書かせる方法や、コンピュータの脳の中を覗き込むことなく元のプロンプトのみに基づいて未来を予測しようとする方法といった、他の未来予測の手法と比較を行いました。
研究の結果、答えは「イエス」でした。モデルの内部パターンには、将来のテキストの意味に関する線形的にアクセス可能なマップが含まれていました。研究者が文章を生成する前のコンピュータの内部状態を調べたところ、その文章の全般的な意味的内容を予測することに成功しました。これは、数億個のパラメータを持つ小規模なモデルから、数十億個のパラメータを持つ大規模なモデルに至るまで、異なるモデルのサイズやアーキテクチャにわたって成立していました。この「未来の意味」を読み取る能力は、コンピュータの処理ネットワークのより深い層において最も強力でした。しかし、このプレビューの明快さは、「意味」をどのように定義するかによって大きく左右されました。研究者が意味を測定する特定の方法を用いた場合、内部のプレビューはプロンプトのみに基づいて推測する場合よりも著しく優れていました。しかし、別の方法で意味を測定した場合、コンピュータの脳の中を覗き込むことによる利点は非常に小さくなり、開始時の単語を見て推測できるレベルとほとんど区別がつかないこともありました。
また、研究者たちは、この「内部プレビュー」法を、より明白な戦略である「コンピュータに実際に数単語を先に書かせる」方法と比較しました。コンピュータに3つまたは5つの単語を生成させれば、内部状態から推測するよりも、文章がどこに向かっているのかという明確なイメージを自然に得ることができます。これは、コンピュータがそれらの単語を書くための作業をすでに完了しているため、驚くには及びません。しかし、研究は興味深いトレードオフを明らかにしました。対象となる文章が長くなり、未来が遠くなればなるほど、コンピュータに多くの単語を書かせることによる優位性は減少します。もし目標が256単語先の文章の意味を理解することであれば、内部プレビューは、中間にある単語をすべて生成するという計算コストを支払うことなく、短い接頭辞を生成させる方法に対して驚くほど競争力を持つようになります。つまり、内部状態は、中間にあるすべての単語を生成するという計算コストをかけることなく、遠い未来の感覚を得るための手段を提供しますが、長いシーケンスを実際に生成することの精度を完全に上回ることはありません。
おそらく最も興味深い部分は、この知識がコンピュータの振る舞いを変えるために使用できるかどうかをテストした研究です。研究者は、内部状態の中で、ポジティブ（肯定的）またはネガティブ（否定的）といった特定の感情へと向かう方向を取り出し、コンピュータが書き始める前にその方向にそっと促そうと試みました。彼らは、予測に基づいて内部状態を調整することで、ランダムな調整を行うよりも効果的に生成されるテキストのトーンを変化させられることを発見しました。しかし、この成功はすべてのモデルのすべての部分で一様に起こるわけではありませんでした。あるモデルでは、未来の意味を最も読み取りやすい層が、変更を加えるのに最適な場所でもありました。しかし、他のモデルでは、これら二つのことが全く一致しませんでした。未来のプレビューが最も明確に示される層が、結果を変えるための介入を行うには不適切な場所であることもあったのです。実際、いくつかのケースでは、最も強いプレビューがある層で変更を試みることが、意図した方向とは逆の方向へとコンピュータを押し戻してしまうことさえありました。
これらの知見は、言語モデルが自身の将来の出力に関する情報を内部状態の中に保持しているものの、その情報は「読み取られるのを待っている既定の台本」ではないことを示唆しています。むしろ、それは複雑で層状の信号であり、ネットワークの部位によってアクセスしやすさが異なります。この研究は、コンピュータが自身の言葉の未来の意味を「見ることが」できるからといって、それがレスポンス全体を完全に事前計算していることを意味するのではない、という点を明確にしています。また、信号を読み取れることと、それを制御できることは別物であることも強調しています。未来を予測する能力と、未来を操る能力は関連していますが、モデル内の同じ場所で起こるとは限らない別個の能力なのです。この研究は、これらの知的なシステムが、これから言おうとしていることについての情報をどのように整理しているのかという、より明確な地図を提供しており、彼らの内部状態が以前の理解よりも将来を見据えたデータに富んでいる一方で、単純な読み出しのように制御するために使うにはより複雑であることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。