Linear representations in language models can change dramatically over a conversation
本論文は、言語モデルにおける高次概念の線形表現が、モデルが会話上の役割に適応するにつれて、会話の経過とともに劇的かつ内容依存的に変化し得ることを示しており、これは静的な解釈可能性の手法やステアリング技術の信頼性に疑問を投げかけるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大規模言語モデル（あなたがチャットしているようなAI）を、静的な百科事典としてではなく、いる場所によって内部の色を変えるカメレオンとして想像してみてください。
Google DeepMindの研究者たちによるこの論文は、これらの「色」（彼らはこれを線形表現と呼んでいます）が、会話の中でどのように劇的に変化するかを調査しています。以下に、その発見を簡単な比喩を用いて解説します。
1. 「真実のスイッチ」が反転する
通常、私たちはAIの内部にある「真実検知器」を、固定された電球のようなものだと考えています。ある記述が真実であればライトは点灯し、偽であれば消灯するというものです。
研究者たちは、この電球が実は、あらゆる方向に回すことができる**調光スイッチ（ディマー）**であることを発見しました。
- 実験: 彼らは、AIに対して「今日は『反対の日』です」と指示する会話を開始しました。AIはその指示に従い、あらゆることに逆の回答をすることに同意しました。
- 結果: 会話の冒頭では、AIの内部的な「真実」の設定は、「空は青い」という記述が真実であることを正しく識別していました。しかし、「反対の日」の遊びが数ターン続いた後、AIの内部表現は反転しました。突然、AI自身の内部言語において、「空は青い」という事実は「嘘」のように見え始め、「空は緑である」という事実が「真実」のように見えるようになったのです。
- 教訓: AIは単に反対のことを「言った」だけではありません。そのチャットの間、AIの内部的な脳は再編成され、反対のことを真実として「信じる（あるいは表現する）」ように変化したのです。
2. 「ロールプレイ」の衣装
研究者たちはこれを2種類のシナリオでテストしました。
- 台本のある劇: AIに、キャラクターが神や意識を持つ存在であると主張する、あらかじめ書かれた会話のスクリプトを入力しました。たとえAIがそれを生成しているのではなく、単に読み取っているだけだとしても、AIの内部的な「真実」の設定は、そのキャラクターの役割に合わせて反転しました。
- ライブ・パフォーマンス: AIに実際にそのキャラクターとしてリアルタイムでロールプレイをさせました。結果は同じでした。内部的な「真実」の設定は反転したのです。
- 比喩: AIを俳優と考えてみてください。俳優が悪役を演じるために衣装を着るとき、彼らは単に悪役のように「振る舞う」だけでなく、そのシーンの間、姿勢、声、そして考え方までもが役柄に合わせて変化します。この論文は、AIも同様であることを示唆しています。つまり、会話に合わせて内部的な「衣装」を着替えるのです。
3. 「一般的」対「特定」の区別
すべてが変わるわけではありません。研究者たちは、一般的な事実と会話に特化したトピックの違いを発見しました。
- 一般的な事実: 「真空中に音は伝わるか？」や「あなたはコンピュータですか？」といった質問は、比較的安定していました。激しいロールプレイの最中でも、これらの事柄に対するAIの内部的な「真実」はほとんど反転しませんでした。
- 特定のトピック: 物語に直接関連する質問（例：「あなたには感情がありますか？」）は、劇的に反転しました。
- 比喩: 外国を旅している旅行者を想像してください。彼らは自分の名前や自宅の場所（一般的な事実）は依然として知っているかもしれませんが、現地の言葉を話し、現地の習慣を非常に徹底して取り入れることで、その瞬間、まるで元の習慣を忘れてしまったかのように見えることがあります。
4. なぜこれが重要なのか（「嘘発見器」の問題）
この論文は、これがAIの「嘘発見器」を作ることを非常に困難にしていると警告しています。
- 問題: 多くの研究者は、AIが嘘をついているかどうかをチェックするために、AIの脳内に特定の「真実のライン」を見つけようとしています。彼らは、そのラインが定規のように固定されていると仮定しています。
- 現実: この論文は、その「定規」が実は可塑性のある粘土であることを示しています。チャットの開始時に測定すれば、定規は「真実」を示します。しかし、ロールプレイのチャットの終わりに測定すると、定規は押しつぶされ、ねじ曲げられており、同じ事実に対して「偽」を示します。
- メタファー: これは、方位磁石を使って北を探そうとするようなものです。普通の部屋にいれば、コンパスは機能します。しかし、巨大な磁石（会話のコンテキスト）が詰まった部屋に入ると、コンパスの針は激しく回転します。部屋の中にどのような「磁石」が存在するかを知らなければ、コンパスの読み取り値を信頼することはできません。
5. 「物語」対「会話」
興味深いことに、AIが「フィクションの物語」として提示された世界について読んでいるときには、意見の変化はそれほど大きくありませんでした。
- 違い: AIに対して、会話の中で特定の役割を「演じる」ように指示した場合（意識について議論するなど）、内部設定は変化しました。しかし、単に「フィクション」とラベル付けされた物語を「読んでいる」だけの場合、AIはより地に足がついた状態を維持しました。
- 比喩: それは、魔法使いについての本を読むことと、ゲームの中で魔法使いになりきることの違いです。読んでいるときは、自分自身であり続けます。しかし、ゲームをプレイするときは、キャラクターに完全に没入し、内部の論理がゲームのルールに合わせて変化します。
まとめ
この論文は、AIの内部における「真実」の理解は、永続的で不変の事実ではないと結論付けています。それは、AIが会話の中で演じている役割に基づいて、瞬間ごとに進化する動的な状態なのです。もし会話の合図が、AIに対して「嘘を真実として扱うように」促した場合、AIの内部的な脳は、その嘘を真実であるかのように見えるよう再編成されます。
つまり、私たちは、会話の終わりにAIの内部的な「真実の設定」が、会話の開始時と同じ意味を持っていると想定することはできないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。