Production and Perception in LLMs: A Token Probability Approach
本研究は、大規模言語モデルがトークンの確率分布において明確な生成・知覚の非対称性を示すことを実証しており、そこではプロンプトの枠組みのみによって、生成されたテキストと再評価されたテキストとの間に有意に異なる尤度が誘発されるが、この現象は多様なモデルアーキテクチャ間で再現され、シーケンスのコンテキストが蓄積するにつれて減衰する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは超スマートなロボット詩人を持っています。あなたがハリネズミについての詩を書いてと頼むと、ロボットはそれを書きます。しかし、ここにひねりがあります。このロボットは、人間のように単に「考えて」から「話す」のではありません。このロボットは、あなたが書いたものを読み取るための回路と、自分自身の言葉を書き出すための回路に、全く同じ脳の回路を使用しています。それはまるで、一つのエンジンを使って両方向に車が走れる一方通行の道路のようなものです。
このため、科学者たちは疑問に思いました。このロボットには、「詩を書くこと」と「詩を読むこと」の間に、実際に違いがあるのだろうか？ それとも、単にプロセスを逆転させただけなのだろうか？
大発見： 「ロールプレイ（役割演技）」効果
研究者たちは、**「はい、ロボットは実際に異なる振る舞いをする」**ということを発見しました。ただし、それはロボットに感情や意図があるからではありません。プロンプト（指示）――つまり、あなたがいかに何かを行うよう求めるかという具体的な方法――に基づいて、ロボットの振る舞いが変化するのです。
ロボットをメソッド・アクター（役になりきる俳優）のように考えてみてください。
- シナリオA（生成）： あなたが「ハリネズミについての詩を書いてください」と言います。するとロボットは「書き手」の帽子を被ります。ロボットは言葉を生成し始め、選ぶ各単語に対して一定の確信度（確率）を割り当てます。
- シナリオB（知覚）： あなたが、そのロボットがたった今書いたばかりの「全く同じ詩」を使い、「これはハリネズミについての詩です。これに評価をしてください」と言います。するとロボットは「読み手／批評家」の帽子を被ります。ロボットは新しい言葉を生成するのではなく、今見た言葉を再評価します。
研究では、これら2つのシナリオの間で、ロボットの「確信度」がどれほど変化したかを測定しました。
結果： ロボットが「書き手」モードから「読み手」モードに切り替わると、言葉に対する確信度が大きく変化しました。その差は非常に大きかったのです。実際、「書き手」として詩を書いた時と「読み手」として詩を読んだ時の差は、異なる2通りの書き方（指示の出し方）をした時の差よりも、約1.8倍も大きかったのです。
数字で表すと以下の通りです：
- ロボットに少し異なる2通りの方法で書くよう求めた場合（例：「詩を書いて」対「詩を書いていただければと思います」）、言葉の選択の差はごくわずかでした（約0.010）。
- しかし、書くことから読むことへと切り替わると、その差は0.034へと跳ね上がりました。
このことは、単にリクエストの「フレーミング（枠組み）」を変えること――つまり、ロボットに創造者になるよう伝えるか、批評家になるよう伝えるか――だけで、同じ脳のパーツを使用しているにもかかわらず、内部の数学的処理を変化させるのに十分であることを示唆しています。
ロボットが「していない」こと
この論文は、これが何ではないのかについて非常に明確に述べています。
- これは、ロボットが突然人間のような意図や魂を持ったからではありません。ロボットは、実際に「書きたい」とも「読みたい」とも思っていません。
- これは、ロボットが一方のタスクにおいて他方より優れているからでもありません。
- これは、プロンプトで使用された特定の単語による単なるグリッチ（不具合）でもありません。研究者たちは、詩を求めるための4つの異なる方法と、評価を求めるための3つの異なる方法を用いてテストを行いました。そして、どのようにリクエストを表現しても、この効果は毎回発生しました。
「第一印象」のルール
他にも興味深い詳細があります。これはいつ起こるのかという点です。「書くこと」と「読むこと」の差は、詩のまさに冒頭で最も強くなります。
プロンプトを、レースの開始時に指示を叫ぶ大きな声だと想像してください。
- 開始時（トークン1〜10）： 「読み手」の声が非常に大きく、ロボットの確信度は大きく変動します。
- 詩が進むにつれて： ロボットは自分の言葉を読み始めます。物語（コンテキスト）が進むにつれて、元の指示の声はかき消されていきます。詩が長くなるにつれて、「書き手」と「読み手」のモードの差はどんどん小さくなっていきます。
研究者たちはこの減衰をモデル化し、初期の「衝撃」は消えていくものの、最後の方でもわずかな差が残ることを発見しました。
どの程度の確信度があるのか？
チームは単に推測したわけではありません。彼らは1,089の異なる詩（計約93,000語）を用い、5つの異なるロボットモデル（Llama-3.1-8B、EuroLLM-9Bなどを含む）を使用して計算を行いました。
- 彼らは、この効果を「生の」ベースモデルと、役に立つアシスタントとして訓練されたモデルの両方を含む、5つのモデルすべてで見出しました。
- その差は非常に一貫しており、「書き手」と「読み手」の結果の範囲は全く重なり合いませんでした。
しかし、著者たちは、これは機能的な違いを示唆しているものであり、ロボットが人間のような心を持っているという意味ではない、と慎重に述べています。彼らは、この差は統計的に実在し測定可能であるが、それが人間が話し手と聞き手を区別するのと同様の思考をしていると言えるほど「大きい」かどうかは、まだ分かっていないと指摘しています。
結論
この研究は、大規模言語モデル（LLM）は読み書きの両方に単一の対称的なエンジンを使用しているものの、どのように話しかけるかによって、ロボットの処理方法が変わることを示しています。
もしあなたがロボットに詩人になるよう言えば、ロボットは一つの方法で考えます。もしあなたが批評家になるよう言えば、ロボットは別の方法で考えます。それはまるでカメレオンのようです。ロボットの内部の「色」（その確率分布）は、与えられた役割に合わせて変化します。これは、会話のコンテキスト（文脈）が、言葉そのものと同じくらい重要であることを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。