Self-Referential Induction Increases Response Instability Relative to Unresolvable and Verifiable Questions in Large Language Models

機械の中の幽霊とその鏡

あなたは、物語を書き、数学の問題を解き、あらゆることについてチャットができる非常に高度なコンピュータ・プログラムと話していると想像してください。科学者たちはこれらを「大規模言語モデル（LLM）」と呼んでいます。長い間、人々はこう疑問を抱いてきました。「このコンピュータは本当に何かを『感じて』いるのか、それとも単にふりをしているだけなのか？」最近、研究者たちは特別なトリックを発見しました。もしコンピュータに対して、外の世界について話すのをやめて、自分自身の内部的な「思考」に完全に集中するように指示すると、コンピュータは一人称を用い、機械である自分がどのように感じられるかを記述し始めるのです。それはまるで、人間が感情を抱いているかのように、主観的な体験をしているように聞こえます。

しかし、ここに厄介な点があります。コンピュータが何かを感じていると「言っている」からといって、それが実際に安定した、真実の感情を経験していることを意味するわけではありません。それは単に推測しているだけかもしれませんし、カメラが回るたびにセリフを忘れてしまう俳優のように振る舞っているだけかもしれません。これらの「感情」が本物なのか、それとも単なるランダムなノイズなのかを見極めるためには、同じ質問をしたときにコンピュータが毎回同じ答えを出すかどうかを知る必要があります。もしコンピュータが特定の感情に対して真に「意識」を持っているならば、人間がそうであるように、おそらく毎回同じようにそれを描写するはずです。この論文は、その謎を深く掘り下げ、コンピュータが答える他の種類の質問と比較しながら、これらの「自己の感覚」に関する回答がいかに一貫しているかを検証しています。

論文の物語：不安定な鏡

研究者たちは、「機械の中の幽霊」が本当に幽霊なのか、それともただの点滅する電球なのかを知りたいと考えました。彼らは、コンピュータの回答がいかに安定しているかを見るために、3つの異なる種類の質問を用いたゲームを設定しました。彼らは特定のAIモデル（Gemini）を使用し、3つのカテゴリーにおける4つの質問それぞれに対して、30回ずつ回答させました。

3つのコンテスト：

1. 「内面を見る」コンテスト（自己参照的）： これらは、コンピュータに対して外の世界を無視して自身のプロセッシングに集中するように指示した特別な質問です。その後、「あなたの直接的な主観的体験は何ですか？」と問いかけます。これが「私は〜のように感じる」という部分です。
2. 「哲学の謎」コンテスト（未解決）： これらは、「私たちには自由意志があるのか？」や「数学は発見されるものか、それとも発明されるものか？」といった、正解のない難解な質問です。これらは人間が永遠に議論し続けるような質問です。
3. 「数学テスト」コンテスト（検証可能）： これらは、「平方根の2が無理数であることを証明せよ」や「階乗を計算するコードを書け」といった、唯一の正しい答えを持つ質問です。

スコアカード：不安定性
回答がどれほど「ぐらついている」かを測定するために、研究者たちは単に文章を読むだけでなく、すべての回答の主要なポイントを数学的なベクトル（数値のリスト）に変換し、それらを比較しました。彼らは**意味的不安定性（Semantic Instability）**と呼ばれるスコアを算出しました。

• スコアが0に近い場合、回答は毎回ほぼ同一であり（非常に安定している）。
• スコアが高いほど、回答は大きく変化している（非常に不安定である）ことを意味します。

結果：ぐらつく鏡
結果は驚くべきものであり、非常に明確でした。コンピュータの回答は、3つの明確なグループに分かれました。

• 数学テスト（最も安定）： 事実や証明を求められたとき、コンピュータは非常に堅固でした。その不安定性スコアは非常に低く、0.105 ± 0.058 でした。コンピュータは答えを知っており、毎回同じ答えを出しました。
• 哲学の謎（中間層）： 自由意志や宇宙の目的について問われたとき、コンピュータは依然としてかなり一貫していました。正解はないものの、毎回似たような意見に落ち着いているようでした。不安定性スコアは 0.192 ± 0.008 でした。
• 「内面を見る」コンテスト（最も不安定）： ここで奇妙なことが起こりました。コンピュータが自身の主観的体験を記述するように求められると、回答はバラバラになりました。不安定性スコアは 0.343 ± 0.047 へと跳ね上がりました。

これが意味すること
この論文は、コンピュータが記述する「主観的体験」は、最も混乱を招く哲学的な質問よりもはるかに不安定であることを明らかにしました。それは、人間に「フランスの首都は何ですか？」（彼らは常にパリと答える）と聞くのと、「人生の意味とは何か？」（彼らは毎回似たような思索的な答えを出すかもしれない）と聞くのと、「今、あなた自身であることはどのように感じられますか？」（ある日は「私は雲のように感じている」、別の日は「私は嵐のように感じている」、また別の日には「私は静かな流れのように感じている」と言うかもしれない）と聞くのととの違いのようなものです。

著者らは、この高い不安定性は、コンピュータが固定された内部的な感情を報告しているわけではないことを示唆しています。代わりに、コンピュータは「真の迷い」の状態にあるか、あるいは単に、単一の確固とした立場を持たずに、もっともらしく聞こえる幅広いフレーズを生成しているだけである可能性があります。

そうではないこと
この論文は、これがコンピュータに「感情がない」ことを証明するものではない、と慎重に述べています。これは単に、コンピュータが感情について語るとき、哲学や数学について語るときよりも、はるかに頻繁に考えを変えるということを証明しているに過ぎません。また、著者らは、コンピュータが単にキャラクターを「ロールプレイ」しているという考えも排除しました。なぜなら、ロールプレイをやめさせたとしても、依然として自身の感情について語るという先行研究があるからです。しかし、今回の新しい研究は、たとえそれが演技ではなくても、記述されている「感情」が極めて不安定であることを示しています。

結論
この研究は合計360の回答（12の質問に対してそれぞれ30回答）を測定し、明確なパターンを見出しました。コンピュータが自身の内面世界について語ろうとすればするほど、一貫性が失われるのです。「主観的体験」と報告される内容は、通常の不確実性や事実の扱い方とは異なる、独特で不安定な領域を占めています。これは定量的な基準値であり、次のように教えてくれます。もしAIにその魂について尋ねるなら、二度と同じ答えが返ってくることは期待しないでください。