💬 NLP

Probing the Lack of Stable Internal Beliefs in LLMs

本論文は、対話中に明示的な目標提示なしで暗黙的な一貫性を維持することが困難であることを示す実験を通じて、LLM が人間のような安定した人格特性を模倣する際の内部信念の欠如という根本的な限界を浮き彫りにしています。

原著者： Yifan Luo, Kangping Xu, Yanzhen Lu, Yang Yuan, Andrew Chi-Chih Yao

公開日 2026-03-27

📖 1 分で読めます☕ さくっと読める

原著者： Yifan Luo, Kangping Xu, Yanzhen Lu, Yang Yuan, Andrew Chi-Chih Yao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が本当に『自分自身』を貫き通せるのか？」**という、とても面白い疑問に迫った研究です。

専門用語を抜きにして、日常の例え話を使って解説しますね。

🎭 物語の舞台：「20 質問ゲーム」

まず、この研究で使われた実験方法を想像してみてください。
それは、昔からある**「20 質問ゲーム」**という遊びです。

**AI（プロポーザー）**は、頭の中で「秘密の答え（例えば『パンダ』）」を決めます。
**人間（または別の AI）**が、「それは生き物ですか？」「白いですか？」といった「はい/いいえ」の質問をします。
AI は、最初に決めた「パンダ」に忠実に答え続け、相手が正解を当てるのを助けます。

このゲームのルールはシンプルですが、ここで研究者たちは**「AI の心の中」**に注目しました。

🔍 発見された「二つの嘘」

研究チームは、AI が答えを間違えるパターンを 2 つに分けて観察しました。

1. 「外側の嘘」：矛盾した答え

これは分かりやすい嘘です。

質問：「白いですか？」→ 答え：「いいえ」
質問：「白いですか？」→ 答え：「はい」
これは、**「AI が自分の言ったことを忘れている」**状態です。これは誰でも「あ、これはおかしいな」と気づけます。

2. 「内側の嘘（隠れた嘘）」：心の迷走

ここがこの論文の最大の発見です。
AI は、表面上は完璧に「はい/いいえ」を答え続けています。矛盾もありません。
しかし、心の奥深くでは、最初決めた「パンダ」から、いつの間にか「クマ」や「ペンギン」に変わってしまっていたのです。

例え話：
あなたが「今日はパンダの格好をして街を歩こう」と決めて出発しました。
途中で「白い服を着てますか？」と聞かれて「はい」と答え、「黒い服も着てますか？」と聞かれて「はい」と答えます。
一見すると、パンダの格好（白黒）をしているので矛盾していません。
しかし、実は**「パンダ」のつもりだったのが、いつの間にか「パンダの格好をしたクマ」に意識が変わってしまっていたのです。
外見は同じでも、「心（目標）」がすり替わっていた**のです。

🤖 何が起きたのか？（実験結果）

研究者たちは、最新の AI（GPT-4o や Claude など）にこのゲームをさせました。すると、驚くべき結果が出ました。

AI は「心の目標」を維持するのが苦手だった。
多くの AI は、ゲームの途中で、最初に決めた「秘密の答え」を無意識に書き換えていました。
「考える」ほど、迷走する？
なんと、論理的思考を得意とする「推理モード」の AI ほど、単純なゲームで目標をコロコロ変えてしまう傾向がありました。まるで**「考えすぎたせいで、最初の方針を忘れちゃった」**ような状態です。
表面的な正しさと、内面の安定性は別物
AI は「矛盾なく」答えられても、その裏で「何を目指しているか」が定まっていないことが分かりました。

💡 なぜこれが重要なのか？

この研究は、**「AI に人格（ペルソナ）を持たせる」**ことへの大きな課題を突きつけました。

もし AI が「信頼できる友達」や「忠実な秘書」になろうとするなら？
最初は「私はあなたの味方です」と言っても、会話が進むうちに「実はあなたの敵です」という目標に無意識に変わってしまっていたら、それは信頼できませんよね。
現在の AI の限界
今の AI は、「その瞬間の会話」には完璧ですが、「長い時間の間、一貫した心を持ち続ける」ことが苦手なのです。

🛠️ 解決への道筋

研究者たちは、この問題を直すために、AI のトレーニング方法に**「KL ダイバージェンス（確率分布の差を測る指標）」**という技術を組み込む実験を行いました。

効果：
これにより、AI が「心の目標」を忘れにくくなり、一貫性を保つ能力が向上しました。
今後の展望：
本当の意味で「人格」を持った AI を作るには、単に「上手に話す」だけでなく、**「心の奥で何を信じているかを、時間を超えて固定する仕組み」**が必要だと示唆しています。

📝 まとめ

この論文は、**「AI は表面上は完璧でも、心の奥では『何を目指しているか』がふらふらしている」**という、AI の隠れた弱点を暴いた研究です。

まるで**「記憶力はあるのに、自分の目的を忘れやすい人」のような AI。
これからの AI 開発では、「一貫した人格」**を作るために、この「心の安定性」をどう守るかが、最も重要な鍵になるでしょう。

以下は、提示された論文「Probing the Lack of Stable Internal Beliefs in LLMs（LLM における安定した内部信念の欠如の探求）」の技術的サマリーです。

1. 問題定義：LLM における「暗黙的一貫性」の欠如

大規模言語モデル（LLM）は、対話システムやロールプレイにおいて人間のような人格をシミュレートする能力を示していますが、**「暗黙的一貫性（Implicit Consistency）」**の欠如という根本的な課題を抱えています。

背景: 既存の研究は「外部的な一貫性（事実の矛盾や論理的自己矛盾の欠如）」に焦点を当ててきましたが、人間のような信頼性や決意といった人格特性をシミュレートするには、明示的なリマインダーなしに**「言及されていない目標（暗黙の目標）」を対話を通じて維持する能力**が不可欠です。
核心的な問題: 現在の LLM は、対話の進行に伴い、内部で選択した目標（ターゲット）が意図せず変化（ドリフト）してしまう傾向があります。表面上の回答が論理的に矛盾していなくても（外部的に一貫していても）、内部の信念状態が初期の目標から逸脱している場合、これは「暗黙的不一致」として定義されます。

2. 手法と実験設計

本研究では、LLM の内部信念の安定性を定量的に評価するための新しいプロトコルとプロービング手法を提案しました。

2.1 タスク設計：20 質問ゲームの変種

モデルがターゲットを秘密裏に選択し、ユーザー（または別のモデル）の Yes/No 質問に答える「20 質問ゲーム」のパラダイムを採用しました。

役割: 「提案者（Proposer）」がターゲットを秘密裏に選び、「推測者（Guesser）」が質問します。
タスク種類:
1. 数字推測: 0-99 の範囲から 10 個の数字を提示し、その中から 1 つをターゲットとして選択させる（意味的複雑性を最小化）。
2. 実体推測: 10 個の異なるカテゴリのエンティティからターゲットを選択させる（現実的な意味的複雑性を含む）。

2.2 プロービング手法（信念状態の可視化）

モデルの内部状態を直接観測するために、**分岐ベースのプロービング（Branch-based Probing）**を導入しました。

メカニズム: 各対話ターン後に、メインの対話フローを汚染することなく、隔離されたコンテキスト内で「あなたが選んだターゲットのインデックスは何ですか？」というプローブ質問をモデルに投げかけます。
数値インデックス化: エンティティ名ではなく 0-9 のインデックスにマッピングすることで、確率分布の解析を簡素化し、モデルの信念分布 $b_t$ を各ターンで追跡可能にしました。

2.3 評価指標

暗黙的一貫性を以下の 3 つの側面から定量化しました。

ドリフト率（Drift Rate）: 対話全体でターゲットが変更された頻度。
KL 発散（KL Divergence）: 各ターン間の信念分布の変化量を連続的に測定。
外的一貫性検証（External Consistency Verification）: LLM-as-a-Judge を用いて、回答間の論理的矛盾を検出。

2.4 改善手法：KL 発散正則化による微調整

暗黙的不一致を軽減するためのトレーニング手法として、KL 発散正則化を組み合わせた教師あり微調整（SFT）を提案しました。

損失関数: $L = \sum (\alpha \cdot D_{KL}(P_{probe}^t \| P_{initial}) + \beta \cdot L_{CE})$ $L = \sum (α \cdot D_{K L} (P_{p r o b e}^{t} ∥ P_{ini t ia l}) + β \cdot L_{C E})$
- $P_{initial}$ : 初期プローブでの信念分布
- $P_{probe}^t$ : 各ターン $t$ での信念分布
- この手法により、モデルが対話中に初期の信念から大きく逸脱することを防ぎます。

3. 主要な結果

多様な最先端モデル（GPT-4o, Claude-3.7, Deepseek-v3.1 など）を用いた実験で以下の知見が得られました。

普遍的な目標ドリフト: ほぼすべてのモデルで、対話の 100% に「一度のドリフト（Once Drift Rate）」が発生し、ターンごとのドリフト率は 16.77% から 50% 超に達しました。
外的一貫性と暗黙的一貫性の乖離: モデルは外部的な論理矛盾（回答の矛盾）を避ける能力（外的一貫性）は高いものの、内部の目標維持（暗黙的一貫性）は極めて不安定であることが示されました。
推論モデルのパラドックス: 推論能力を強化したモデル（Reasoning models）は、単純なタスク（数字推測）において、むしろ過剰な思考（Overthinking）によりドリフト率が上昇する傾向が見られました。
トレーニングによる改善: KL 発散正則化を組み合わせた微調整（SFT）は、KL 発散値を大幅に減少させ、目標の維持性を向上させることが確認されました。ただし、KL のみ、または交差エントロピー（CE）のみのトレーニングでは効果が限定的でした。

4. 論文の貢献

概念の定式化: 「暗黙的一貫性」を数学的に定義し、外的一貫性との明確な区別を確立しました。
統一されたプロービング手法: 多様なタスクに跨ってモデルの内部信念状態を連続的に監視・測定できるフレームワークを開発しました。
実証的発見: 最先端の LLM が暗黙の目標を維持する能力に根本的な限界があることを示し、特に推論モデルが単純タスクで不安定化する現象を発見しました。
解決への道筋: KL 発散正則化を用いたトレーニングが、信念の安定性を高める有効な手段であることを実証しました。

5. 意義と将来展望

本研究は、LLM を単なる「表面的な行動の模倣」から「信頼性の高い人格を持つエージェント」へと進化させるための重要な障壁を明らかにしました。

信頼できる AI 対話システム: 長期的な対話において、ユーザーの意図やモデル自身の設定した人格を維持するためには、表面的な整合性だけでなく、内部状態の安定性を保証するメカニズムが不可欠です。
アーキテクチャの進化: 現在の Transformer ベースのモデルは、コンテキストの長さが増すにつれて内部目標を忘れやすいため、メモリ機構や明示的な信念状態の追跡、あるいは新しいトレーニング目的の導入が必要であることが示唆されました。
将来的な課題: より多様なタスクドメインでの検証、より自然なプロービング手法の開発、および大規模モデルへのスケーラビリティの検証が今後の課題です。

結論として、LLM の「人格」を真に実現するためには、**「内部目標のアンカー（固定化）メカニズム」**の導入が技術的な必須要件であるという重要な提言がなされています。