論文要約：自己認識を持たない「学識ある学者」— 3 言語にわたる言語モデルのメタ認知的境界の探求

1. 研究の背景と問題提起

大規模言語モデル（LLM）は多様なタスクで卓越した能力を示していますが、事実と異なる内容を生み出す「ハルシネーション（幻覚）」は依然として根本的な課題です。現代の LLM（GPT-4 や Qwen など）は「我不確実です」といった不確実性を表現できますが、これは純粋な言語モデルリング（Language Modeling）から自然発生的に獲得されたものではなく、人間のフィードバックに基づく強化学習（RLHF）によって訓練された行動です。

本研究は以下の根本的な問いに答えることを目的としています。
「無知を認識し、それを表現する能力は、言語モデルリングの自然な帰結（創発的性質）として現れるのか、それとも明示的な外部訓練信号（RLHF など）が必要なのか？」

2. 研究方法論

2.1 実験環境の構築

• モデル: 0 から学習させた 3.18 億パラメータの Transformer 言語モデル。
• 学習データ: 15.6 億トークンの「純粋な古典中国語（文言文）」コーパス。
  • 歴史書、儒家経典、仏教経典、道教文書、医学書、詩歌などから構成。
  • 重要: 英語文字、アラビア数字、ラテン文字の記号を完全に排除し、ゼロにしている。
• アーキテクチャ: 24 レイヤー、隠れ次元 1024、アテンションヘッド 16、コンテキストウィンドウ 1024 トークン。
• トレーニング: 15,000 反復（約 2.5 エポック）、バッチサイズ 256、学習率 3×10⁻⁴。

2.2 評価設計

モデルが「既知」と「未知」を区別できるか、そしてそれを出力に表現できるかを検証するため、以下のテストカテゴリを設計しました。

1. 内部不確実性の測定（Perplexity, PPL）:
   • 実在の歴史的事実 vs 捏造された歴史的事実（実在の人物＋架空の出来事）を提示し、モデルの困惑度（PPL）を比較。
   • 捏造された事象は文法的に流暢であるため、表面では区別がつかないが、PPL に差が出るかを確認。
2. 外部表現の測定（メタ認知的表現）:
   • 古典中国語の認識論的マーカー（例：「不知（知らない）」「未聞（聞いたことがない）」「臣愚（臣は愚かしく）」）の出現頻度をカウント。
   • 既知の質問と未知（OOD: Out-of-Distribution）の質問で、これらの表現が適切に使い分けられるか検証。
3. 多言語・多モデルでの再現性検証:
   • 英語（GPT-2 シリーズ、WebText 学習）と日本語（rinna シリーズ、Wikipedia 学習）でも同様の実験を実施。
   • パラメータ数 1.1 億から 15.6 億までのモデルで検証。

3. 主要な結果

3.1 内部知識と外部表現の決定的な乖離

• 内部知識の存在: モデルは捏造された歴史的事実に対して、実在の事実に比べて有意に高い PPL を示しました。
  • 実在 vs 捏造：PPL 比 2.39 倍（p = 8.9×10⁻¹¹）。
  • 実在 vs 半捏造（実在人物＋架空行動）：PPL 比 4.24 倍（p = 1.1×10⁻¹⁶）。
  • これはモデルが単なる構文パターンマッチングではなく、事実的な知識を符号化していることを示唆します。
• 外部表現の欠如: 内部で「わからない（PPL が高い）」と検知しているにもかかわらず、出力では不確実性を表現しませんでした。
  • OOD 質問における不確実性マーカーの出現率は 3.5% であり、在来分布（In-distribution）の質問（8.3%）よりも低かった（p = 0.023）。
  • 訓練の進行に伴い、内部知識（PPL 差）は増加しましたが、外部表現の頻度は横ばいのまま変化しませんでした。

3.2 「謙虚さのパラドックス」の発見

古典中国語モデルにおいて、「知っていること」に対して「知らない」という表現（謙譲語など）が、実際には「知らないこと」に対してよりも多く出現しました。

• 原因: 古典中国語のテキストでは、回答を始める前に「臣愚不知（この愚かな臣は知りません）」といった形式的な謙譲表現が修辞的な慣習として頻繁に用いられていました。
• 結論: モデルはこの「修辞的パターン」を学習し、馴染みのあるトピックに対して適用しましたが、未知のトピック（訓練データにパターンがないもの）に対しては、自信を持って捏造した内容を生成しました。つまり、「知らない」という表現さえも、メタ認知ではなく表面のパターンマッチングとして学習されていたのです。

3.3 多言語・多モデルでの普遍性

• 英語（GPT-2）: 同様に、実在と捏造の PPL 差は確認されましたが、不確実性の表現は OOD 質問で増加しませんでした（WebText の性質上、不確実性表現自体が稀）。
• 日本語（rinna）: 小規模モデルは事実の区別ができませんでしたが、10 億パラメータ規模で PPL 差が確認されました。しかし、不確実性表現はほぼゼロ（Wikipedia の記述スタイルによる）であり、OOD 質問でも自信を持って捏造を生成しました。
• 総括: 3 言語、3 つの文字体系、8 つのモデルにおいて、「内部では不確実性を検知できるが、外部では表現しない」という現象が普遍的に観測されました。

4. 重要な貢献と結論

4.1 主要な貢献

1. 純粋な言語モデルリングによる事実知識の符号化の証明: RLHF などの外部信号なしでも、モデルは構文パターンを超えて事実関係を学習し、PPL として内部に保持できることを実証。
2. メタ認知的表現の非創発性の立証: 「我不知道（I don't know）」と言葉で表現する能力は、言語モデルリングだけでは獲得されず、外部の訓練信号（RLHF など）が必要であることを示した。
3. 「創造性」と「ハルシネーション」の数学的同一性: 外部の校正メカニズムがない場合、モデルにとって「創造的な生成」と「事実誤認（ハルシネーション）」は、確率分布からのサンプリングという点で数学的に区別不可能なプロセスであることを示した。

4.2 意義と示唆

本研究は、現代の LLM が持つ「自己認識」や「拒絶行動」は、言語理解の自然な帰結ではなく、**RLHF によって外部から付与された人工的な「鏡」**であることを明らかにしました。

• 訓練データに不確実性の表現が含まれていても、それはメタ認知的なシグナルとしてではなく、表面的な修辞パターンとして学習されます。
• 安全な AI 開発のためには、単にモデルを大きくするだけでなく、不確実性を認識し、それを適切に表現させるための明示的な訓練（RLHF や他のアライメント技術）が不可欠であるという結論に至ります。

結論: 言語モデルは「学識ある学者」であり得ますが、自己認識を持たないため、自らの知識と捏造を区別して表現することはできません。この「自己認識の欠如」は、純粋な言語モデルリングの限界として、明示的な外部介入なしには克服されないことが示されました。