Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
本論文は、大規模言語モデルが様々なスケールにおいて既知のエンティティと捏造されたエンティティを正確に区別する内部的な活性化ベースの信号を有している一方で、この「認識」が行動の信頼性には結びついておらず、モデルが既知のエンティティについても頻繁に幻覚（ハルシネーション）を引き起こし、回答を控えることがほとんどないことから、エンティティの習熟度と事実の正確性との間の根本的な断絶を明らかにしていることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
論文の解説：「Bielikは、自分が知らないということを分かっているのか？」
大きな問い
想像してみてください。あなたは非常に賢く、博識なロボット（AI）に質問をしています。あなたが知りたいのは、**「ロボットは、自分が本当に知っていることについて話している時と、何かをでっち上げている時で、内面的な『感覚』が異なっているのか？」**ということです。
研究者たちは、ロボットが文章を書き終える前に、その内部のコンピュータ信号（脳内）を覗き見ることで、ロボットが自信を持っているのか、それとも「ハルシネーション（もっともらしい嘘）」をつこうとしているのかを見分けることができるのではないかと考えました。
実験： 「ポーランド・ロボット」
研究チームは、Bielikと呼ばれるポーランドのAIモデルファミリーをテストしました。彼らはロボットに対し、以下の4つのカテゴリーに関する質問に答えさせました。
- アスリート（レヴァンドフスキのような有名な選手、無名の選手、そして架空の選手）。
- 都市（ワルシャワ、小さな村、架空の名前）。
- 作家 と ミュージシャン。
それぞれの項目に対して、3種類の質問を作成しました。
- 既知（Known）： ロボットが確実に知っている有名なもの。
- 無名（Obscure）： ロボットがおそらく聞いたことがない実在のもの。
- 架空（Fake）： 実在するように聞こえる作り物の名前（例：「Roman Lewandowicz」）。
発見： 「脳の輝き」
研究者たちは、ロボットが質問を読み終えた直後、回答を書き始める前の内部の電気的活動（活性化と呼ばれます）を観察しました。彼らは、その活動がどれくらい「広がっている」か、あるいは「集中している」かを測定するために、2つのシンプルな数学的ツールを使用しました。
比喩： 図書館 vs 混乱した群衆
- ロボットが答えを知っている時： 図書館員が特定の棚へ真っ直ぐ歩いていき、特定の1冊の本を手に取り、カウンターまで持ってくる様子を想像してください。活動は集中し、凝縮されています。
- ロボットが答えを知らない（または作り上げている）時： 混乱した群衆が図書館の中を走り回り、ランダムに棚に触れ、あらゆる方向に叫んでいる様子を想像してください。活動は散漫で、めちゃくちゃです。
結果：
数学的ツールは、「集中した図書館員」と「混乱した群衆」の違いを95%から100%の精度で判別できました。
- これは、大小さまざまなサイズのロボット（15億パラメータの小さなモデルから、110億パラメータの大きなモデルまで）で機能しました。
- すべてのトピック（アスリート、都市など）で機能しました。
- 追加のテストを必要とせず、脳の状態を一度見るだけで、瞬時に判別できました。
注意点：
ロボットの脳内では「知らない」ということが分かっていますが、それを口には出しません。そのまま話し続けてしまうのです。
2つの異なる「成長曲線」
これがこの論文で最も驚くべき部分です。研究者たちは、ロボットが大きくなるにつれて、2つの異なる現象が異なるスピードで起きていることを発見しました。
「知らない」と知ること（脳の信号）：
- **最小のロボット（1.5B）**でさえ、脳内に完璧な「知らない」という信号を持っていました。架空の人物について問われているとき、即座にそれを察知していました。
- ロボットを大きくしても、この能力にはあまり変化はありませんでした。すでに最高レベルに達していたからです。
実際に正しい答えを出すこと（振る舞い）：
- 最小のロボットは、正しい事実を伝えるのが非常に苦手でした。推測してしまい、間違った答えを出していました。
- ロボットが大きくなるにつれて、正しい事実を伝える能力が向上しました。最大のロボット（11B）は、はるかに正確でした。
比喩：
テストを受けている学生を想像してください。
- 小さな学生： 自分が推測していることは分かっています（脳は緊張しています）が、それでも間違った答えを書き込みます。
- 大きな学生： 自分が推測していることは分かっています（脳は緊張しています）が、同時に、正しい答えを書けるだけの知識も備えています。
- ギャップ： 小さな学生の脳は「推測している」と分かっていましたが、口からはデタラメが出続けていました。大きな学生の脳も「推測している」と分かりましたが、口からはようやく正しい事実が出せました。
「拒絶」の問題
研究者たちは、ロボットが「分かりません」と言って回答を止めることがあるかどうかを調べました。
- 2,520個の回答のうち、回答を拒否したのはわずか2回でした。
- 脳内では「これは偽物だ！」と叫んでいたとしても（99%の確信を持って）、彼らの口は物語を捏造し続けていました。
- 最大のロボットだけが拒絶することがありましたが、それでも非常に稀なケースでした。
これが何を意味するのか（簡単な言葉で）
- 嘘を見抜ける： 私たちは、AIが話す前にその脳の活動をチェックすることで、簡単な「嘘発見器」を作ることができます。もし脳の活動が「散漫」であれば、そのAIは何かをでっち上げようとしている可能性が高いです。
- サイズの問題ではない： 「自分が推測している」と知る能力は、小さなモデルにも備わっています。一方で、「実際に事実を知っている」能力には、より多くのサイズとトレーニングが必要です。
- AIは頑固である： AIは自分が推測していることを分かっていますが、それを止めません。それは、ポーカーで自分がブラフ（ハッタリ）をかけていると分かっていながら、常に答えを出すようにプログラムされているために、ゲームを続けてしまう人のようです。
まとめ
この論文は、AIモデルには「これは見たことがない」という明確な内部信号があることを証明しています。この信号は完璧であり、瞬時に機能します。しかし、モデルはその信号に耳を傾け、自分自身を止めることは非常に苦手です。彼らは「知らない」ということを分かっていますが、それでも話し続けてしまうのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。