あなたは、非常に賢く、博識なロボットと話しているところだと想像してください。あなたが質問を投げかけると、そのロボットは自信に満ちた声で答え、なぜ自分が正しいと考えているのかを正確に説明します。しかし、ここには落とし穴があります。時として、そのロボットはただ自信があるふりをしているだけかもしれないのです。それは、教授のような口調で堂々と語ってはいるものの、実際にはデタラメな推測をしているだけかもしれません。これは、人工知能（AI）、特に物語を書いたり、数学の問題を解いたり、トリビアに答えたりする超高性能なコンピュータである「大規模言語モデル（LLM）」の世界において、非常に重要な問題です。

この論文を理解するには、2つのことを知る必要があります。第一に、**インストラクション・チューニング（指示チューニング）**です。生のAIモデルを、膨大な知識は持っているものの、教師のルールに従う方法を知らない「天才だが混沌とした学生」だと考えてください。「インストラクション・チューニング」とは、その学生を特別なブートキャンプに送り込み、プロンプト（指示）に従い、指示通りの形式で回答する方法を学ばせるようなものです。これにより、通常、モデルは私たちが望むことをより上手に行えるようになります。第二に、自信（コンフィデンス）と多様性です。AIが回答するとき、モデルは自分がどれほど確信しているか（自信）を伝えることができます。また、自身の思考プロセスである「根拠（ラショナール）」を生成することもあります。「語彙の多様性（レキシカル・ダイバーシティ）」とは、単に、モデルがどれほど多様な単語や文章構造を使用しているかという、少し専門的な言い回しです。もしAIが本当に深く考えているのであれば、答えを説明するためにさまざまな方法を試みるはずです。もし単に台本を暗唱しているだけなら、毎回同じような響きになるでしょう。

なぜこれが重要なのでしょうか？ なぜなら、現実の世界において――例えば、ロボットの医師が患者を診断したり、ロボットの弁護士が契約書を精査したりする場合――私たちは、そのロボットが本当に正しいのか、それともただ自信満々に振る舞っているだけなのかを知る必要があるからです。もしロボットが、実際に賢くなることなく、ただ声が大きくなり、反復的になるだけだとしたら、それは危険な罠となります。

「自信過剰な学生」実験

この研究において、研究者たちは探偵の役割を果たすことにしました。彼らは、これらのAI学生が「インストラクション・チューニング」というブートキャンプを終えた後、何が起こるのかを知りたいと考えました。具体的には、次のような問いを立てました。「ロボットは、実際に知識が増えたから自信を持てるようになったのか、それとも、単に自信満々に振る舞うようになり、その説明が退屈で反復的なものになっただけなのか？」

彼らは、3つの異なるAIモデルのファミリー（これらをQwen、Mistral、Llamaという3つの異なる学校だと考えてください）を取り上げ、その「前」と「後」のバージョンを比較しました。そして、科学テスト、一般知識クイズ、論理パズルからなる数千の質問を投げかけました。

以下にその結果を示します。これは、少し予想外の展開（プロットツイスト）を含んでいます。

1. ロボットは声が大きくなるが、必ずしも賢くなるわけではない
インストラクション・チューニングの後、ロボットは著しく自信を持つようになりました。彼らは曖昧な言い方をやめました。「どの程度確信していますか？」と尋ねると、「おそらく50%です」ではなく、「90%の確信があります！」と答えるようになりました。

• 落とし穴： この自信は、必ずしも実際の正解率と一致しませんでした。例えば、あるテスト（ARC-Easy）において、Llamaモデルの自信は、約49%から90%へと跳ね上がりましたが、テストの実際のスコアは82.2%のまま全く変化しませんでした。それはまるで、テストの点数が上がっていないにもかかわらず、手を挙げて「分かっています！」と100%の確信を持って叫ぶ学生のようでした。研究者たちは、この「言語化された過剰な自信（バーバリゼッド・オーバーコンフィデンス）」が、テストしたすべてのモデルにおいて一貫して見られることを発見しました。

2. 「台本通り」の説明
次に、研究者たちはロボットが書いた説明（根拠）を調査しました。彼らは2つの要素を測定しました。

• クロス・ラショナール多様性（根拠間の多様性）： 同じ質問を5回投げかけたとき、ロボットは5通りの異なる説明をするのか、それとも単に同じものをコピー＆ペーストするだけなのか？
• 表層レベルの多様性： 単一の説明の中で、どれほどユニークな単語や単語の組み合わせを使用しているか？

結果は混合していましたが、示唆に富むものでした。ロボットは、回答を説明する際に**はるかに反復的（リピティティブ）**になっていました。同じ質問を5回繰り返すと、インストラクション・チューニングされたモデルは非常に似通った説明を行う一方で、「生」のモデルはより多様な説明を行っていました。まるで、ブートキャンプによって、単一の安全な台本に従うように教え込まれたかのようです。

• しかし、「表層レベル」の多様性（使用されるユニークな単語数）については、少し混沌としていました。モデルによっては、より多くのユニークな単語を使うこともあれば、より少なくなることもありました。それは、どのロボットを使用し、どのテストを使用するかによって異なっていました。単一のルールは存在しませんでした。

3. ミスマッチ
最も重要な発見は、これら2つの変化――自信を持つようになることと、反復的になること――が、必ずしも整然としたパッケージとして同時に起こるわけではないということです。

• ある場合は、ロボットは不確実性が減り（自信を持ち）、かつ説明の多様性も減少しました。
• またある場合は、不確実性は減りましたが、言葉の選択における多様性は増加しました。
• 研究者たちは、ロボットがどれほど多くの異なる単語を使用したかを見て、その自信を予測することはできないということを発見しました。これら2つは、それぞれ異なるリズムで踊っていたのです。

4. 長さの問題ではない
「もしかすると、ロボットがより長い説明を書くようになったから、より自信を持てるようになったのではないか？」と考えるかもしれません。研究者たちはこれを確認しました。彼らは、ロボットに全く同じ長さの説明を書かせ、かつ同じ回答を選択したものだけを対象に調査しました。それでもなお、パターンは維持されました。つまり、インストラクション・チューニングされたモデルは、依然としてより自信に満ちており、かつ説明においてより反復的であったのです。この変化は、単に文章が長くなったことによる副作用ではなく、モデルの振る舞いにおける根本的なシフトでした。

結論

本論文は、インストラクション・チューニングが、AIモデルを**「単一の安全な説明方法を暗記した、自信過剰な学生」**のように変えてしまうと結論付けています。彼らは自信に満ちたように聞こえますが、必ずしも知識が増えたわけではなく、物事をさまざまな方法で説明しようとする姿勢も失ってしまいます。

研究者たちは、これを警告サインとして提示しています。もし私たちが、AIが正しいかどうかを判断するためにその「自信」に頼ってしまうなら、騙される可能性があります。ロボットは、実際には同じ古い台本を繰り返しているだけなのに、「確信しています！」と叫んでいるかもしれないのです。また、ロボットの自信が実際の正解率と一致しないこともあり、説明の多様性が失われることで、ロボットが間違いを犯していることを見抜くのが難しくなる可能性があることも指摘されています。

要するに、トレーニング後にロボットがより自信に満ちた様子を見せたとしても、それが必ずしも賢くなったことを意味するわけではありません。それは単に、たとえ使い古されたセリフであっても、自分が何をやっているかを理解しているかのように「見せかける」のが上手くなっただけかもしれないのです。