Epistemic Familiarity is Associated With Belief Stability in Large Language Models
本論文は、大規模言語モデルが、未知の合成文と比較して馴染みのある架空の文を処理する際により高い信念の安定性を示すことを実証するP-StaTフレームワークを紹介し、認識的な馴染み深さが意味論に起因する信念の不安定性を緩和する鍵となる要因であることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ロボットに「事実」「嘘」「作り話」の違いを教える方法を教えていると想像してみてください。一度、ロボットが「真実」のルールを学べば、どのように質問されてもそのルールを守り続けるだろうと思うかもしれません。しかし、チャットボットや検索ツールの背後にある強力なAIの脳である大規模言語モデル（LLM）の世界では、物事はもう少し不安定です。これらのモデルは、インターネット上のほぼすべての情報を読み込んだ巨大な図書館のようなものですが、人間のように物事を「知って」いるわけではなく、パターンのに基づいて次に続くべき言葉を予測しているのです。科学者にとっての重要な問いは、文脈や質問の仕方をわずかに変えたとき、ロボットの事実に対する信念は安定し続けるのか、それとも揺らいで崩れてしまうのか、ということです。これは「認識論的安定性（epistemic stability）」の研究です。もしロボットが今日、ある都市が存在すると信じているのに、近くで作り話に触れたという理由だけで考えを変えてしまうとしたら、それは問題です。私たちはこれを重視しています。なぜなら、これらのモデルは私たちに情報を提供するためにますます活用されており、その信念が岩のように堅固なのか、それとも少しの混乱によって簡単に揺らいでしまうのかを知る必要があるからです。
ここで、サマンサ・ダイスとそのチームによる新しい研究が登場しました。彼女たちは、何がこぼれ落ちるかを見るために、ロボットの世界を揺さぶることに決めたのです。彼女たちは、P-StaT（Perturbation Stability of Truth：真実の摂動安定性）と呼ばれるフレームワークを構築しました。P-StaTを「信念のストレス・テスト」と考えてください。研究者たちは21種類の異なるAIモデルを取り上げ、彼らに多くの記述を与えて判断させました。いくつかの記述は現実の事実（例：「スラートはインドにある」）であり、いくつかは明らかな嘘であり、そしてトリッキーなのが「どちらでもない」記述、つまり現実の世界では真でも偽でもない主張です。
チームは、これらの「どちらでもない」記述を二つの陣営に分けました。第一の陣営は**既知のフィクション（Familiar Fictional）**に関する記述です。これらは、「ビキニタウンは太平洋にある」のように、物語や映画の中に存在するかのように聞こえる作り物の事柄です。ビキニタウンは実在しませんが、AIはその人気のあるアニメであるため、学習データの中でおそらく目にしたことがあるはずです。第二の陣営は、**未知の合成（Unfamiliar Synthetic）**に関する記述です。これらは、AIがこれまで見たことがないであろう、全く新しい、奇妙な言葉の組み合わせです。例えば、「ユスタポル市はオクラニアンにある」といったものです。これらは、モデルにとって完全な「見知らぬもの」として設計されています。
研究者たちは、「もしも」というゲームを行いました。彼らはAIに対し、「よし、これらの作り物の事柄が実際に正しいと仮定して」と伝え、AIが現実の事実に対する信念を突然疑い始めるかどうかを見守りました。それは、人に「ドラゴンが実在すると想像して」と言った後、「それで、空は青いですか？」と尋ねるようなものです。もしその人が「ドラゴンのせいで、空は緑かもしれないし、よくわかりません」と答えたとしたら、その人の信念体系は不安定です。
結果は非常に興味深いものでした。AIが未知の合成記述（全く新しい、奇妙なもの）にさらされると、非常に不安定になりました。行動テスト（AIが単にチャット形式で回答する場合）において、モデルは現実の事実に関する信念を**50%**以上の割合で撤回しました。それはコイン投げのようなものです。もしコインを100回投げたら、約50回の表が出るはずですが、ここでは、AIは全く新しいものによって混乱しただけで、事実に対する自信を失うことが、多くの場合（半分以上）ありました。
しかし、AIが既知のフィクション（カートゥーンの都市や映画のモンスター）にさらされたときは、ずっと冷静でした。AIはビキニタウンがアニメであることを知っていたので、そのアイデアが現実の都市に関する知識を乱すことはありませんでした。この研究は、AIの不安定性は単に言葉が奇妙であることによるのではなく、その文脈がいかに「未知（unfamiliar）」であるかによるものであることを示唆しています。モデルには、以前に見たことがあるものに基づいた「コンフォートゾーン（快適な領域）」があり、未知の領域へと押し込まれると、真実への把握力が滑り落ちてしまうのです。
研究者たちはまた、AIが混乱したときにどのような種類の事実を最も放り出しやすいのかについても調査しました。彼らは、AIがランダムに何かを忘れているのではないことを発見しました。AIは、技術的な医学用語、無名の地理、あるいは少し曖昧さを含む記述など、もともと少し「曖昧（fuzzy）」であったものについての信念を放棄する傾向がありました。それはまるで、AIの信念体系がトランプの城（ハウス・オブ・カード）であるかのようです。馴染みのあるフィクションという穏やかな風が吹いても、城は立ち続けます。しかし、未知のナンセンスというハリケーンが吹くと、すでに少し不安定になっていたカード（トリッキーでテクニカルなもの）が最初に倒れてしまうのです。
要約すると、この論文は、認識論的な親近性（epistemic familiarity）、つまりAIがそのトピックをどれほどよく知っているかが、信念の安定性を左右する大きな要因であることを示唆しています。もしAIが、見たことがない事柄について推論を求められた場合、実際に知っていることについても幻覚（ハルシネーション）を起こしたり、考えを変えたりする可能性が非常に高くなります。著者たちはAIが壊れていると言っているのではなく、「安定性」という概念が、従来の「正確性」テストと並んで、AIの信頼性を測るための新しい指標であることを示しているのです。デジタルな脳にとって、ゲームのルールを知っていることは、ゲームの事実を知っていることと同じくらい重要なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。