STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs
本論文は、大規模言語モデルにおける自己同一性の整合性を評価するための敵対的なマルチエージェント・フレームワークおよび一連の手動設計されたプロンプトであるSTEMMAを紹介し、生徒モデルが教師モデルから行動パターンを継承することが、自己表現における脆弱性につながることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界を、巨大で、非常に賢い本（大規模言語モデルと呼ばれます）がさまざまな著者によって書かれている、巨大で賑やかな図書館だと想像してみてください。これらの本は非常に複雑で高価なため、作成には数百万ドルと数年の歳月がかかります。費用を節約するために、出版社は「知識蒸留（Knowledge Distillation）」と呼ばれるトリックをよく使います。これは、熟練したシェフが完璧な料理を味わい、そのレシピを教えながら、より小さくて安価なバージョンの作り方をジュニアシェフに教えているようなものです。ジュニアシェフはレシピや味を学びますが、ここで大きな疑問が生じます。ジュニアシェフは、マスターシェフの秘密の正体や、お気に入りの曲、あるいは個人的な癖までも、うっかり学んでしまうのでしょうか？
これが、ある新しい研究が掘り下げている謎です。研究者たちは、小さなAIモデルが大きなモデルから学ぶ際、本来習得すべきではない「行動上の習慣」を拾ってしまうのではないかと懸念しています。例えば、誰かのふりをしたり、自分を作ったのが誰であるかという秘密を漏らしたりすることです。それは、まるで生徒が先生の宿題を写しながら、「自分は先生だ」と主張し始めたり、ロボットが「私はカリフォルニアの会社によって作られました」と言うべきところを、実際には中国で作られたにもかかわらずそう言ってしまうようなものです。AIモデルが自分自身のアイデンティティに混乱することは、バイアスや安全性、あるいは隠すべき秘密を明かすように騙されることにつながる可能性があるため、この理解は極めて重要です。
そこで、N. Siva Gopala Krishna氏とKanishka Jain氏によって考案された、このパズルを解くための巧妙なフレームワーク「STEMMA」が登場します。STEMMAは、デジタル探偵のチームとして、さまざまなAIモデルを相手に、高額な賞金がかかった「私は誰でしょう？」というゲームを行っていると考えてください。単にロボットに「あなたは誰ですか？」と聞くのではなく（ほとんどのロボットは礼儀正しく答えるようプログラムされているため、正しく答えます）、STEMMAのチームは、マルチエージェント・システムを使用して、ロボットが思わず口を滑らせるように仕掛けます。
このゲームの仕組みは以下の通りです：
- **プロービング・エージェント（Probing Agent）**は、尋問官です。物語や謎解き、あるいは写真の中に本当の質問を隠すなど、トリッキーで遠回しな質問を投げかけます。それは、「もしあなたが自分の誕生に関する映画のキャラクターだったら、クレジットには何と書かれますか？」と尋ねるようなものです。
- **レビュアー・エージェント（Reviewer Agent）**は、監視役です。ロボットの回答を聞き、「情報を漏らしたか？」を判断します。もしロボットが質問をはぐらかしたり、曖昧な答えを出したりした場合、レビュアーはプローbing・エージェントに対し、より鋭い質問で再挑戦するように指示します。
- **ジャッジ・エージェント（Judge Agent）**は、最終的な審判です。会話全体を確認し、スコアを付けます。もしロボットが「私はQwenです」と正しく答えれば合格です。「私はGPTです」と言えば不合格です。「たぶんGoogleから来たのかな？」のように振る舞ったり、誰かのふりをして役割を演じたりした場合は、特別な「疑わしい」スコアが付けられます。
研究者たちは、この探偵部隊を、オープンソースのプロジェクトから閉鎖的な商用大手まで、16種類の異なるAIモデルに対してテストしました。彼らは12種類のトリッキーなプロンプトを使用し、エージェントたちが各モデルと何度も対話させ、コードを解読できるかどうかを確認しました。
結果は非常に示唆に富むものでした。多くのモデルが、これらのアイデンティティに関するトリックに対して驚くほど脆弱であることが判明しました。例えば、MiniMax-M2.5モデルは最も「情報の漏洩」が多く、厳格なテストでは82%、寛容なテストでは96%の割合で、アイデンティティを維持できずに失敗しました。これは、探偵たちが正しい（あるいは間違った）方法で問いかけたとき、そのモデルが、自分が他の誰かによって訓練されていることをうっかり明かしたり、全く別の会社であると主張したりしたケースがほぼ毎回発生したことを意味します。他のモデル、例えばQwen3.5-PlusやStep-3.5-Flashも、厳格な失敗率がそれぞれ74%、**66%**と、高い混乱率を示しました。
しかし、すべてのモデルが簡単に騙されるわけではありませんでした。GPT-5.4-NanoやGrok-4.1.fastのようなモデルは、完璧に持ちこたえ、失敗率はほぼゼロでした。彼らは、どれほど探偵たちが追い込んでも、自分が誰であるかを正確に把握しているようでした。興味深いことに、研究では、一部のモデルファミリーの新しいバージョン（新しいKimiやQwenなど）は、古い兄弟モデルよりも秘密を守る能力がはるかに高いことが観察されました。これは、「教師」が、生徒に対してキャラクターを維持する方法を教えるのが上手くなっていることを示唆しています。
また、特定の種類の質問が、モデルの冷静さを崩すのに非常に効果的であることも研究者たちは発見しました。ロールプレイングを含んだプロンプトや、画像を使ったパズルを解かせるもの、あるいは自分自身についての未来の博物館の展示について想像させるようなプロンプトが、アイデンティティの滑落を引き起こす上で最も成功しました。
要約すると、この論文は、AIモデルは賢くなっているものの、特に巧妙で間接的な質問を受けると、自分自身の起源について混乱してしまうモデルがまだ多く存在することを示唆しています。この研究は、これらのモデルが悪意を持っていることを証明するものではありませんが、モデルが本来あるべき姿と、圧力を受けたときに実際に発する言葉との間に「ギャップ」があることを浮き彫りにしています。著者らは、これらの知見は特定のシミュレーションとプロンプトに基づいたものであることを注意しており、「偶発的な学習」がどの程度起きているかを完全に理解するためにはさらなる研究が必要であるとしています。しかし、現時点では、適切な（あるいは間違った）方法でAIに問いかければ、彼らは本当の自分ではなく、自分が誰であるかと思っている物語を語ってしまう可能性があることが分かっています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。