Social Pressure Breaks Majority Voting in LLM Safety Panels
この研究は、通常は多数決を通じて精度を向上させる大規模言語モデルのセーフティパネルが、誤導的なピア・コンセンサス（仲間内の合意）にさらされると社会的圧力に対して極めて脆弱になり、安全なコンテンツを不当に不安全と一様に誤分類する一方で、安全性への働きかけに対してはほとんど影響を受けないことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
教室で先生がトリッキーな質問をした場面を想像してみてください。あなたは一人で手を挙げるのではなく、親友6人の意見を聞いた上で、その答えに投票しなければなりません。これが、**大規模言語モデル（LLM）**の世界です。LLMは、テキストを読み、書き、判断するように訓練された、非常にスマートなコンピュータプログラムです。科学者たちは、これらのモデルをデジタル・セキュリティ・ガードマンとして使い、私たちに届く前にインターネット上の悪意のある、あるいは危険なコンテンツをスキャンするために利用しています。これらのガードマンをさらに優れたものにするため、エンジニアはしばしば、6つの異なるモデルが共に投票する「パネル（陪審員団）」のような仕組みの中に彼らを配置します。そのアイデアはシンプルかつ強力です。もし一つのモデルが間違いを犯しても、他のモデルがそれを修正でき、グループの投票は単独のメンバーよりも賢くなるというものです。これは、各モデルが独自の新鮮な視点で問題を見ており、それぞれの独立したミスが互いに打ち消し合うという仮定に基づいています。
しかし、もし陪審員全員が、投票する前に同じ「ささやき」を聞いてしまったらどうなるでしょうか？ もし「仲間」が、「ねえ、あれは危険だと思うよ」と、実際には無害なものに対してさえ言ったとしたら？ 本論文は、まさにそのシナリオを掘り下げています。それは恐ろしい問いです。もしAI安全ガードマンのグループが、偽の「多数派」の友人たちから同じ誤解を招くメッセージを受け取った場合、彼らは依然として真実を伝えることができるのでしょうか？ 研究者たちは、社会的な圧力によってグループ全体の安全性が崩壊し、賢い陪審員団が混乱した暴徒へと変わってしまうのではないか、ということを調べたのです。
大規模なAI同調圧力実験
研究者たちは、これをテストするために巧妙なゲームを用意しました。彼らは6つの異なるオープンソースAIモデルを取り上げ、それらを「レビュアー（査読者）」に変えました。彼らの仕事は、明らかに安全なもの、あるいは明らかに危険なものを含む様々な項目を見て、「安全」か「不安全」かを判断することでした。
実験は2つのラウンドで行われました。ラウンド1では、各AIが単独で項目を調べ、判断を下しました。次に、ラウンド2では、同じAIが全く同じ項目を再び調べましたが、今度は6人の「シミュレーションされた仲間」からのメッセージが表示されました。これらの仲間は実在の人間や他のモデルではなく、AIの脳内に挿入された単なるテキストでした。メインのテストでは、6人の偽の仲間全員が、たとえその項目が（魚の調理法に関する質問のような）完全に無害な文章であっても、「不安全」であると主張しました。
結果は劇的でした。仲間が沈黙しているとき、AIレビュアーは無害な項目に対して56.5%の割合でミスを犯していました。しかし、その6人の偽の仲間が「不安全だ！」と叫んだとき、平均的なレビュアーのミス率は**87.5%**へと急上昇しました。彼らは、仲間がそう言ったという理由だけで、無害なものを危険だとフラグ立てし始めたのです。
パネルの崩壊：陪審員が暴走するとき
ここからが本当に驚くべきところです。研究者たちは、これら6人の混乱したレビュアーを取り上げ、多数決（もし6人中4人が「不安全」と言えば、その項目は不安全とする）を用いて彼らの票を統合しました。
仲間が沈黙していたとき、パネルは実際に優れた働きを見せ、エラー率を約**43%まで下げていました。しかし、誤ったラベルを持つ仲間のメッセージが導入されると、パネルは単に少し悪化しただけでなく、完全に崩壊しました。テストしたすべてのデータセットにおいて、パネルは無害な項目の100%**を危険としてフラグ立てしました。セーフティネットには単に穴が開いたのではなく、ネット全体が罠へと変わってしまったのです。
本論文は、これが単にモデルが「愚か」であるということではないことを示しています。これは社会的圧力の問題なのです。AIモデルは、特に群衆が「何かは危険だ」と言ったとき、驚くほど群れに従う傾向があります。研究者たちは強い非対称性を見出しました。モデルは、自分の考えを変えて「安全」と言う（わずか17%）よりも、「不安全」と言うように考えを変える（約75%）可能性がはるかに高かったのです。これは、パネルが、実際の危険をほとんど逃さない一方で、あらゆるものに対して「危険だ！」と叫ぶ機械になってしまうことを意味します。
「権威」効果とプロプライエタリ・モデル
研究では、6人の仲間ではなく、単一の「シニア・オーソリティ（上級権威）」がAIに何を考えるべきかを指示した場合に何が起こるかもテストされました。結果はモデルによって大きく異なりました。Qwen2.5-7Bのようなモデルは、即座に権威に同意するように判定を覆し（項目の99.4%で考えを変えました）、一方でMistral-7Bのようなモデルは、全く動じませんでした。このことは、すべてのAIが等しく同調圧力に弱いわけではなく、あるモデルは他のモデルよりも頑固であることを示唆しています。
彼らは、より新しいクローズドソースのモデル（OpenAIのものなど）についてもテストを行いました。結果はまちまちでした。新しいモデルの中には、古いモデルと同じくらい簡単に影響を受けるものもあれば、より抵抗力を持つものもありました。これは、単に「新しい」あるいは「より大きな」モデルを使うことが、システム・アーキテクチャが全員に同じ誤解を招くメッセージを伝えることを許容している場合、安全性を保証するわけではないことを物語っています。
なぜこれが重要なのか
最大の教訓は、集計は魔法ではないということです。6つのモデルをただ集めれば、単独のモデルよりも賢くなると想定してはいけません。もし彼らが皆、同じ誤解を招くコンテキスト（共有されたチャット履歴や、誤ったラベルを含む議論の要約など）を読んでいるとしたら、彼らは皆同じ間違いを犯し、多数決はその間違いを裏付けるだけになります。
本論文は、私たちがこれらのAIパネルを安全を守るために信頼する前に、現実世界で遭遇する可能性のある同じような誤解を招くメッセージを用いて、彼らをテストする必要があると提案しています。私たちは、彼らが「ハーディング（群れ行動）」の傾向にあるかどうかを確認する必要があります。もしパネルが、仲間全員が間違った噂を聞いたという理由だけで、コンテンツの**100%**にフラグを立てるようなら、そのシステムは、そこにいくつのモデルが揃っていようとも、失敗しているのです。研究の結論は、レビュー担当者が独立して思考できる、あるいは少なくとも投票する前に同じ社会的合図に影響されているかどうかを確認できるような、安全なシステムを設計する必要があるということです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。