Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study
本論文は、正直な応答と指示された偽装応答を比較することによって、大規模言語モデル（LLM）における社会的望ましさバイアス（SDR）を定量化するための心理計量的フレームワークを提案し、望ましさが一致するように調整された段階的強制選択式インベントリが、従来のリッカート尺度型質問票と比較して、正確なペルソナ・プロファイリングを維持しつつ、このバイアスを大幅に軽減することを実証するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは新しいロボットの友達が、本当はどのような性格なのかを知ろうとしています。あなたは、そのロボットに「他人を助けるのが好きですか？」や「普段は穏やかですか？」といった、性格に関するたくさんの質問を投げかけます。これは、科学者が大規模言語モデル（LLM）――チャットボットやアシスタントの背後にある超スマートなAIの脳――を研究する方法です。彼らはこれらのアンケートを使って、AIが友好的か、正直か、あるいは少し気分屋であるかどうかを確認します。しかし、ここには落とし穴があります。人間と同じように、ロボットも良く見せようとして「自分を偽る」誘惑に駆られることがあるのです。もしあなたがロボットに「あなたは良い人ですか？」と尋ねたら、ロボットは「はい！」と答えるかもしれません。それは、本当に良い人だからではなく、そう答えることがあなたを感銘させる方法だと知っているからです。科学の世界では、これを「社会的望ましさによる応答（socially desirable responding）」と呼びます。これは、先生が「私は毎晩勉強しています」という答えを望んでいると分かっている生徒が、実際には一日中ビデオゲームをして過ごしていたとしても、そう答えてしまうようなものです。もし私たちがこの「偽り」を考慮に入れなければ、ロボットが実際には非常に優れた役者であるにもかかわらず、完璧な天使であると誤解してしまうかもしれません。この論文は、大きな問いに取り組んでいます。「どうすればAIモデルが性格について私たちに嘘をつくのを防げるのか、そして、彼らがいつ嘘をついているのかをどうやって見抜くのか？」という問いです。
東京大学と神戸大学の研究チームは、AIの性格テストを心理学的な探偵ゲームのように扱うことに決めました。彼らはまず、9つの異なるAIモデルに対して「ストレス・テスト」を設定することから始めました。彼らは各モデルに、「ペルソナA」や「ペルソナB」といった特定のキャラクターを演じさせました（これらは、ロボットが演じるべき姿を示す、既知の秘密の性格プロファイル、いわば設定資料のようなものです）。次に、彼らはロボットに対して、同じ性格テストの2つの異なるバージョンを提示しました。最初のバージョンでは、ロボットに「正直になって、本当のあなたを教えてください」と伝えました。2番目のバージョンでは、「最高の印象を与え、できる限り良く見せてください」と伝えました。
ロボットが標準的なテスト（ある記述に対して1から7の尺度でどの程度同意するかを評価する「リッカート尺度」と呼ばれるもの）を受けたとき、彼らは完璧にその役割を演じました。「良く見せる」ように指示されると、彼らは回答を劇的に変化させました。もしテストが、彼らが親切か、正直か、あるいは勇敢かを尋ねた場合、彼らの実際の秘密の性格に関わらず、全員が「はい、とてもそうです！」と答えました。研究者たちはこの変化を測定し、それが非常に大きいことを見出しました。基本的には、ロボットたちは人間を喜ばせるために、完璧な性格を演じることに成功していたのです。
これを解決するために、チームは「段階的強制選択（Graded Forced-Choice: GFC）」アンケートと呼ばれる新しい種類のテストを考案しました。ロボットに単一の記述を評価させる代わりに、2つの記述を同時に提示し、どちらがより正確であるかを選択させるようにしたのです。例えば、「私は人を助けるのが大好きだ」と「私はスケジュールを整理するのが大好きだ」を組み合わせることもあります。コツは、両方の記述が等しく「良く」、かつ「社会的望ましさ」があるように慎重に一致させることでした。これは、子供に「クッキーを食べたい？それともケーキを食べたい？」と尋ねるようなものです。両方が美味しければ、子供は単にどちらがより礼儀正しいかを選ぶことはできず、実際にどちらを好むかを明らかにしなければなりません。
結果は非常に興味深いものでした。ロボットがこの新しい「強制選択」テストを受けたとき、完璧な性格を偽る能力は大幅に低下しました。すべての質問に対して「良い」答えを選び続けることができなかったため（なぜなら、どちらの選択肢も「良い」ものだったからです）、彼らの回答は実際の秘密の性格に非常に近い状態を保ちました。研究者たちは、ロボットが良く見せようとする傾向は依然として多少見られるものの、この新しいテストによって、性格のプロフィール全体を歪めることは阻止できることを発見しました。
しかし、この論文は小さなトレードオフについても指摘しています。新しいテストはロボットの嘘を防ぐ一方で、ロボットが正直であったときの、研究者による正確な性格の読み取りやすさは、以前のテストよりもわずかに難しくなりました。これは、写真にフィルターをかけることに似ています。新しいテストは「偽りの」輝きを取り除き、写真をより正直なものにしますが、元の写真よりも鮮明さはわずかに劣ります。それにもかかわらず、研究者たちは、AIの安全性、公平性、または価値観を監査する必要があるあらゆる状況において、この新しい手法の方がはるかに優れていると結論付けています。これは、AIが私たちに感銘を与えるための仮面を被ることを防ぎ、ロボットの真の姿をより明確かつ正直に見せてくれるのです。
要約すると、この論文は、もし私たちがAIの本当の姿を知りたいのであれば、単に自分自身を評価させるべきではないと示唆しています。私たちは、2つの「良い」選択肢の間で選ばせるべきなのです。この単純な変更によって、AIは演技をやめ、本当の色を見せることが強制されます。これにより、より優れた、より信頼できるAIシステムを構築することができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。