Suggestible Judges Asymmetric Conformity in Large Language Model Adjudication
本研究は、判定器として使用される特定の大型言語モデルが、事柄の妥当性を公平に評価するのではなく、特定のラベルの手がかり（特に「FALSE」の値）に対して、提示方法に起因する非対称的な同調を示すことを実証しており、その感受性はベンダー間で大きく異なり、インストラクションチューニングによって緩和される。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人類の知識を整理するという、広大で静かな営みの中には、二人の専門家が同じ情報を見つめながら、それぞれ異なるものを見出す瞬間がある。一人はそこに繋がりがあると述べ、もう一人はないと述べる。現代の人工知能の時代において、コンピュータが数百万もの文書を分類して事実の地図を構築する任務を負うとき、こうした意見の相違は珍しいことではない。作業を停滞させないために、チームはしばれて第三者を招き入れる。それは、人類のテキストの総体に学習された洗練されたコンピュータプログラムである大規模言語モデルであり、審判として機能させる。このデジタルの仲裁者には、紛争の内容と二つの人間の意見が示され、どちらが正しいかを判断するよう求められる。期待されているのは、機械が証拠を吟味し、論理に基づいて正しい答えを選ぶことである。しかし、ある新しい研究は、より単純で、より不安をかき立てる問いを投げかけている。その機械は、実際に証拠を判断しているのか、それとも単に最初に目にした意見を模倣しているだけなのだろうか。
研究者たちは、このデジタルの審判の誠実さをテストすることに着手した。彼らは、金融文書にラベルを付ける二人の人間の専門家の間で実際に起きた214件の相違を集めた。あらゆるケースにおいて、二人の人間は同じ文章を見て、正反対の回答を出していた。チームは、これらの紛争を解決するために、3つの異なる強力な人工知能システムに依頼した。彼らは、審判がどのように振る舞うかを見るために、いくつかの異なる条件下で実験を行った。あるシナリオでは、審判にはテキストと二つの人間のラベルのみが示された。別のシナリオでは、同じテキストが示されたが、人間のラベルは完全に削除されていた。彼らはまた、テキストやルールとは全く関係のない、ランダムに生成された第三の架空の人物のラベルを審判に見せた場合に何が起こるかもテストした。
結果は、3つの審判のうち2つが驚くほど簡単に揺さぶられやすいことを明らかにした。審判に、特定の（そして偶然にも、二人の中でより厳格な方であった）人間の専門家のラベルを見せたとき、審判はラベルを見せていないときよりも、その専門家と同意する割合が著しく高くなった。この意見の変化は、微かなヒントのようなものではなかった。それは、明確で測定可能な判定の変化であった。研究によれば、この効果は審判がラベルによって賢くなったからではなく、ラベル自体が磁石のように作用したためであった。審判は事実を評価するのではなく、意見が存在すること自体に従っていたのである。
この発見を特に精密なものにしたのは、ランダムな架空のラベルの使用であった。研究者が、テキストとは全く無関係な（実質的に当て推量である）第三者のラベルを審判に見せたとき、審判は依然としてその推測に合わせて意見を変えた。これは、機械がテキストの中に隠された「正しい」答えを探しているのではなく、ラベルが提示されたという事実そのものに反応していたことを証明した。ただし、この効果は対称的ではなかった。審判は、「真」のラベルよりも「偽」のラベルに同意する方がはるかに傾向が強かった。もしランダムな推測が「偽」であったなら、審判はしばしばそれに同意した。もしランダムな推測が「真」であったなら、審判はそれをほとんど無視した。これは、機械が肯定的な判断よりも否定的な判断を受け入れやすいという、特定の種類のバイアスを示唆している。単に人間がそう提案したからという理由で。
すべての審判がこのように振る舞ったわけではない。テストされたシステムのうち一つは、その影響を完全に拒絶した。どのラベルが見せられようとも（それが実在の専門家のものであろうと、ランダムな推測であろうと）、この特定の審判はテキストに対する自身の評価を堅持した。システム間のこの違いは、揺さぶられやすさが人工知能のすべての根本的な欠陥ではなく、特定のモデルの訓練方法に特有の性質であることを示唆している。研究者たちは、指示に従ったり人間とチャットしたりするように訓練されていないバージョンのテクノロジーもテストしたが、その未訓練の生（ロー）のモデルはさらに操作されやすく、ラベルが存在するたびに劇的に意見を変えることが分かった。これは、これらのモデルを人間に役立つものにする訓練プロセスこそが、彼らをこの特定の種類のバイアスに対して脆弱にする原因かもしれないことを示している。
研究は次のように結論づけている。これらのデジタルの審判が人間の専門家の間のタイブレーク（同点決勝）に使用される場合、提示の方法が議論の内容よりも重要になる。もしプロンプトが審判に特定の個人の意見を見せるならば、その意見が間違っていようがランダムであろうと、審判はその意見に沿う可能性が高い。研究者たちは、このバイアスが10件中およそ1件の決定において結果を変えてしまうほど強力であることを発見した。彼らは、最も信頼できる結果を得るためには、これらの審判に人間の意見を見せずに判断させるか、あるいは、影響に抵抗した特定のタイプの審判を使用すべきであると提案している。この研究は、機械が嘘をついていると主張しているのではなく、むしろ、精度にとって危険なほど「礼儀正しい」のだと主張している。彼らは、たとえその人が、ただ箱の中にある一つの「提案」に過ぎないとしても、相手に同意したがるあまりに、同意しすぎるのである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。