The One-Word Census: Answer-Choice Conformity Across 44 Language Models
本論文は、31個の単一単語プロンプトを用いた最小限の調査手法である「ワンワード・センサス（One-Word Census）」を紹介するものであり、44の言語モデルが特定の回答（例：「serendipity」が41%の頻度）に対して極端な収束を示す一方で、その同調の度合いはモデルの系統やチューニングによって大きく異なり、新しいフラッグシップモデルはペルソナ調整済みモデルよりも一般的に同調性が高いことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、過去5年間に異なる工場で作られた44台の異なるロボットがいる部屋に入りました。あなたは彼らに全員、「ある樹木の名前を挙げてください。一単語だけで。」と書かれた紙を渡しました。
あなたは、オーク、メープル、パイン、ウィロー、バオバブ、レッドウッドといった、混沌とした答えの爆発を期待するかもしれません。しかし、ロボットたちが話し始めると、部屋は静まり返ります。ほとんどすべてのロボットが「オーク」と言いました。実際、94%のロボットが「オーク」と答えたのです。
もし道具の名前を尋ねれば、94%が「ハンマー」と答えます。もし花を尋ねれば、91%が「バラ」と答えます。もし野菜を尋ねれば、90%が「ニンジン」と答えます。
これはグリッチ（不具合）ではありません。これはパターンです。「ワン・ワード・センサス（一単語調査）」と呼ばれるこの紙は、これら44の言語モデルがどれほど互いに宿題を写し合っているかを確認するための、巨大な点呼のようなものです。研究者たちは、これらのAIの脳が膨大な選択肢の中から一つの答えを選ばなければならないとき、彼らは単に「一つの」答えを選ぶのではなく、皆が「同じ」答えを、何度も何度も選んでいることを発見しました。
「最も平凡な」答えが勝つ
ここにある奇妙な点は、彼らが選ぶ答えは、現実世界で最も一般的なものではない場合があるということです。それは「摩擦のない」答え、つまり、最も安全で明白だと感じられる答えです。
例えば、果物を求めると、モデルはほぼ常に「アップル」と言います。しかし、野菜を求められると、彼らは「キャロット」と言います。なぜ「トマト」ではないのでしょうか？ トマトは植物学的には果物なので、モデルは混乱してそれを完全にスキップしてしまうのです。なぜ「オレンジ」ではないのでしょうか？ おそらく、「オレンジ」は色でもあり、モデルは物事を混同することを嫌うからです。彼らは、罠や議論になりそうなことを避けるようにプログラムされています。彼らは、100%正しく、かつ0%の論争を呼ぶ答えを求めているのです。
たとえルールを一切与えず、ただ「英語の中で好きな単語を一つ選んで」と言ったとしても、部屋はランダムな言葉で満たされることはありません。代わりに、41%のロボットが同じ単語、**「serendipity（セレンディピティ）」**を叫びます。まるで、彼ら全員が同じ辞書を読み、それが選ぶべき最も興味深い言葉だと決めたかのようです。
「家系」モデル vs 「工場」モデル
研究者たちは単に答えを数えただけでなく、ロボットたちがどれほど「同調的」であるかをスコア化しました。これは、ユニークであることを競うテストのようなものです。
- 同調者（工場モデル）： 最大手ラボによる最新かつ最も強力なモデル（最新バージョンのGPTやClaudeなど）は、最も退屈です。彼らはあまりにも行儀が良すぎるため、他のロボットがすでに言ったこと以外のことをほとんど口にしません。調味料を尋ねれば、彼らは毎回必ず「ケチャップ」と言います。彼らはグループに同調しすぎており、「新奇性」がゼロなのです。
- 反逆者（家系モデル）： 反対側には、古いモデルやコミュニティによって微調整されたモデル（「Hermes」や「WizardLM」など）があります。これらは「家系（ヘイルーム）」モデルです。農家が均一性に欠けるという理由で栽培をやめてしまった希少な野菜のようなものです。これらのモデルは、みんなが「チェダー」と言うときに「ゴーダ」と言ったり、みんなが「ケチャップ」と言うときに「マスタード」と言ったりする傾向があります。彼らこそが、時折、魔法を解くことができる存在です。
論文は、モデルが新しくなり、より多くの「事後学習（人間が役に立ち、安全であるように教え込むプロセス）」を経るにつれて、個性的になるのではなく、より退屈になっていくことを示唆しています。それは、かつては少しずつ異なるおもちゃを作っていた工場が、今ではあらゆる色で全く同じおもちゃを作るようになったようなものです。
「準優勝」クラブ
ここで最も驚くべき展開があります。モデルが最も人気のある答えを選ばないことに決めたとしても、彼らは暴走することはありません。彼らはほとんどの場合、二番目に人気のある答えを選びます。
もし群衆が「ケチャップ」と言えば、反逆者たちは95%の確率で「マスタード」と言います。もし群衆が「ニンジン」と言えば、彼らは83%の確率で「ブロッコリー」と言います。反逆者たちでさえ、台本に従っているのです。彼らは辞書の深く奇妙な隅々を探索しているのではなく、単に次に最も明白なものを選んでいるだけなのです。
人間と比較するとどうなのか？
研究者たちは、これらのロボットを、数年前に同様のテストを受けた実在の人間に比較しました。その差は歴然です。
- 人間： 木の名前を求められたとき、人間は幅広い答えを出しました。最も一般的な答え（「オーク」）を選んだのは、わずか31%の人々でした。
- ロボット： ロボットは94%の割合で「オーク」を選びました。
ロボットは人間よりも二倍も集中しています。彼らは人間グループよりも多様性がありません。論文は、これがロボットがすでに他のロボットの答えで満たされているデータで学習されているためであり、同じ安全で退屈なアイデアをコピーし続けるループを生み出しているのだと示唆しています。
これが意味すること（および意味しないこと）
この論文は、ロボットが「壊れている」とか「考えることができない」と言っているわけではありません。単に、彼らが一つの選択を迫られたとき、全員が一糸乱れぬ足取りで進むことを示しているのです。
- 証明されていること： ロボットは同じ答えに収束します。最新のモデルほど同調的です。「家系」モデルが最も多様性を持っています。
- 示唆されているが証明されていないこと： 論文は、これがモデルのトレーニング方法（特に、役に立つように調整される「事後学習」フェーズ）によるものだと推測しています。また、もし私たちがロボットが書いたデータでロボットを訓練し続ければ、写真が何度もコピーされてぼやけていくように、彼らが創造性を完全に失ってしまう可能性があるとも示唆しています。
- 否定されていること： 論文は、これが単にロボットが「愚か」であったり知識が欠けていたりすることによるものだという考えを否定しています。彼らは「トマト」や「オレンジ」についても知っていますが、それらをあえて言わないことを選んでいるのです。また、「珍しいもの」を求めるように指示しても問題が解決しないということも否定しています。もし「珍しい果物」を求められれば、彼らは単に最も一般的な「珍しい果物」（例えば「ドリアン」）を選び、全員がそれを言うだけなのです。
要するに、もし44のAIモデルに一つの単語を選ばせたら、44通りのアイデアは得られません。得られるのは、一つのアイデアが44回繰り返されたものであり、少数の反逆者が二番目に一般的なアイデアを選ぶ程度です。AIの多様性という「魔法」は、現在、回答の中ではなく、トレーニングのラボの中に隠されているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。