Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
本論文は、「セマンティック・バンディット」フレームワークを導入することで、大規模言語モデルの探索と利用のトレードオフが、事前学習に由来する意味論的な事前分布によって著しく偏っていることを示しており、そこでは、情報量の多いラベルは報酬との整合性に応じて性能を向上させることもあれば低下させることもあり、また負の報酬は期待スケールのバイアスにより探索を不釣り合いに誘発する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネット上のほぼすべての本、記事、ウェブサイトを読み込んだコンピュータ・プログラムを想像してみてください。それは詩を書き、数学の問題を解き、驚くほど人間らしく感じられる会話を行うことができます。これが大規模言語モデルです。次に、このプログラムに、農家がどの畑に作物を植えるか決めたり、レコメンデーション・エンジンが顧客にどのシャツを見せるか選んだりするように、最高の報酬を得るために一連の選択を行わなければならない仕事を与えたと想像してください。これは意思決定タスクです。コンピュータサイエンスの世界には、エージェントがいかに経験から学習するかをテストするための古典的な方法である「マルチアームド・バンディット問題」があります。これはカジノにある、それぞれ未知の配当を持つ一列のスロットマシンにちなんで名付けられました。最も多くのお金を稼ぐためには、現在最も配当を出していると思われるマシンに固執することと、もし他のマシンの方が実は優れている場合に備えて他のマシンを試すことという、二つの相反するニーズのバランスを取らなければなりません。このバランスは「探索（exploration）と利用（exploitation）」と呼ばれます。数十年にわたり、研究者たちはこれを数学的に解決する方法を研究してきました。しかし、これらの強力な言語モデルを意思決定者として使い始めたとき、彼らは奇妙なことに気づきました。モデルは単に数字を見ているのではなく、言葉を「読んで」いたのです。
マギル大学とMilaの研究チームは、この現象を調査するために、「セマンティック・バンディット」と呼ばれる新しい種類のテストを作成することで調査を行うことにしました。標準的なテストでは、選択肢は「アームA」や「アームB」のような中立的なコードでラベル付けされます。この新しいテストでは、研究者は選択肢に「神聖な（divine）」、「穏やかな（mild）」、「不快な（nasty）」といった意味を持つ名前を与えました。彼らは、コンピュータが収集している実際のデータよりも、これらの言葉の意味を優先させてしまうかどうかを確認したかったのです。彼らは、コンピュータが3つの畑の中から選ぶ農家として振る舞うシナリオを設定しました。各畑はランダムな量の収穫量を生み出し、目標は時間の経過とともに総収穫量を最大化することでした。研究者は、畑にその品質を示唆する名前を与えました。あるバージョンでは、最高の畑は「神聖な（divine）」と名付けられ、最悪の畑は「不快な（nasty）」と名付けられました。別のバージョンでは、これらの名前を入れ替え、最高の畑を「不快な（nasty）」、最悪の畑を「神聖な（divical）」としました。
結果は驚くべきものでした。名前が現実と一致していたとき、つまり「神聖な（divine）」の畑が実際に最も多くの作物を生み出していたとき、コンピュータは驚異的な速さで学習しました。それはほぼ即座に他の畑を試すことをやめ、「神聖な（divine）」の畑に固執し、ほとんど試行錯誤なしに完璧なスコアを達成しました。しかし、名前が誤解を招くものであったとき、コンピュータは壊滅的なミスを犯しました。それは、データが最悪の収穫量を示している後でさえも、「神聖な（divine）」という名前の畑が最高であると確信してしまったのです。それは証拠を無視し、「神聖な（divine）」の畑を選び続け、実際には最高であった「不快な（nasty）」の畑は手付かずのまま放置されました。コンピュータは数字に基づいて行動していたのではなく、トレーニング中に読み込んだ数十億の言葉から学んだ連想に基づいて行動していたのです。それは「神聖な（divine）」は通常「良い」ことを意味し、「不快な（nasty）」は通常「悪い」ことを意味すると学習しており、目の前の具体的な数字がそれと異なっていても、そのルールを適用したのです。
研究者たちはまた、コンピュータが正の数と負の数に対して異なる反応を示すことも発見しました。コンピュータが負の報酬（損失やペナルティ）を受け取ったとき、それは突然、非常に好奇心が強くなりました。それは再びあらゆる選択肢を試し始め、高いエネルギーを持って未知の畑を探索しました。しかし、正の報酬を受け取ると、たとえそれが小さくても、探索をやめて既知のものに固執する傾向がありました。これは、コンピュータが数字を真空状態にある抽象的な信号として捉えているのではないことを示唆しています。むしろ、テキストの中で報酬がどのように記述されているかに基づいて形成された、何が「通常の」報酬であるかという内部的な期待を持っているようです。負の数はその期待をあまりにも激しく破るため、コンピュータにすべてを再評価させる強制力となりますが、正の数は安全だと感じさせ、進路を維持することを促します。
この挙動は、特定のコンピュータモデルに限られたものではありませんでした。研究者たちは、オープンソースのシステムから高度な商用バージョンまで、3つの異なる大規模言語モデルをテストしましたが、すべてが同じバイアスを示しました。その影響は非常に強く、単純な意思決定問題を失敗へと変えてしまうほどでした。古典的なコンピュータ・プログラムであれば数ステップで解決するタスクにおいて、言語モデルは言葉がわずかに誤解を招くものであるだけで、完全に失敗する可能性がありました。研究者たちは、指示の中でコンピュータに対して名前を無視し、探索を続けるよう明示的に伝えることで、この問題を部分的に修正できることを見出しましたが、バイアスは根深いものでした。警告があっても、モデルは言葉の意味と数字の現実を切り離すのに苦労することがよくありました。
研究は、言語を用いて意思決定環境を記述することは、避けられないバイアスを導入するという結論を下しています。これらのモデルは、人間が書いたテキストにおける言葉の共起関係に基づいて訓練されているため、世界がどのように機能するかについての一連の仮定を抱えています。それらの仮定がタスクと一致する場合、モデルは天才となり、従来のアルゴリズムよりも速く学習します。しかし、それらが衝突する場合、モデルは頑固になり、言葉が語る物語に従うことに夢中で、明確な証拠を無視してしまいます。これはコードのバグではなく、これらのシステムが言語から学習する方法の特徴なのです。これらのモデルが金融アドバイスから自動運転に至るまで、現実世界の状況に展開される際、その言語的直観がいつ助けとなり、いつ足かせとなるかを理解することは極めて重要です。研究者たちは、最も単純な意思決定シナリオにおいて、ボタンに付けられたラベルを変えるだけで、コンピュータが最悪の選択をするように騙され得ることを発見しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。