Do Large Language Models Plan Answer Positions? Position Bias in Multiple-Choice Question Generation
本論文は、大規模言語モデルが隠れ表現における回答位置の暗黙的な計画に起因して多肢選択問題の生成時に体系的な位置バイアスを示すことを明らかにし、活性化操作がこれらの内部状態を操作してそのようなバイアスを制御・修正することを可能にすることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットシェフに「多肢選択問題」のケーキを100個焼くよう依頼すると想像してみてください。「100個のケーキを作り、正解の材料をA、B、C、Dのいずれかのスロットに公平なゲームのようにランダムに隠すように」とロボットに指示します。
ロボットは完全にランダムに動作すると期待しますが、ケーキを味わってみると、あるパターンに気づきます。ロボットAは常に正解をスロットAに隠します。ロボットBは常にスロットBまたはCに隠します。ロボットCはスロットAを愛しすぎて、スロットDを全く使いません。
この論文『大規模言語モデルは解答の位置を計画しているのか？』は、これらのロボットシェフ（大規模言語モデル、LLM）がクイズ作成時に、なぜこれほど強く予測可能な癖を持っているのかを調査したものです。
以下に、その発見を簡単な比喩を用いて解説します。
1. 「隠れた習慣」（問題）
研究者は10種類のロボットシェフ（LLM）と、画像も認識できる5種類のロボットシェフ（視覚言語モデル）をテストし、3つの異なるキッチンでクイズ作成を依頼しました。
- 知識キッチン: 一般的な事実（歴史や数学など）。
- 読解キッチン: ニュース記事に基づく問題。
- 視覚キッチン: 画像に基づく問題。
発見: ロボットはランダムではありませんでした。彼らには「位置バイアス」がありました。
- 一部のモデル（Llamaなど）は**最初のスロット（A）**に執着していました。
- 他のモデル（Geminiなど）は**中間のスロット（BとC）**を好みました。
- ほぼすべてのモデルが**最後のスロット（D）**を無視していました。
まるで、レシピが何と言おうと、各シェフが本能で勝者クッキーを置く「お気に入りの棚」を秘密に持っているかのようです。
2. 「水晶玉」（調査）
大きな疑問はこれです：ロボットは単にA、B、C、Dという文字に基づいて推測しているだけなのか、それとも選択肢を書き始める前に実際に「解答の位置」を計画しているのか？
これを明らかにするため、研究者はロボットが解答を書く前、つまりクイズの「問題文」を書いている最中に、ロボットの脳（内部コード）を調査しました。
発見: 彼らはロボットの脳の中に「水晶玉」を見つけました。
ロボットがまだ問題文（例：「フランスの首都はどこか？」）を書いている最中でも、その内部コードはすでに正解がどこに行くかを「決定」していました。まるでロボットが、文字「B」を書く前にもう「B」に答えを入れるつもりだと自分自身に囁いているかのようでした。
これは、このバイアスが単なる表面的な誤りではなく、思考プロセスの初期段階で形成された深い暗黙の計画であることを示唆しています。
3. 「リモコン」（解決策）
この「計画」がロボットの脳内にあることが判明したため、研究者は「リモコン」を使ってロボットの考えを変えようと試みました。彼らは**活性化制御（Activation Steering）**と呼ばれる技術を使用しました。
ロボットの脳を、特定の目的地（例：スロットA）へ流れる川だと想像してください。研究者は、その川を少し別の目的地（例：スロットB）へ誘導するために、小さなダムやパドルを作る方法を見つけました。
発見:
- 成功しました！ 内部コードを誘導することで、ロボットに他のスロットをより頻繁に選ばせることができました。
- タイミングが重要: 彼らは、問題文が終わる直前（「最終手前」の瞬間）にロボットを誘導するのが、終わってから誘導するよりもはるかに効果的であることを発見しました。まるで、壁に衝突した後ではなく、最後のカーブに差し掛かる前に車を操縦する方が容易であるのと同じです。
- トレードオフ: スロットは変えられても、ロボットが混乱することがありました。正しいスロットを選ぶ一方で、問題の意味を変えたり、答えを誤ったりするのです。まるで、ロボットにバニラの型でチョコレートケーキを焼かせるようなもので、形は変わっても風味がおかしくなる可能性があります。
4. 「ラベルの罠」（意外な展開）
研究者は、ロボットにA、B、C、Dという文字なしで解答を書かせる場合、どうなるかもテストしました。これによりランダム性が高まるだろうと考えたかもしれません。
発見: むしろバイアスは悪化しました。導く文字がないと、ロボットは生成した最初の位置に正解を置くことにさらに執着するようになりました。実は、A、B、C、Dという文字は、ロボットが左に偏りすぎないようにするガードレールとして機能し、よりバランスの取れた状態にするのに役立っていたのです。
まとめ
- LLMはランダムではない: クイズの正解をどこに配置するかについて、強く予測可能な癖を持っています。
- 事前に計画している: 選択肢を書く前に、解答の位置を早期に決定しています。
- 誘導可能: 内部の「操縦」を使ってこれらの癖を変えられますが、これはデリケートな操作であり、場合によっては問題の論理を壊す可能性があります。
- ラベルは役立つ: 意外なことに、選択肢にラベル（A、B、C、D）をつけることはバイアスを軽減し、それらを削除すると、ロボットは最初の選択肢を選ぶことにさらに頑固になります。
結論: AIを使ってテストを作成する場合、それが公平であると盲目的に信頼することはできません。AIには独自の隠れた好みがあります。真にランダムなクイズを望むなら、積極的に介入するか、特定の指示を与えてその癖を破らせる必要があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。