Shared Lexical Task Representations Explain Behavioral Variability In LLMs
この論文は、LLMのプロンプトに対する出力の不安定さは、タスクの内容を記述する「語彙的タスクヘッド（lexical task heads）」と呼ばれる共通の内部メカニズムの活性化度合いや、それらが他の表現によって阻害されることで生じていることを明らかにしています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
タイトル：AIの「気分屋」な性格のナゾを解明！
〜なぜ、言い方ひとつでAIの答えが変わってしまうのか？〜
1. AIの「困ったクセ」：言い方で態度が変わる？
皆さんは、AI（ChatGPTなどの大規模言語モデル）を使っていて、「さっきは完璧に答えてくれたのに、ちょっと言い方を変えただけで、急に答えがボロボロになった……」という経験はありませんか？
これを専門用語で「プロンプト感度（Prompt Sensitivity）」と言います。
- パターンA（指示型）： 「次の単語の反対語を言って：『熱い』」
- パターンB（例示型）： 「『高い→低い』『長い→短い』、じゃあ『熱い』は？」
人間ならどちらでも同じ意味だと分かりますが、AIはこれだけで正解率がガクンと下がったり、逆に上がったりします。まるで、**「指示書を渡されるとやる気が出るけど、クイズ形式だと集中力が切れる」**という、ちょっと気まぐれな部下のようなものです。
2. 発見：AIの頭の中には「仕事の定義」専用のスイッチがある！
研究チームは、AIの脳内（ニューラルネットワーク）を詳しく調べました。すると、面白いことが分かりました。
AIの頭の中には、**「今からやるべき仕事の内容」を言葉として理解している、特別なスイッチ（アテンション・ヘッド）があることを発見したのです。これを論文では「レキシカル・タスク・ヘッド」**と呼んでいます。
これを料理に例えてみましょう。
AIの脳内には、たくさんの「調理器具」があります。
- 「レキシカル・タスク・ヘッド」は、「今から作るのは『カレー』ですよ！」と脳に伝える「レシピのタイトル」のようなものです。
- 「リトリーバル・ヘッド」は、実際にジャガイモや肉を切って調理する「包丁や鍋」のようなものです。
3. なぜAIは失敗するのか？（2つの失敗パターン）
研究では、AIが間違える理由を2つのパターンで見つけ出しました。
パターン①：レシピのタイトルが「ボヤけている」とき（スイッチの弱さ）
言い方が悪いと、脳内の「カレーですよ！」というスイッチが、弱々しくしか入りません。タイトルがボヤけていると、包丁（調理器具）が何を準備すればいいか迷ってしまい、結局、料理が完成しない（＝間違った答えを出す）のです。
- 「例題をたくさん見せる（Many-shot）」と、このレシピのタイトルがハッキリするので、AIはどんどん賢くなります。
パターン②：別のレシピが「割り込んでくる」とき（ライバル出現）
例えば、「製品とメーカーの関係」を答える問題を出しているときに、例題の中に「国と首都」のような、似ているけれど別の問題が混ざってしまうことがあります。
すると、AIの脳内で**「カレーのレシピ」と「肉じゃがのレシピ」が同時に立ち上がってしまい、脳内がパニックに！** 結果として、カレーを作りたいのに、肉じゃがの味付けをしてしまう……というミスが起こります。
4. この研究がすごい理由：AIを「操る」ヒントになる
この研究のすごいところは、「AIがどうして間違えるのか」という理由を、脳内のスイッチレベルで突き止めたことです。
これによって、私たちはAIをより確実に使いこなせるようになります。
- 「言い方を変えるだけで、AIの脳内のスイッチを強く押してあげられる」
- 「混乱させないように、紛らわしい例えを避ける」
つまり、AIという「気まぐれな天才」に対して、**「どうやって指示を出せば、彼らの脳内のスイッチをパチっと正確にオンにできるか」**という、魔法の指示書の作り方が分かってきたのです。
まとめ：
AIの回答がバラつくのは、性格が悪いからではなく、**「脳内の『仕事の定義スイッチ』が、言い方によって強く入ったり、弱まったり、他の仕事と混ざったりしているから」**だったのです！
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。