AIの脳における反復の秘密の生活

あなたはロボットに物語の教え方を教えているところだと想像してください。あなたはプロンプト、つまり文章の書き出しを与え、次に続く単語を推測するように指示します。これは、多くの現代的な人工知能（AI）、いわゆる大規模言語モデル（LLM）が機能する仕組みです。これらは、インターネット上のほぼすべての文章を読み込んだ、超強力なオートコンプリート（自動補完）エンジンのようなものです。AIが本当に何かを「知っている」のかどうかを判断するために、科学者たちはしばしば「クローズテスト（cloze test）」と呼ばれるトリックを使います。これは穴埋めパズルのようなものです。文章の中に欠けている単語を示し、AIが正しい単語を当てられるかどうかを確認します。

長年、研究者たちは、これらのAIの脳が反復をどのように処理するかについて、ある単純なルールを信じてきました。プロンプトの中で単語を何度も何度も繰り返すと、人間が概念を何度も聞くことでその概念に慣れていくのと同じように、AIはその単語に対してより「確信」を持つようになるだろうと考えられていました。これは「プライミング（先行刺激）」と呼ばれます。もし「りんご、りんご、りんご」と言えば、AIは「よし、これは間違いなくリンゴについての話だ！」と考え、「りんご」という予測に対して高い確信度を持つはずだ、という考えです。科学者たちは、どこで答えを予測させるかに関わらず、単語のコピーが増えるほど、この確信度は上昇し続けると想定していました。しかし、もしその仮定が間違っていたらどうでしょう？ もし、AIの脳が「どこを見るか」によって異なる動きをするとしたら？ これが、ハンユ・ワン（Han-yu Wang）の論文が取り組んでいる問いであり、特定の条件下では「増える」ことが逆に「減る」という不思議な癖を探求しています。

増えることが減る時：AIの忘れっぽいスポット

この研究において、研究者はAIモデルが反復にどのように反応するかをテストするために、巧妙な実験を組み立てました。例えば、魔法の言葉「cat（猫）」があるとしましょう。あなたは、物語の始まり部分は全く同じにしたまま、この言葉を2通りの方法でAIに見せることができます。

「すぐ隣」テスト（隣接プローブ）：
まず、文章の終わりまで「cat」という単語を長く並べます：「cat, cat, cat, cat... [ここで推測]。 」あなたはAIに、まさに次の単語を推測させます。

• 何が起きたか： 古いルールが予測した通り、AIの確信度はどんどん高まりました。「cat」の数が増えるほど、AIは次の単語が「cat」であるという確信を強めていきました。それはまるで、ドラムの音がどんどん大きくなっていくかのようでした。

「リセット」テスト（離れたプローブ）：
次に、研究者はずる賢いことをしました。物語の冒頭に全く同じ長い「cat」のリストを書き、その後に句点（フルストップ）と全く新しい文章の枠組みを追加してから、推測を求めたのです。見た目はこうなります：「cat, cat, cat, cat... . 空は青い。 [ここで推測]。 」

• 何 مورد起きたか： ここで、魔法のトリックは失敗しました。AIの確信度は高まる代わりに、奇妙なバックフリップ（逆転）を見せたのです。最初は、いくつかの「cat」を加えることは助けになりました。しかし、リストが長くなりすぎると（5個から10個程度）、AIは確信を失い始めました。30個の「cat」があるときには、AIは数個のときよりも「cat」と推測する可能性がむしろ低くなっていました。

研究者はこの形状を**「逆U字型（inverted-U）」**と呼んでいます。これは、AIが最初は少し興奮するものの、新しい文章に飛んで答えを見つけなければならないとき、大量の反復によって圧倒されたり混乱したりしてしまうような状態です。

大きな発見：重要なのは「どこを見るか」である

この論文の最も重要な発見は、質問の「位置」が極めて重要であるということです。同じ繰り返しの単語のリストであっても、リストの直後に質問すればAIを賢くさせることができますが、一文後に質問すればAIを愚かにさせることができます。

この研究は、小さなモデルから非常に大きなものまで、13種類の異なるAIモデルに対して行われました。その結果、この「逆U字型」のパターンは、そのすべてで見られました。これは特定のコンピュータの脳による偶然のミスではありませんでした。彼らはさらに、スペイン語、中国語、ドイツ語、フランス語の4つの他の言語でも試しましたが、同じ奇妙なパターンが現れました。これは、この現象が英語の話し方の間違いではなく、これらのモデルが繰り返された情報を処理する方法における根本的な癖であることを示唆しています。

それではないもの（そして、それであるもの）

研究者は単にパターンを見つけただけでなく、なぜそれが起きているのかを突き止めるために探偵のように動きました。単に文章が長くなったからなのか、AIが疲れたからなのか、あるいは「kitten（子猫）」や「purr（ゴロゴロ鳴く）」といった「cat」に関連する言葉を考えていたからなのかを確かめたかったのです。

• 長さの問題ではない： 彼らは、繰り返しの「cat」の代わりに、ランダムで退屈なフィラー（埋め草）の言葉を使って、同じ単語数の文章をテストしました。その場合、奇妙な確信度の低下は見られませんでした。
• 関連語の問題ではない： 彼らは、繰り返される「cat」を、同じ意味の言葉や関連する言葉に置き換えて試みました。ここでも、やはり確信度の低下は起きませんでした。
• 「正確な反復」の問題である： 低下は、全く同じ単語が何度も何度も繰り返されたときにのみ発生しました。

これは、AIが長いテキストに対して単に「退屈している」とか「混乱している」わけではないことを意味します。新しい文章が始まる前に、特定のトークン（単語のデジタル的な構成要素）が何度も繰り返されるときに、何かが特別に起きているのです。

AIの脳の内側へ

何が起きていたのかを理解するために、研究者はモデルの「アテンション（注意）」メカニメントの中を覗き見ました。アテンションを、AIが文章の異なる部分に照らす「スポットライト」だと考えてください。

• スポットライトが縮小する： 「cat」のリストが増えるにつれて、AIが個々の「cat」という単語に注ぐアテンションの量は小さくなっていきました。これは理にかなっています。もし固定された量のスポットライトがあり、それを30個のものに照らさなければならないなら、一つひとつの光は弱くなります。
• 総予算が増加する（一部のモデルにおいて）： 驚くべきことに、最大の確信度の低下を示したモデルでは、リストが長くなるにつれて、AIが「cat」のブロック全体に注ぐアテンションの総量が実際に増加していました。それはまるで、AIが「これらすべての猫を見ろ！」と叫ぶ声をどんどん大きくしているようでしたが、どういうわけか、新しい文章にジャンプしなければならなくなったとき、その叫びが「cat」という特定の単語を思い出すことを難しくさせていたのです。

なぜこれを知る必要があるのか？

この論文は、これらのAIモデルがいかに賢いかをテストしようとしているすべての人への警告ラベルです。もしあなたが、AIが事実を知っているかどうかを確認しようとする科学者であり、単語を何度も繰り返してAIに「プライミング」を行う方法を使っているなら、予想とは正反対の結果を得る可能性があります。もし質問を一つ後の文章で行うなら、意図せずして、正しい答えを出す可能性を下げてしまうかもしれません。

この研究は、質問の位置を中立的な詳細事項として扱うことはできないということを示しています。どこで質問するかによって、答えが変わります。これは、これらのAIの脳が複雑で、時には直感に反することもあるということを思い出させてくれます。時には、言葉を何度も聞きすぎることが記憶を助けるのではなく、特に答えを出す前に少し間を置かなければならない場合、記憶を消し去ってしまうこともあるのです。

研究者はこれを13のモデルでテストし、その効果がすべてで見られることを確認しました。彼らは42種類のモデルと言語の組み合わせをチェックしましたが、パターンは常に維持されました。彼らは、なぜAIの脳がこのように機能するのかという正確な理由（それは相関関係であり、メカニズムの完全な説明ではありません）を断定することはできませんが、この「増えることが減る」という効果が実在し、一貫しており、普遍的に起こるものであることを証明しました。これは、これらのデジタルな脳が実際にどのように思考しているのかを理解するための、小さくも極めて重要なピースなのです。