Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction
本論文は、大規模言語モデルは個々の制約には巧みに従うことができるものの、複数の制約を同時に満たす能力は、特に語彙的な詳細よりも構造的な推論に影響を与える失敗の独立した蓄積によって、5〜6個の制約を超えると乗算的に崩壊することを示すために、制約飽和評価（Constraint Saturation Evaluation: CSE）ベンチマークを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ケーキを焼こうとしている場面を想像してみてください。ただ一つのレシピに従うのではなく、ルールのリストを渡されたとします。「小麦粉は正確に200グラム使うこと」「砂糖は一切使わないこと」「ケーキは青色であること」「形は星型であること」。ルールが一つだけなら簡単です。二つや三つなら、おそらくこなせるでしょう。しかし、もし誰かが一度に50個ものルールを渡してきたらどうなるでしょうか？これが、物語を書き、質問に答え、問題を解決する超スマートなコンピュータプログラム、**大規模言語モデル（LLLLM）**の世界です。これらのモデルは、図書館にあるほぼすべての本を読んだことのある「デジタル料理人」のようなものです。科学者たちは以前から、これらの料理人が単一の指示に従うことには長けていることを知っていました。しかし、彼らに一度に1ダースもの指示をこなさせようとしたときに何が起こるのか、誰も確信を持っていませんでした。疲れ果てたランナーのように少しペースが落ちるだけなのか？それとも、風が吹いた瞬間に崩れ落ちるカードの城のように、突然崩壊してしまうのでしょうか？この問いが重要なのは、私たちがこれらのAI料理人を、安全システムや法的文書、複雑なコードといった実世界のツールを構築するために使い始めようとしている今、彼らがミスをし始める前に、一体どれだけのルールを扱えるのかを正確に知る必要があるからです。
新しい研究が登場しました。この研究は、これらのAIモデルを巨大なキッチンでの科学実験のように扱っています。マリア・ヴァシレヴァ率いる研究者たちは、**制約飽和評価（Constraint Saturation Evaluation: CSE）**と呼ばれる特別なテスト場を構築しました。これは、AIの脳に対する「ストレス・テスト」だと考えてください。彼らは単にモデルに物語を書かせるのではなく、一度に同時に従うべきルールの数を、わずか1個から12個まで指定して与えました。これらのルールは、「回答は正確に3段落であること」「文字『e』の使用禁止」「すべての文章は文字『A』で始めること」のように、厳格で変更不可能なものでした。研究者たちは、AIがこれらすべてのルールを同時に正しく守れる回数がどれくらいになるかを観察しました。
結果は驚くべきものであり、また劇的でもありました。研究によると、AIはルールが増えるにつれて単に疲れていくのではなく、ある**転換点（ティッピング・ポイント）**に達することがわかりました。ブロックを積み上げているところを想像してください。最初の数個のブロックでは、タワーは安定しています。しかし、ある一定の高さ――最も賢いモデルであっても、ルール5個または6個程度――に達すると、タワーはただ揺れるだけでなく、突然崩壊します。研究者たちは、8つのルールがあるときにAIが個々のルールを40%は正しく守れているとしても、その8つすべてを同時に正しく守る確率は6%未満にまで急落することを発見しました。それは、単一の音や、あるいは2つの音なら完璧に奏でられるミュージシャンが、一度に12種類の楽器を使って複雑な交響曲を演奏するように頼まれた途端、メロディを完全に忘れてしまうようなものです。
研究では、なぜこのようなことが起こるのかについても解明されました。ルール同士はゲームの敵のように互いに戦っているわけではないことがわかりました。代わりに、それらは連鎖反応のように作用します。もしAIが回答の小さな一部をミスした場合（例えば、文章の数を数え間違えた場合）、文章に依存するすべてのルールが同時に失敗します。AIがルールを混乱させているのではなく、AIの「ワーキングメモリ（作業記憶）」がオーバーロードしているのです。研究者たちは、時間をかけて何かを追跡する必要があるルール（単語を数えたり、パターンを維持したりすることなど）は、単純なルール（特定の単語を使わないことなど）よりも2倍早く崩壊することを発見しました。
おそらく最も興味深い部分は、研究者が何を修正しようとしたかです。彼らはこう問いかけました。「AIに事前に計画を立てさせたり、あるいはやり直させたりすることで、助けることはできるだろうか？」彼らは、AIに回答を計画するための「スクラッチパッド（メモ帳）」を与えたり、自身のミスを修正させたりすることを試みました。結果はどうだったでしょうか？それは、AIが追加で1つか2つのルールを扱えるようになる程度に、わずかながら効果はありましたが、崩壊を止めることはできませんでした。論文が示唆する唯一の真の解決策は、まずAIが個々のルールに従う能力自体を向上させることです。どれほど計画を立てたり再試行したりしても、一度に多くのことをジャグリングすることの数学的な限界によるパフォーマンスの低下を防ぐことはできないのです。
結局のところ、この論文は明確な境界線を引いています。テストされた最も賢いAIモデルにとって、信頼できるマルチ・ルール指示遂行の限界は、およそ5〜6個の制約です。それを超えると、システムは信頼性を失います。それはAIが「愚か」だからではなく、一度に保持しなければならない事柄の数が膨大になることで、数学的な崩壊が起こるためです。これは、最も高度なデジタル料理人であっても、一度にこなせるレシピの数には限界があることを思い出させます。そして、もし私たちが彼らにさらなることをさせたいのであれば、単により多くの指示を与えるのではなく、より強く作り上げる必要があるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。