Unpredictability dissociates from structured control in language agents
本論文は、言語エージェントにおいて、確率的な予測不可能性が、理由、記憶、自己状態を行動選択に結合する構造化された制御メカニズムに取って代わることはできないことを示しており、これらの構造化された構成要素に対する標的的損傷は一貫して性能を低下させるのに対し、高確率性の変種は広範なベンチマークにわたって構造化された行動場との結合を再現できないことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
以下は、平易な言葉と日常的な比喩を用いた、この論文の説明です。
大きな問い：「カオス」と「制御」は同じか？
あなたが人形劇を見ていると想像してください。
- シナリオ A： 人形使いが明確な計画を持って糸を引いています。人形が動くのは、特定の理由（プロットの記憶、停止の決定、または従うべきルール）によるものです。
- シナリオ B： 人形は突風によってただ振り回されています。激しく予測不可能に動きますが、計画も記憶もなく、次にどこへ行くかの理由もありません。
長い間、人々はコンピュータプログラム（「AI エージェント」）が荒々しく予測不可能に行動すれば、それは「考えて」いるか、あるいは「自己制御」しているに違いないと仮定していました。この論文は問いかけます：それは本当でしょうか？
研究者たちはいいえと言います。AI が予測不可能（風で吹き飛ばされた人形のように）であるからといって、構造化された制御（人形使いのように）を持っているわけではないと彼らは発見しました。実際、真の制御には、記憶、推論、そして「ノー」と言う能力（抑制）といった、特定の内部的な「器官」が必要です。
実験：「病変」実験室
これを証明するために、研究者たちは「制御パネル」を持つ人間のような特別な AI エージェントを構築しました。彼らは、脳の一部を切除して何が起きるかを見る「病変」研究を行う外科医のように、エージェントの脳の特定部分をオンまたはオフにできました。
彼らはエージェントの主に 2 つのバージョンを用意しました。
- 「構造化された」エージェント： これはすべてのツールがオンになっています。何かを選んだ理由を説明する推論モジュール、過去の出来事を記憶する記憶モジュール、目標を追跡する自己状態モジュール、そして誤った選択を止める**拒否（ベト）**モジュールを備えています。
- 「カオス」エージェント： これは推論、記憶、自己、および拒否のモジュールがオフになっています。代わりに、「温度」（ランダム性）を上げ、激しく予測不可能に推測させました。
比喩：
構造化されたエージェントを、レシピに従い、味見をし、塩を加えるか調理を止めるかを決定するシェフだと考えてください。
カオスなエージェントを、最大速度で回転するブレンダーだと考えてください。それは材料を至る所に投げ散らします（予測不可能ですが）、何かを「調理」しているのではありません。ただ混乱を作っているだけです。
彼らが発見したもの
研究者たちは、これらのエージェントを 7 種類の異なるタスク（物語を語る、選択をする、事実を思い出すなど）にかけ、74,000 回以上の相互作用をチェックしました。以下が起きたことです。
1. カオスは制御ではない
「カオス」エージェントは確かに予測がはるかに困難でした。それはより激しく跳ね回りました。しかし、制御されたエージェントのように振る舞うことはできませんでした。目標を記憶せず、新しい理由に基づいて考えを変えず、過ちを犯すのを自ら止められませんでした。
- 結果： 予測不可能であることは、エージェントをより賢くしたり、より制御されたものにしたりしませんでした。ただランダムにしただけです。
2. 「事後」のトリック
「もしかしたらカオスなエージェントは自己制御しているのではないか、単に選択をした後に理由を書いているだけなのかもしれない」と主張する人がいるかもしれません。
これをテストするために、研究者たちはカオスなエージェントに、行動した後に理由、記憶、拒否の決定を書き出すよう強制し、それが制御されているように見えるかどうかを確認しました。
- 結果： 行動した理由について物語を書くよう強制されたとしても、カオスなエージェントの行動は実際にはその物語と一致しませんでした。「理由」は単なる装飾であり、行動の真の原因ではありませんでした。
3. 「有限の行動」テスト
完全に確実を期すために、彼らはすべての派手なテキストを取り除き、最終的な決定（例：「オプション A を選ぶ」または「停止」）のみを見ました。彼らはエージェントに秘密のテストを与えました。「もし理由を変えたら、選択も変えるべきだ。もし偽の理由を与えたら、それを無視すべきだ」と。
- 結果： 構造化されたエージェントは合格しました。理由が変わると選択を変え、偽の理由を無視しました。カオスなエージェントは惨敗しました。論理や記憶のルールに従うことができませんでした。
「盲目」チェック
偏見がないことを確認するために、3 人の人間の専門家が、どちらのエージェントがどちらかを知ることなく 1,200 の例を確認しました。彼らは、構造化されたエージェントだけが実際に「制御下にある」という点でほぼ完全に一致しました（96% の一致率）。
限界（論文が言っていないこと）
この論文は、その主張について非常に慎重です。以下を言っているのではありません。
- AI は決して制御できないということ。
- ランダム性が無用であるということ。
- これが世界中のすべての AI に当てはまるということ。
代わりに、こう言っています：彼らが構築した特定の種類の AI エージェントにおいて、単に AI をよりランダム（確率的）にすることは、真の構造化された制御を生み出しませんでした。 「推論された決定」の代わりに「無謀な推測」を置き換えることはできません。
結論
AI に真の制御を、つまり記憶し、推論し、自らを止める能力を持たせたいのであれば、それらの特定の部分を組み込む必要があります。「ランダム性のノブ」を回すだけで、それがどうやって賢くなるかを理解してくれることを期待することはできません。予測不可能性は、知性と同じではありません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。