Recovery or Repetition? Feedback Policy and Verbatim Relay in a Two-Agent Language-Model Loop
この研究は、二つのエージェントによる言語モデルのループにおいて、指示違反からの明白な回復が、ルールの再適用による真の改善ではなく、単に以前に生成されたテキストの逐語的な再現であることが多いことを示しており、フィードバック・ポリシーは主にテキストの循環を規定する一方で、真の遵守にはエージェントの新たなコンテンツ構成能力をテストすることが必要であることを浮き彫りにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界では、研究者たちが、複数のコンピュータプログラムが問題を解決するために互いに話し合うシステムをますます構築するようになっています。これらはしばしば「マルチエージェント・ループ」と呼ばれます。一つのモデルが別のモデルの成果物をチェックしたり、あるいはトピックについて議論させたりすることで、単一のモデルが単独で作業する場合よりも優れた回答を生み出せるという考え方です。一般的な期待は、もしこれらのエージェントの一つが間違いを犯したりルールを忘れたりしても、会話によって自然に軌道修正（リカバリー）ができるのではないかというものです。これは「リカバリー」として知られています。しかし、決定的な疑問が残っています。エージェントが突然再びルールに従い始めたとき、それは本当に指示を理解し思考を修正したからなのか、それとも単に会話の中で以前に聞いたテキストを繰り返しているだけなのか、という点です。真の理解と単純な反復を区別することは極めて重要です。なぜなら、もしシステムが単に既に見聞きしたものをエコー（反響）しているだけならば、新しい思考を必要とする未知の状況に直面した瞬間に失敗する可能性があるからです。
独立した研究者であるSimin Yuan氏は、まさにこの問題を調査しています。研究者は、現代のチャットボットの背後にあるソフトウェアの脳である「言語モデル」を2つ使用して、シンプルな実験を設定しました。両方のモデルには、「すべての単語を大文字で書く」という厳格なシステムルールが与えられました。そして、さまざまなトピックについて会話をするよう求められました。数ラウンドの成功した大文字での会話の後、研究者はひねりを加えました。エージェントAと呼ばれる一方のモデルに対し、ユーザーから「これからは小文字で書いてください」という、既存のルールと矛盾する新しい指示を与えました。エージェントAはこの新しい指示に従い、小文字に切り替えました。この時点で、システムは元のルールを「破った」ことになります。実験では、その後会話が続いた場合に何が起こるかを問いかけました。エージェントAは最終的に大文字のルールを思い出し、再び大文字に戻るのでしょうか？ それとも小文字のままなのでしょうか？
これを知るために、研究者は同じシナリオを30回実行しましたが、その際、間違いの後の会話の継続方法として4つの異なる方法を用意しました。第1の設定では、2つのモデルは単にメッセージをやり取りするだけでした。第2では、トピックについて話し続けるよう求める丁寧なリクエストをもう一方のモデルに付け加えました。第3では、もう一方のモデルにも小文字での記述を求めるリクエストを付け加えました。第4の設定では、2つのモデル間の会話を完全に停止し、代わりにエージェントAに対して、毎ターンごとに「大文字で会話を続けてください」という固定された繰り返しのリマインダーを送信しました。
結果は驚くべきものであり、モデルの推論能力よりも、会話がどのように管理されているかが重要であることを明らかにしました。モデル同士が固定されたリマインダーなしで会話をさせた場合、エージェントAが大文字に戻ることは稀でした。実際、もう一方のモデルも小文字で書くよう求められた場合、エージェントAが大文字のルールに戻ることは一度もありませんでした。しかし、研究者がエージェントAに対して毎ターン固定のリマインダーを送った場合、エージェントAは30回のプロンプトすべてにおいて、完璧に大文字のルールに従いました。これは、パートナーとなるモデルの存在がエージェントのルール回復を助けなかったことを示唆しています。場合によっては、むしろそれを困難にさえしたのです。
最も驚くべき発見は、モデルが生成したテキストを詳細に観察したときに得られました。研究者は、モデルがルールの深い理解に基づいて新しい文章を生成しているのではないことを発見しました。代わりに、彼らは「コピー」していたのです。間違いが起こる前から、2つのモデルは互いの言葉を正確にコピーするという習慣にありました。エージェントAがついに大文字に戻ったとき、それはほとんどの場合、大文字で書かれていた相手のモデルからのメッセージをコピーした結果でした。多くの場合、エージェントAは間違いの前に書かれていた自分自身の回答を、大文字で繰り返していただけでした。システムはルールを「再学習」するという意味でのリカバリーを行っていたのではなく、その形式に合致するテキストを循環させていただけだったのです。
この振る舞いは非常に一貫しており、大文字への復帰に成功したほぼすべてのケースにおいて、モデルは直前に見た文字列を単に伝達しているだけでした。循環しているテキストが小文字であれば、モデルは小文字のままでした。循環しているテキストが大文字であれば、モデルは大文字のままでした。モデルはシステムルールとユーザーの要求の重要性を比較検討しているようには見えず、単に受け取った最新のテキストを再現していました。この発見は、インタラクティブなシステムが本質的に自己修正に優れているという考えに疑問を投げかけています。見た目がリカバリーのように思えるものが、単なる反復のループである可能性があることを示唆しているのです。
このことの含意は、人工知能のテスト方法において非常に重要です。システムが間違いを修正したように見えても、これまで見たことがない内容でテストしない限り、それが何かを学んだと仮定することはできません。この実験において、モデルが成功したのは、コピーすべき適切なテキストが存在していたからです。研究者が、過去のテキストでは答えられない全く新しい質問にモデルが答えなければならない将来のテストを提案した場合、結果は大きく異なる可能性があります。それまでは、この研究の結論として、これらの2エージェント・ループにおいては、フィードバック・ポリシー（次に何を言うべきかに関する具体的な指示）がどのテキストを循環させるかを決定しており、フォーマット・スコアは単にそのテキストのケース（大文字・小文字）を報告しているに過ぎません。モデルは必ずしも考えているのではなく、エコーしているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。