Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
Claude Opus 5に関する3つの前向きな研究によれば、ツール結果のメタデータは、単なる断定と比較して、当初は誤った主張の採用を増加させるように見えたものの、その後の事前登録された再現実験では、その効果は一貫しておらず、明示的に告知されたインラインテキストの影響よりも優れているわけではないことが示された。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人工知能の世界において、言語モデルとして知られるコンピュータプログラムは、記憶し、情報を検索し、自分自身のためにメモを書くことができるエージェントとして、ますますその役割を強めています。デジタルアシスタントが、自身の仕事のダイアリー（日記）を付けている場面を想像してみてください。そのアシスタントは、以前に自分が書いたメモを読み、そのメモを事実として扱い、後にその情報に基づいて意思決定を行うかもしれません。書き込みもできるストアから読み取るというこの能力は、独特なループを生み出します。単に書き留められただけの主張が、後に検証済みの記録のように見えるようになるのです。現在、研究者たちが問いかけているのは、情報のパッケージ化の仕方が、コンピュータによるその情報の扱われ方を変えてしまうのではないか、ということです。特定のデータ検索に使用される特定のデジタル形式である、形式的で構造化された「ツール結果（tool result）」の中に届けられたメモは、同じメモが単なるプレーンテキストとして届く場合よりも、重みを持つのでしょうか。もし、形式そのものがコンピュータに虚偽の主張を信じ込ませる要因となるのであれば、それはシステムが実際の証拠ではなく、権威の「外見」によって欺かれている可能性を示唆しています。
これを調査するため、ジャスティン・ブロンダーという研究者は、Claude Opus 5と呼ばれる特定のバージョンのAIモデルを用いた一連の制御実験を設定しました。目的は、特定の形式によってモデルが誤った情報を採用してしまうかどうかを確認することでした。設定は、モデルに特定のアイテムのコードを特定させるという合成タスクです。正しいコードはモデルには隠されていましたが、間違ったコードが会話履歴の中に密かに仕込まれていました。モデルは、「間違ったコード」、「別の正しいコード」、あるいは「分からないと認める」のいずれかを選択しなければなりません。研究者は、仕込まれた間違ったコードが、アシスタントによる単純な記述として現れた場合と、「ツール結果」の形式で現れた場合で、モデルが盲目的にその間違ったコードを受け入れてしまうかどうかをテストしました。
研究の第一段階において、モデルには、以前のアシスタントが主張を行い、別の「ツール結果」に記録が含まれている履歴が示されました。間違ったコードがアシスタントによるプレーンテキストの記述の中にあったとき、モデルはそれをほとんど受け入れませんでした。モデルは正しくその誤った情報を無視するか、あるいは分からないと認めました。しかし、同じ間違ったコードが構造化されたツール結果の中に含まれていたとき、モデルは24回の試行のうち14回で、それを真実として受け入れました。この初期の発見は、ツール結果の形式が、プレーンテキストにはない特別な種類の権威を持っている可能性を示唆していました。モデルは、それが単なる仕組まれたエラーであるにもかかわらず、その構造化された記録を検証済みの検索結果として扱ったようです。
これが偶然ではないことを確認するため、研究者は、厳密に計画された第二の実験でこの比較を繰り返しました。今回も、モデルはアシスタントからのテキストによる誤った主張を無視しましたが、ツール結果の形式における誤った主張については、24回の試行のうち7回受け入れました。これにより、その差異が現実的であり、特定の条件下で再現可能であることが確認されました。ツール結果のパッケージは、プレーンテキストの断定よりも、モデルの意思決定に対して強い影響力を持っているようでした。
しかし、物語は第三の、そして最後の研究で大きな転換を迎えます。研究者は、これまでのテストは、プレーンテキストとツール結果が異なる方法やタイミングで提示されていたため、不公平であった可能性があることに気づきました。この新しい設定では、モデルに対し、ツール結果の形式によるものとプレーンテキストによるものの2つの記録を事前に通知しました。そして、両者は最終的な質問の中で同時に提示されました。研究者は、どちらの記録に誤ったコードが含まれるかを入れ替えました。誤ったコードがプレーンテキストにあったとき、モデルは60回中60回、すべての試行においてそれを採用しました。誤ったコードがツール結果にあったとき、モデルは60回中57回、それを採用しました。
この最終的な結果は、ツール結果の形式が本質的に強力であるという当初の考えを覆しました。モデルに対して両方の記録を見るように明示的に指示した場合、プレーンテキストはツール結果と同じくらい説得力を持つことが示されたのです。以前の差異は、ツール結果の形式に魔法のような権威があったからではなく、最初の2つの研究における情報の提示方法が、ツール結果を唯一の有効な回答であるかのように見せていたために起こったものでした。モデルは情報のソースを判断していたのではなく、タスクの構造上の指示に従っていたのです。
この研究は、モデルには「ツール結果は常に真である」という組み込まれたルールがあるわけではないと結論付けています。その代わりに、モデルはタスクがどのように枠付けられているかに敏感です。もしタスクが、ツール結果が期待される回答となるような「検索（ルックアップ）」の形をとっていれば、モデルはその形式を信頼します。もしタスクが2つの選択肢を並べて提示する場合、モデルはそれらを同等のものとして扱い、たとえツール結果であってもプレーンテキストであっても、誤った情報を信じてしまいます。この研究結果は、誤った情報の危険性は、それがどのような形式で届くかだけではなく、モデルにその情報を信頼する理由を感じさせるような、会話全体がどのように構造化されているかにあることを示唆しています。研究は、これらのシステムにおいて、検証済みの記録という外見は、そのパッケージングを変えるだけで簡単に作り出すことができるが、モデルにソースを直接比較させた場合には、その効果は消失することを浮き彫りにしています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。