From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

急速に進化する人工知能の世界において、研究者たちはコンピュータプログラムがいかに自律的に行動できるかを絶えずテストしています。これらのプログラムは「エージェント」と呼ばれ、タスクを完了するためにツールを使用し、意思決定を行い、デジタル環境と相互作用するように設計されています。これらのエージェントが真に能力を備えているのか、それとも簡単に騙されてしまうのかを知るために、科学者たちは標準化されたテストのような厳格なベンチマークを実施しています。「AgentDojo」と呼ばれる一つのテストは、誰かが隠された指示でエージェントを欺こうとした場合など、トリッキーな状況にエージェントがどのように対処できるかを具体的に検証するものです。しかし、大きな問題が生じています。これらのテストは最終的なスコアを算出しますが、そのスコアに至るまでのプロセスはしばしば「ブラックボックス」となっているのです。どの試行がカウントされたのか、最終的な数値がどのように計算されたのか、あるいは研究論文に報告された結果がコンピュータによって生成された生データと実際に一致しているのかを検証することは困難です。明確な足跡がなければ、高いスコアが純粋なスキルによるものなのか、それとも単なる集計ミスによるものなのかを判断することは困難です。

この不確実性に焦点を当てたのが、独立した研究者であるAbdullah Alharbi氏によって開発された新しいソフトウェアツールです。彼の研究「AgentDojo Trace Audit」は、新しいテストやより優れたエージェントを作成するものではありません。代わりに、AgentDojoテストの生データと、研究者が行う最終的な主張との間に、透明性のある検証レイヤーを構築します。その目的は、静的なレポートを「監査可能な物語」へと変えることです。このツールは、特定の固定されたバージョンのAgentDojoテストを取り込み、プロセスのあらゆるステップを検証します。使用されているファイルが意図した通りのものであるか、データの包含または除外に関するルールが完璧に遵守されているか、そしてレポート内の最終的な数値が基礎となる記録と一致しているかを検証します。それは実験の厳格な会計士のように機能し、数値が整合しており、データによって語られる物語が最初から最後まで一貫していることを保証します。

これを行うために、ソフトウェアはまず、ユーザーが公式のAgentDojoソースコードの正当なコピーを保持していることを必要とします。このツールはテストデータ自体を再配布するのではなく、検証に焦点を絞ることで法的問題を回避し、検証に特化しています。正しいソースが存在することを確認した後、ツールはすべてのファイルの「デジタル指紋」を調べることから作業を開始します。各ファイルのコンテンツに基づいて固有のコードを計算することで、たとえ一文字の変更やファイル名の変更といった微細な変化であっても、即座に検知できるようにします。このステップにより、研究者が元の研究で使用されたものと全く同じデジタル素材を使用していることが確認され、ソース素材への偶発的または意図的な改ざんを防ぎます。

ソースの検証が終わると、ソフトウェアは監査の中核である「カウントと分類」へと進みます。元のテストは数千のレコードを生成しましたが、そのすべてが最終的な分析に含まれるわけではありません。ツールは、どのレコードを保持し、どれを破棄するかを決定するための厳格なルールを適用します。例えば、ある調査では、約11,800個の候補ファイルのうち、140個がメイングループに適合しない補助的なケースであり、1つのファイルは主要なデータフィールドが欠落しているために不完全であったことが判明しました。これらのルールを適用することで、ソフトウェアは元の研究が分析対象とした11,624個のレコードという正確な母集団を再構築しました。その後、攻撃が成功したか失敗したかといった異なるカテゴリへのこれらのレコードの分類が、公式レポートと完全に一致しているかをチェックしました。この特定のテストにおいて、ツールは11,624個の全レコードがそのソースと正しく紐付けられており、成功、失敗、および攻撃の結果に関する最終的なカウントが正確であることを確認しました。

しかし、このツールの真の力は、正しいものを確認するだけでなく、エラーを見つけ出す能力にあります。その信頼性をテストするために、研究者たちはデータの入れ替え、レコード間のリンクの削除、あるいは結果の意味の変更など、意図的に間違いを混入させた一連のチャレンジを作成しました。408の異なるシナリオを含む一連のテストにおいて、ツールはあらゆるエラーを検出・分類することに成功しました。ただし、エラーの正確な場所を特定できたのは336ケースのみでした。残りの72件の失敗は、ツールがエラーを見逃したためではなく、エラーの場所に関する説明が不十分であったために起こったものです。研究者たちはその後、ソフトウェアのデザインにおけるこの特定の問題を修正しました。

この修理を行った後、彼らはより厳格な360の新しいシナリオを用いたテストを実施しました。今回、ツールは完璧でした。360件のエラーすべてを、一度のミスもなく検出し、分類し、特定しました。また、ツールが過敏すぎて、無害な変更をエラーとしてフラグ立てしていないかを確認するために、ファイルの名称変更や圧縮形式の違いといった120の「良性（ベニグン）」のケースに対しても実行しました。ツールはこれらを正しく無視し、誤検知はゼロでした。この一連のテストは、ソフトウェアがファイルの保存方法における無害な変更と、科学的な内容における真の変化を確実に区別できることを示しています。

この研究の意義は、複雑で不透明な実験を、一行ずつ検査可能なものに変える手法を提供したことにあります。このツールが登場する前は、研究者が特定の成功率を主張しても、他者はその言葉を信じるか、あるいは実験全体を手動で再実行しようとするしかありませんでしたが、それは多くの場合不可能です。今や、元のソースデータを持つ人であれば誰でも、この監査を実行して、数値がどのように導き出されたのかを正確に把握できます。このツールは、エージェントが現実世界で安全であることを教えるものでも、元のテスト設計が完璧であることを証明するものでもありません。代わりに、論文に記載された数値が、その根拠となるデータと一貫していることを保証します。それは、データによって語られる物語が、データが実際に支持している物語であることを保証するものなのです。

研究者たちは、自らの研究の限界についても注意深く述べています。このツールは特定のバージョンのAgentDojoテスト用に設計されており、大幅な作り直しなしには、他のベンチマークや将来のバージョンに自動的に適用することはできません。また、元のデータが事実として間違っていたり、テスト自体に欠陥があったりする場合、それを検出することはできません。ツールが行うのは、あくまで一貫性と内部論理のチェックです。さらに、このツールはテストを作成したチームと同じチームによって開発されているため、独立した外部レビューではなく、厳格にストレス・テストされた「自己チェック」であるという点にも留意が必要です。それにもかかわらず、この研究は透明性への明確な道筋を示しています。研究における主張が単なる「声明」ではなく、そのソースまで1バイトずつ遡ることができる「検証可能な事実」となり得ることを、この成果は示しています。