Correct Is Not Governed: Provenance Integrity in Agentic Workflows

見えない紙の足跡

信じられないほど速く、非常にスマートなロボットのチームが謎解きに挑む様子を想像してみてください。彼らは1秒間に数百万冊の本を読み、完璧な手がかりを見つけ出し、素晴らしい解決策を書き上げることができます。人工知能の世界では、ロボットが正解にたどり着いた場合、通常これを「成功」と呼びます。しかし、もしロボットが「間違った理由」で正解にたどり着いたとしたらどうでしょう？ もし、そのロボットが実際には偽のドラフト（草案）であったり、昨日期限が切れたルールであったり、あるいは自分で作り出した証拠であったりする手がかりを使って正解を出していたとしたら？ 病院、銀行、裁判所といった実社会においては、単に正解を得るだけでは不十分です。「なぜ」その答えが正しいのか、誰がその発言の許可を与えたのか、そしてどのような証拠がそれを裏付けているのかを知る必要があります。これが「ガバナンス（統治）」の世界です。それは、手品師が帽子からウサギを取り出すこと（トリックが成立している！）と、科学者がウサギがどのようにそこに辿り着いたのかを正確に示してみせること（証拠が確かなこと！）の違いなのです。この論文は、シンプルながらもトリッキーな問いを投げかけています。AIエージェントが単に仕事を遂行するだけでなく、どのように行ったのかを記録した完璧で変更不可能な日記を保持し、私たちが彼らを信頼できるようなシステムを構築できるだろうか？ という問いです。

論文の物語：信頼の「マトリックス」

この論文の著者である独立研究者のJesus Salas氏は、Matrixと呼ばれる新しいシステムを紹介しています。MatrixをSF映画のようなものとしてではなく、超厳格で、まばたきもしない審判であり、かつデジタル公証人が合体したものであると考えてください。論文では、AIエージェントが適切なビジネス上の成果に到達したからといって、そのワークフローが「ガバナンスされている」とは限らないと主張しています。「ガバナンスされた」ワークフローとは、あらゆる決定、あらゆる証拠、そして変化へのあらゆる反応が、外部の人間によって検査・検証可能な形で記録されているワークフローのことです。

これをテストするために、研究者たちは一連の「対戦」を設定しました。彼らは標準的なAIワークフロー（これを「ダイレクト・パス」と呼びます）を、Matrixシステムを用いた新しい「ガバンド・パス（統治された経路）」と対決させました。彼らはPhi-4という特定のAIモデルを使用し、企業の新しいベンダー採用やプライバシー更新への対応といった、合成シナリオを作成しました。

以下に、3つの大きな物語に分けて、彼らの発見をまとめます。

1. 正解、しかし間違ったレシート
最初のテストでは、ダイレクト・パスとガバンド・パスの両方が、15回中15回、全く同じ正しいアクションを選択しました。最終スコアでは引き分けでした！ しかし、研究者が「レシート（AIが選択を行うために使用した証拠）」を調べたところ、ダイレクト・パスは混乱していました。15回の実行のうち6回において、ダイレクト・パスは、使用が許可されていない証拠（ドラフト文書や期限切れのルールなど）を引用していました。一方、ガバンド・パスはその間違いを一度も犯しませんでした。それは、不適切な証拠の使用を拒否したのです。
教訓： 正しい目的地に辿り着いたとしても、間違った地図を持っている可能性があります。Matrixシステムは、たとえ最終的な目的地が同じであっても、正しい地図のみを使用することを保証します。

2. 「終わりました！」という嘘
2番目のテストでは、AIにタスクを完了させ、それを証明するように求められました。ダイレクト・パスは、単に「終わりました！」と言うことが許され、システムはそれを受理しました。AIがタスクを完了したと主張しても、実際の証拠（契約書への署名の欠落など）がない場合でも、ダイレクト・パスはそのままファイルをクローズしてしまいました。しかし、Matrixシステムは、まるで強情なドアマンのように振る舞いました。それは証拠を確認し、それが欠けているのを見て、「いいえ、まだ終わっていません。戻って修正してください」と言いました。システムは、AIが検証可能な真の証拠を手にするまで、何度もやり直しを強制しました。
教訓： AIが「終わりました」と言うことは、証明にはなりません。Matrixシステムは、AIが金メダルをもらう前に、宿題を見せることを強制します。

3. 変化の波及効果
3番目のテストでは、途中でルールが変わりました（新しいプライバシー法が登場したような状況）。両方のシステムは、最新の状態になるよう作業を更新しました。しかし、ダイレクト・パスは不器用でした。それはこれまでに行った作業のすべてを捨て去り、ゼロからやり直しました。つまり、18のタスクをやり直したのです。Matrixシステムは外科医のようでした。それは依存関係のマップを確認し、新しいルールによって影響を受けるのはどの3つのタスクであるかを正確に見極め、その3つだけをやり直しました。
教訓： 物事が変化したとき、ガバナンスされたシステムは、何を修正し、何をそのままにしておくべきかを正確に把握しており、無駄な労力を大幅に削減します。

捻り：失敗した契約

論文には、非常に正直な「失敗の物語」も含まれています。研究者たちは、ある特定の種類のタスクのために作成した一連のルール（「完全性契約」）を、別のプロセスによって作成された全く異なる一連の合成パケットに対して適用しようとしました。その結果はどうだったでしょうか？ システムはルールに従うことに関しては完璧に機能しましたが、ルール自体が新しい状況には間違っていたのです。システムは、契約が新しいコンテキストに対して厳格すぎたため、有効なパケットを100%ブロックしてしまいました。
教訓： これは、システムがルールに対して完璧に従順であっても、ルール自体に欠陥がある場合には、その通りになるということを証明しています。Matrixシステムはルールの執行には優れていますが、悪いルールを魔法のように修正することはできません。

総括

著者は、MatrixがAIを「より賢く」したり、正解を推測する精度を高めたりすると主張しているわけではないことに注意を払っています。実際、多くの場合、MatrixがなくてもAIは正解に辿り着いていました。そうではなく、彼らはMatrixが**インテグリティ・レイヤー（完全性の層）**であると主張しています。それは、握手に公証人を加えるようなものです。握手自体は変わらずに行われますが、今や、何が合意されたのか、誰が署名したのか、そしてどのような証拠が使われたのかについて、署名・日付・立会人が付いた記録が残るのです。

論文は、機関（政府や大企業など）にとって、「なぜ」と「どのように」を監査できることは、最終的な結果と同じくらい重要であると結論づけています。このシステムは、AIの作業を透明にし、完了したと嘘をつくことを防ぎ、優れた作業を破棄することなく変化から回復するのを助けます。ただし、著者は、このシステムはルールが正しく書かれていることに依存していると警告しています。もしルールが悪ければ、システムは忠実にその悪いルールを執行することになります。これは信頼と責任のためのツールであり、AIを完璧にするための魔法の杖ではありません。