Operationalising CAPA for AI: Evidence Requirements and Limits from a Production Case Study

工場が医薬品や航空機の部品を製造する場合、そのルールは極めて厳格です。もし機械が、わずかに短いボルトや、ラベルの貼り間違った錠剤を生み出したとしたら、そのミスは単なる「不具合」ではありません。それは「逸脱（デビエーション）」なのです。こうした規制された世界では、企業は単に不良品を捨てて、あとはうまくいくことを願うだけでは済みません。彼らはラインを止め、なぜそのミスが起きたのかを正確に調査し、機械を修理し、そして再び製造を開始する前に、その修理が実際に機能することを証明します。この、エラーを見つけ、真の原因を突き止め、解決策を検証するというサイクルは、「品質工学」と呼ばれる1世紀以上の歴史を持つ規律です。これは、問題が人々に危害を加える前に食い止めるために設計されています。今日、組織はこのような極めて重要な業務を人工知能（AI）へと引き継いでいます。弁護士は法的文書の整理にAIを使い、医師はスキャン画像の読影に使い、銀行はローンの承認にAIを使用しています。しかし、これらスマートなシステムがミスをしたとき、従来の品質工学のルールが欠落していることがよくあります。私たちは壊れたロボットアームの直し方は知っていますが、何千人もの人々の書類を密かに誤ってファイリングしている「壊れたアルゴリズム」をどう直すべきかについては、まだ学習している最中なのです。

ムサラット・カビール＝チスティという研究者は、古くからある厳格な工場の品質管理ルールを、稼働中の人工知能システムに適用できるかどうかをテストすることに決めました。彼女は実世界の事例、すなわち英国の移民法務事務所で使用されている文書自動化システムに着目しました。このシステムは、何千もの法的書類を読み取り、それぞれの書類が何であるかを判別し、数百もの異なるケースの正しいデジタルフォルダへと振り分けるように設計されていました。システムは完璧ではありませんでした。特定の移管および再立ち上げの期間中、システムは42,000件以上のアクションを処理しました。研究者は、このシステムのコンピュータログを、工場の品質記録のように扱いました。AIの背後にあるコードや数学的な仕組みを見るのではなく、システムが発生させた実際のミスと、人間が行った修正作業に着目したのです。彼女は、品質工学の標準的なステップ――エラーを見つけ、原因を突き止め、修正し、そして修正が機能したことを証明する――が、システム自体が生成したデータのみを用いて実行できるかどうかを確かめたいと考えました。

研究の結果、システムのログ自体が、品質記録として機能するのに十分強力であることが明らかになりました。研究者は、同じ書類を二重にファイリングしたり、ファイルを誤ったカテゴリに分類したり、あるいは書類の内容の検証に失敗したりといった、システム特有のエラーが存在することを発見しました。これらのミスをグループ化することで、わずか3種類のミスが、必要な修正の全容の約72パーセントを占めていることが判明しました。しかし、単なるエラー数のカウントは、誤解を招くストーリーを提示します。もしエラーの総数だけを見ていれば、最も頻繁に起こるエラーが最も修正すべき重要なエラーであると考えるかもしれません。しかし、研究者が実際のケース（どれほど多くの固有のクライアントが影響を受けたか）という観点からミスを見たとき、そのランキングは変化しました。頻繁に発生するエラーの中には、実は軽微で影響を受ける人が少ないものもあり、一方で、発生頻度は低いものの、二人の異なる人物の法的ケース全体を混乱させてしまうほど深刻なエラーもありました。これは、エラーを数えるだけでは不十分であり、それが関わる人々にとってどれほど危険であるかによって重み付けをしなければならないことを示しています。

調査はさらに深く進み、なぜこれらのエラーが発生したのかを突き止めました。フィッシュボーン図のように原因をマッピングする手法を用いて、研究者は問題を根本へと遡りました。驚くべきことに、最大の問題は、人工知能モデルが「愚か」であったり、言語を理解できなかったりしたことによるものではありませんでした。むしろ、エラーの多くは、データの準備方法やシステムのセットアップ方法に起因していました。例えば、一部の書類はスキャン方法に問題があり、コンピュータからは空白に見える状態になっていたり、あるいはシステムに特定の種類のフォームを分類するために必要な特定のコードが欠落していたりしました。根本的な原因は、AIの「脳」の失敗ではなく、多くの場合、弁護士からソフトウェアへの知識伝達におけるギャップにありました。チームはその後、是正措置を講じました。データを修正し、空白のスキャンを検知するための新しいルールを追加し、システムの信頼度設定を調整しました。彼らは、工場が修理を記録するように、あらゆる変更をログに記録しました。

しかし、この研究は、ループにおける決定的な欠落も明らかにしました。チームは、エラーを見つけ、調査し、修正を適用することには成功しましたが、その修正が長期的に機能することを完全に証明することはできませんでした。データが移管と修理のための短期間かつ集中的な期間のものであったため、システムを観察し、エラーが止まったことを確認するための、その後の長い観察期間が存在しなかったからです。真の品質サイクルにおいては、問題が再発しないことを待って検証しなければなりません。研究者たちは、自分たちがその最終ステップに至るまでのことはすべて実行できることを示しましたが、最後のステップには、ログだけでは提供できない別の種類の証拠が必要でした。システムの信頼度の閾値を下げることが安全であると断言できなかったのは、修正後に、システムの推測に対して正解を照合する方法を持っていなかったからです。

この研究は、人工知能を統治するための新しい方法を示唆しています。AIの失敗を、不可解なブラックボックス的な不具合としてではなく、追跡可能で、調査可能で、修正可能な、測定可能な「品質の逸脱」として扱えることを証明しています。システムのログは、何が起こったのかを教えてくれ、どの修正が最も重要であるかを判断する助けとなります。しかし、同時に明確な境界線も設定しています。システムから得られるデータだけでは、ループを完結させることはできないのです。真の安全性を確保するためには、どれほどのケースが影響を受けたのかを正確に把握し、修正が長期間維持されることを検証する計画を持つといった、具体的なチェックを追加しなければなりません。この研究は、AIの安全性に関するすべての問題を解決したと主張するものではありませんが、物事がうまくいかなかったときに、どのように責任を取るかについての具体的で実用的な手法を提供しています。品質工学の規律ある習慣を適用することで、私たちは「AIがうまく機能することをただ願う」状態から、「問題が起きたときに、実際にどう直すべきかを理解している」状態へと移行できることを示しているのです。