Establishing AI State of Control: An Error Taxonomy and Assurance Framework for Transformer-Based Probabilistic Systems in Regulated Life Sciences

製薬製造という、たった一つのミスが患者の安全を脅かしかねない極めて重要な世界において、企業は薬の製造工程のすべてを完璧なものにするために、厳格な規則に依存しています。数十年にわたり、これらの規則は決定論という考え方に基づいて構築されてきました。つまり、特定の材料を機械に入れれば、毎回全く同じ結果が得られるという考え方です。もし問題が発生した場合、エンジニアは故障の原因を壊れたギアやずれたセンサーにまで遡って特定することができます。しかし、今、新しい種類のテクノロジーがこの状況を変えようとしています。詩を書いたり複雑なレポートを要約したりできるものと同じ種類の人工知能である大規模言語モデルが、これらの規制された環境に浸透し始めています。従来の機械とは異なり、これらのシステムは確率論的です。彼らは唯一の正解を計算するのではなく、学習したパターンに基づいて、文章における最も可能性の高い次の単語を予測します。これは、たとえ全く同じ指示を与えたとしても、システムがわずかに異なる、そして潜在的に誤った出力を生成する可能性があることを意味します。規制当局や品質管理の専門家にとっての課題は、従来のミスを発見し修正するためのツールは、決して推測することのない機械のために設計されており、常に推定を行うシステムのために設計されていないということなのです。

ケイラ・ブリットという研究者は、これらライフサイエンス分野で使用されるAIシステムに特化した、不確実性を管理するための新しい方法を提案しました。彼女が取り組んでいる核心的な問題は、現在の品質管理システムには、AIがミスをした際に何が起こったのかを記述するための言葉が欠けているということです。従来のソフトウェアプログラムが失敗する場合、それは通常、明確な「ソフトウェアエラー」となります。しかし、AIが本物のように見えるが実際には存在しない文書を捏造したり、自分の方が正しいと自信過剰になって重要な指示を無視したりした場合、従来のラベルでは適合しません。この混乱により、根本原因を適切に調査したり問題を修正したりすることが不可能になります。これを解決するために、ブリットは、AIの失敗を「発生したエラーの種類」と「システムのアーキテクチャ内の正確な発生地点」という2つの特定のカテゴリーに分類する、二次元マップによる新しい分類システムを導入しました。

AIが失敗する6つの異なる方法（事実の捏造、文脈の誤解、回答に対する過剰な自信など）を片側のリストとし、もう片側のリストには、失敗の起点となり得る6つの異なる場所（モデルの学習データ、情報の検索システム、あるいはAIと人間の相互作用の方法など）を挙げたグリッドを想像してみてください。これら2つのリストを交差させることで、フレームワークは、あらゆるミスを記録できる36個の具体的な「セル」を作成します。これにより、品質エンジニアは単に「AIが失敗した」と言うだけでなく、それが「モデル推論（AIがテキストを生成する瞬間）」の段階で発生した「捏造エラー（事実の捏造）」であると正確に特定できるようになります。このレベルの詳細さは、漠然とした苦情を具体的な診断ツールへと変え、チームがシステムがどのように崩壊したのかを正確に理解することを可能にします。

この論文はさらに、すべてのAIエラーを完全に排除することはできないという事実を認めています。これらのシステムは確率に基づいて構築されているため、一部のミスは設計に固有のものであり、完全にエンジニアリングによって取り除くことはできません。このフレームワークは、「不可避性ゲート（irreducibility gate）」という概念を導入し、より優れたコーディングやデータによって修正可能なエラーと、システムの利用範囲や方法を制限することによって管理しなければならないエラーを区別します。もし失敗が「不可避（irreducible）」であると判断された場合、解決策はAIに完璧さを強いることではなく、たとえミスが発生してもその影響が封じ込められるように、システムの範囲を制限することです。例えば、AIが医学的な引用を捏造しやすい傾向がある場合、システムはAIが自ら新しい引用を生成することを許すのではなく、すでに人間によって検証されたテキストを要約することのみを許可するように設計されるかもしれません。

このアプローチをテストするために、著者は、製造記録の要約にAIを使用している製薬会社の具体的なシナリオを提示しています。このケースでは、AIはバッチ記録内の温度の問題を正しく特定しましたが、その後、記録には人間によるミスであったと書かれているにもかかわらず、バルブが故障したという誤った理由を捏造しました。この新しいタクソノミー（分類体系）を用いれば、チームはこれが単純なソフトウェアの不具合ではなく、「モデル推論」レイヤーから発生した「捏造」エラーであることを特定できました。この具体的な診断により、ターゲットを絞った解決策が得られました。すなわち、AIが生成したテキストが、ソース文書の事実と一致しているかどうかを確認する検証ステップを追加することです。これは、単なる「ソフトウェアをチェックせよ」という一般的な指示よりも効果的な修正方法です。

提案されたフレームワークは、これらの新しい手法を、米国の食品医薬品局（FDA）が製造プロセスのバリデーションに使用している既存の3段階のプロセスとも整合させています。AIが絶対に失敗しないことを証明しようとするのではなく、この新しい手法は、AIの失敗が既知の安全な境界内に留まることを証明することに焦点を当てています。これには、同じ入力に対して多くのバリエーションを用いてテストを行い、出力の変動が安全と言えるほど十分に小さいことを確認することが含まれます。システムがこれらの範囲内に留まっている限り、たとえ稀にエラーを見逃すことがあっても、人間がプロセスに関与（ヒューマン・イン・ザ・ループ）していることを条件に、使用が承認されます。

この研究は、安全な医療のためのAIの未来は、これらの確率的なシステムを決定論的な機械のように振る舞わせようとすること（それはおそらく不可能である）にあるのではないことを示唆しています。むしろ、その性質を受け入れ、その特定の弱点を精密にマッピングし、その限界に合わせたコントロールを構築することにあります。品質管理チームに明確な語彙と、失敗を分類するための構造化された方法を与えることで、このフレームワークは、私たちが頼りにしている薬の安全性を損なうことなく、強力な新しいツールを使用するための道筋を提供しています。論文は、テクノロジーは依然として進化過程にあるものの、これらのエラーを定義、記録、および管理するための標準化された方法を持つことが、それらを制御下に置くための不可欠な第一歩であると結論付けています。