From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

現代の産業界において、企業は地球と人々のプライバシーを守るために設計された膨大な規則の山に直面しています。これらの規則に従っていることを証明するために、企業は「コンプライアンス・アーティファクト（遵守証跡）」と呼ばれる特定の文書を作成しなければなりません。これらは、製品のパスポートやコンピュータシステムの安全性監査として機能する、詳細なレポートのようなものだと考えてください。例えば、ある主要な欧州の規則では、販売されるすべてのバッテリーに対して、中にどのような材料が含まれているか、そしてどのようにリサイクルすべきかを正確に記載したデジタルパスポートを求めています。また別の規則では、個人のデータを扱うあらゆるシステムに対してリスクアセスメントを求め、人々のプライベートな情報が安全であることを保証しなければなりません。これらの文書を手作業で作成することは困難です。なぜなら、必要なデータは多くの異なるコンピュータシステムに散在しており、不揃いで一貫性のない形式で存在しているからです。企業がこの事務作業に苦慮する中、人工知能、特に大規模言語モデルを利用して、これらのレポートを執筆させるようになりました。これらのコンピュータプログラムはテキストを読み取り、新しいコンテンツを生成することには非常に長けていますが、事実を捏造したり、重要な詳細を見落としたりすることなく、厳格な法的指示に従うことができるのかどうかは、依然として不明確なままです。

研究チームは、これらの義務的なレポートを作成するよう求められた際、人工知能ツールが具体的にどの程度のパフォーマンスを発揮するかをテストするために調査を開始しました。彼らは、指示の性質によって結果が変わるかどうかを確認するため、2つの非常に異なる種類の文書に焦点を当てました。1つ目は「デジタル・バッテリー・パスポート」であり、これは規制当局によって定義された、非常に明確で硬直した構造を持つ文書です。2つ目は「データ保護影響評価（DPIA）」であり、これはプライバシー法のために求められる文書ですが、指示の内容がよりオープンエンド（自由形式）で曖昧です。研究者は5つの異なる人工知能モデルに一連のタスクを与えました。あるケースでは、レポートを書くための単純で簡潔な指示を与えました。別のケースでは、どのような情報が必要で、どのようにフォーマットすべきかを詳しく説明した、長く詳細なガイドを提供しました。彼らは、モデルが毎回同じ結果を生み出すかどうかを確認するためにこれらのテストを何度も実行し、生成されたレポートに法的に必要な情報がすべて含まれているかをチェックしました。

結果は、モデルがこれら2種類の文書をどのように扱ったかについて、明確な隔たりがあることを明らかにしました。デジタル・バッテリー・パスポートを作成するよう求められた場合、人工知能システムは驚くほど一貫していました。この文書のルールが非常に具体的であったため、指示が短くても長くても、モデルはほぼ同一の出力を生成しました。彼らはバッテリー材料に関する必要なデータを抽出し、ほぼ毎回正しくフォーマットすることに成功しました。しかし、モデルがデータ保護影響評価に取り組んだとき、状況は一変しました。構造が硬直していないため、モデルは一貫性を保つことに苦戦したのです。追加のガイダンスなしに基本の規制テキストのみを与えられた場合、モデルは重要なセクションを欠いたり、試行ごとに結果が大きく異なったりすることがよくありました。研究者は、これらの曖昧なタスクにおいては、信頼できる結果を得るために、より多くのコンテキスト（文脈）や具体的な例を提供することが不可欠であることを見出しました。そのような追加の助けがないと、モデルはデータの保存制限の取り扱いや、個人へのリスク評価といった重要な詳細を落としてしまう傾向がありました。

最も衝撃的な発見の一つは、指示の詳細レベルに対してモデルがどのように反応したかという点でした。厳格なバッテリー・パスポートの場合、プロンプトに詳細を追加しても出力の質は大きく変わりませんでしたが、出力に「ハルシネーション（幻覚／もっともらしい嘘）」を引き起こす可能性があります。しかし、プライバシー評価については、その逆でした。モデルがうまく機能するためには、その追加のコンテキストが必要だったのです。指示が曖昧すぎると、モデルは要求されたセクションを含めることができず、現在の法的言語は、これらのツールが単独で信頼できる形で解釈するには広範すぎることを示唆していました。また、研究は、異なる人工知能モデルが異なる挙動を示すことも強調しました。すべてのタスクにおいて一貫して信頼できるモデルもあれば、指示が極めて明確でない場合に重要な情報を落としてしまう傾向のあるモデルもありました。

結局のところ、この研究は、人工知能を法的コンプライアンスに使用する成功は、作成される文書のタイプに大きく依存することを示唆しています。デジタル・バッテリー・パスポートのような高度に構造化されたタスクについては、テクノロジーは最小限の設定で利用できる準備ができています。しかし、プライバシー評価のような複雑でオープンエンドなタスクについては、単にコンピュータに法律に従うよう求めるだけでは不十分です。研究者たちは、規制の曖昧な部分に対してこれらのツールを効果的に機能させるためには、人工知能を必要なステップへと導く、詳細で具体的なプロンプトを作成することに時間を投資しなければならないと結論付けました。規制自体が、これらの文書に含めるべき内容についてより具体化されるか、あるいは機械への指示方法が改善されるまで、コンプライアンスのための人工知能の使用は、一部のタスクにおける高い信頼性と、他のタスクにおける重大なリスクが混在した状態であり続けるでしょう。