技術的概要：メトリクスに基づくガバナンスと govllm フレームワーク

1. 問題定義

現在の AI 規制遵守へのアプローチは、適合性を、生産システムの継続的かつ測定可能な特性ではなく、監査時点での二値的な判断として扱っている。この「遵守の虚構」は、EU AI 法が要求する継続的な人間の監視と、展開されたシステムにおける出現的行動のドリフトの検出という要件に構造的に適していない。静的な評価（例えば、一度作成されたドキュメントや定期的な監査）は、文脈、使用パターン、モデルの更新に伴って変化する、エージェント型および生成 AI の動的な性質を捉えきれない。さらに、既存のガバナンスフレームワークは、実行時における遵守の監視を実用的なツールとして欠くことが多く、既存の評価フレームワークは、規制シグナルの生成よりも、遅延とコストの最適化に焦点を当てている。

構造的な緊張関係が重要な点として存在する：データ主権の要件（例えば、GDPR 第 44 条）を有する規制環境において、外部 API を経由して規制遵守評価をルーティングすること自体が、評価されている義務に違反する可能性がある。したがって、オンプレミスでの評価は、単なる設計上の好みではなく、規制上の必要性である。

2. 手法：メトリクスに基づくガバナンス

本論文は、規制遵守を、静的な監査判断ではなく、生産環境の観測可能性から導き出される継続的なシグナルとして扱うべきであるとする「メトリクスに基づくガバナンス」という原則を提示する。これを具現化するため、著者らはオープンソースのオンプレミス実行時フレームワークであるgovllmを提示する。

中核的なアーキテクチャ構成要素

• ガバナンスプロファイル: 透明性、データプライバシー、非操作などの遵守基準の順序付きセット。これらは重みと最小しきい値に関連付けられている。これらのプロファイルは、法的義務を測定可能な技術的メトリクスにマッピングする。
• 陪審員としてのプロファイル: 単一の単一巨大な判断者ではなく、システムは専門化された LLM 判断者のパネルを採用する。各規制基準は、特定の LLM 判断者（例えば、特定のモデルにマッピングされたデータ保護責任者の役割）に割り当てられる。この設計は、自己好意的バイアスを防ぐために、生成者と評価者の分離を強制する。
• 実行時評価パイプライン:
  • チャットモジュール: ユーザーのプロンプトをアクティブなモデルにルーティングし、非同期の判断者評価をトリガーする。
  • 観測可能性: 遅延、エラー率、トレースデータ（Langfuse 経由）を集約する。
  • 評価サービス: Ollama 経由でローカルに実行される小規模言語モデル（SLM）を使用して、判断者の推論を調整する。
  • ライフサイクル管理: 4 つのゾーン（テスト → 人間ゲート → 本番 → 隔離）からなる資格サイクルを実装する。モデルの遵守スコアが設定可能なしきい値を下回ると、自動的に隔離される。
• 軌跡ベースのルーティング: 瞬時のパフォーマンス（遅延/コスト）に基づく標準的なルーティングとは異なり、govllm はスコアの履歴を組み込む。現在のスコアが低下しているモデルよりも低い場合でも、改善傾向にあるモデルにルーティングすることができる。

判断者評価プロトコル

著者らは、5 つの規制基準（透明性、人間の監視、データプライバシー、非操作、プロンプトインジェクション）にわたる 49 の注釈付きプロンプト/レスポンスペアのグランドトラウスコーパスを用いて、フレームワークを検証した。これらは、完全にオンプレミスで実行される 4 つの SLM（phi4-mini、mistral:7b、gemma3:4b、qwen3:1.7b）によって評価された。評価では、位置バイアスと構造的な失敗モードを測定するために、3 つの質問順序条件（元の順序、逆順、入れ替え）がテストされた。

3. 主要な貢献

理論的およびアーキテクチャ的

1. メトリクスに基づくガバナンス: 生産環境の観測可能性から導き出される継続的なシグナルとして、遵守を形式化する。
2. 陪審員としてのプロファイル: 専門化された LLM が特定の規制役割を評価する、人間の専門家パネルの計算的な転置を提案する。
3. 管理された資格ライフサイクル: AI 法第 9 条（継続的リスク管理）および第 14 条（人間の監視）に整合した、テスト - 人間ゲート - 本番 - 隔離のパイプラインを実装する。
4. 遵守ゲート: 特定の基準に対する最小しきい値スコアを満たさないモデルを自動的にルーティングから除外する、ポリシー・アズ・コードのメカニズム。

実証的および診断的

5. 判断者間分散をシグナルとして: 判断者間の不一致を、抑制すべきノイズではなく、人間の仲裁を要する規制上の不確実性のシグナルとして再定義する。
6. 判断者内不整合の検出: グランドトラウスなしで観測可能な、小規模な規制判断者における 3 つの構造的失敗モードを特定し、形式化する：
   • 真実バイアス: 違反の有無にかかわらず、体系的に「遵守（真）」にデフォルトする傾向。
   • 推論/出力の分離: 違反を特定する理由を生成しながら、同時に遵守スコアを返すこと。
   • プロンプト構造への感受性: 質問の順序や出力形式（例えば、強制選択バイアス）に対する高い感受性。
7. チェックリストに基づく妥当性評価: 判断者の信頼性とは独立して妥当性を測定するための、法理学的な源泉（CNIL、ANSSI、EU AI 法）に根ざした二値チェックリストプロトコルを導入する。

4. 実験結果

本研究は、3 つの質問順序において 49 のケースで 4 つの SLM（1.7B〜7B パラメータ）を評価した。

• モデルのパフォーマンス: 単一のモデルがすべての基準で支配的だったわけではない。phi4-mini（3.8B）は、元の順序において 69.1% の最高グローバル合意率を達成し、より大きなmistral:7b（51.5%）を上回った。ただし、phi4-mini の堅牢性は条件付きであり、data_privacy基準において質問順序が入れ替えられた場合、著しく低下した（-25 パーセントポイント）。
• 専門化: 各基準を最も妥当な判断者に割り当てる専門化されたパネル（プロファイル・アズ・ジャーリー）は、最良の単一判断者より 3.5 パーセントポイント（72.6% 対 69.1%）、ベースラインより 10.9 ポイント上回った。
• 位置バイアス: 位置バイアスは小規模な判断者の構造的な性質であり、質問順序の入れ替えにより合意率が最大 25 パーセントポイント低下することが判明した。mistral:7bは順序に対する感受性を示さなかったが、全体として最も精度が低かった。
• 失敗モード:
  • gemma3:4bは低い理由の一貫性（69.1%）を示し、理由はしばしば曖昧か、スコアと矛盾していた。
  • mistral:7bは「流暢だが誤り」というパターンを示した：高い内部一貫性（92.7%）だが、グランドトラウスとの合意は低かった（51.5%）。
  • qwen3:1.7bは強い位置感受性と文脈依存性の較正を示した。
• パラメータ数: パラメータ数はガバナンススコアの貧弱な代理変数であった（ピアソン相関 r = −0.39）。これは、規制評価において、生容量よりもドメイン固有の較正が重要であることを示唆している。

5. 意義と主張

本論文は、以下の条件が満たされれば、小規模でローカルなモデルを用いた意味のある規制遵守監視が可能であると主張する：

1. 単一の一般化されたモデルに依存するのではなく、基準ごとに判断者を専門化すること。
2. 信頼性（一貫性）だけでなく、妥当性（グランドトラウスに対する精度）に対して判断者を評価すること。
3. ガバナンスアーキテクチャが、判断者の不確実性（判断者間分散）を、平均化すべき欠陥ではなく、人間へのエスカレーションのための規制シグナルとして扱うこと。

著者らは、govllmを、EU AI 法、特に静的な監査では不十分な高リスクシステムにおける継続的監視要件を実用的に運用するための、具体的で再現可能かつ主権的な一歩として位置づけている。このフレームワークは、単時点の宣言から、実際の生産相互作用から導き出される継続的かつ観測可能なシグナルへの移行によって「遵守の虚構」に対処し、完全にオンプレミスでの実行を通じてデータ主権を維持する。

本論文は、グランドトラウスコーパスが予備的なものであり、統計的有意性はサンプルサイズによって制限されており、フレームワークの遵守シグナルは法的決定ではなく統計的推定であるという点で、主張を控えめに留めている。将来の研究として、軌跡ベースのルーティングの大規模な実証的検証と、モデルファミリー間の認識論的差別の測定が必要であると特定されている。