Neuro-Symbolic Verification of LLM Outputs for Data-Sensitive Domains (extended preprint)

技術的概要：データ機密分野における LLM 出力のニューロ記号的検証

問題定義
大規模言語モデル（LLM）は、医療診断、法務レビュー、規制当局業務などの高リスクかつデータ機密性の高い分野に展開される際、根本的な信頼性の課題に直面しています。これらの課題には、ハルシネーション（信頼性はあるが偽の情報を生成すること）、矛盾、およびプライバシーの脆弱性が含まれます。これらの文脈において、エラーは法的、財政的、または安全上の結果を伴うため、最先端モデルで観測される 3〜10% のハルシネーション率は許容できません。さらに、厳格な規制および制度的制約は、データ主権を確保するためにローカルデータ処理を義務付けることが多く、クラウドベースの API や汎用 LLM の有用性を制限しています。検索拡張生成（RAG）や思考連鎖プロンプトなどの既存のアプローチは、専門的な設定に必要な保証を提供しておらず、自己検証手法は検証しようとするモデルの分布バイアスを継承してしまいます。

手法
本論文は、形式的記号手法とニューラル意味分析を組み合わせ、補完的な保証を提供するハイブリッド検証アーキテクチャを提案します。このシステムは、ローカルファースト処理、記号コンポーネントとニューラルコンポーネントのモジュール分離、アクターベースの故障隔離、およびタイプを考慮した主張検証という 4 つの中核原則を中心に設計されています。

1. 記号入力検証（前処理）：
   このアーキテクチャは、LLM 推論を行う前に入力制約を検証するために、表形式に基づく論理を採用しています。この手法は、検証要件を構成可能な宣言的条件の階層に分解します。中核的な条件は原子述語（メタデータの存在など）を評価し、高次メタ条件は集合論的関係（累積的義務や代替の十分条件パスなど）を表現します。このアプローチは、構造化された要件に対して決定可能、健全、かつ完全な保証を提供し、重大な違反に対して「ハードストップ」として機能するか、軽微な不一致に対して段階的な警告システムとして機能します。

2. アクターベースの並行処理：
   堅牢性と故障隔離を確保するため、システムはアクターモデル（Erlang VM 上の Elixir 経由で実装）を利用します。検証パイプラインは、共有される可変状態なしに、複数の異種分析ストリーム（記号ルール検証、エンティティ抽出、ニューラル埋め込み比較）を並行して実行します。スーパーバイザーアクターはワーカープロセスを監視し、失敗したコンポーネント（ニューラル推論のタイムアウトなど）を自動的に再起動し、広範な記号検証状態を汚染することなく処理します。

3. ハイブリッド出力検証（後処理）：
   このアーキテクチャは、LLM によって生成されたコンテンツに対してタイプを考慮した検証戦略を実装します。

   • 構造化エンティティ： 決定論的データ（日付、識別子、数値）については、システムは正確な検証を提供するために記号パターンマッチングと正規表現ベースの比較を使用します。
   • 自由テキスト主張： 意味的コンテンツについては、システムは形式的手法が表現力を欠く文脈的ハルシネーションを検出するために、埋め込みベースの意味的類似性（多言語文エンコーダを使用）を採用します。
   • 並行統合： 記号処理ストリームとニューラル処理ストリームは並行して実行されます。検索シナリオでは、記号フィルタリングがニューラルランキング前に検索空間を狭める（セクションタイプやレポート ID によるなど）ことで、ローカルに展開されたモデルのノイズとトークン使用量を削減します。

4. プライバシー保護設計：
   システムは「ローカルファースト」処理を強制し、すべての推論、埋め込み、検証がローカルハードウェア上で発生することを保証します。機密データは専用の監督部分木内で隔離され、ベクトル埋め込みはインデックス付きコレクションの損失変換として機能し、情報理論的な保護を確保します。

システム実装：HAIMEDA
このアーキテクチャは、HAIMEDA（医療機器評価のためのハイブリッド AI）として具体化されました。これは、ドメイン専門家とのアクションデザイン研究（ADR）を通じて開発されたシステムです。HAIMEDA は、宣誓された専門家証人が厳格な機密性とデータ主権の制約の下で損害評価レポートを作成しなければならないドイツの法的文脈向けに設計されています。このシステムは以下のモジュールを統合します。

• レポート作成モジュール（RAM）： 微調整された Llama3-DiscoLeo-Instruct-8B モデルによる生成を処理します。
• 調査・研究モジュール（RIM）： ドメイン知識検索のためのハイブリッド絞り込みを実行します。
• 情報整合性検証モジュール（IIVM）： ソース資料に対する多段階検証を実行します。

結果
評価は、現実的なローカル展開の制約を反映させるため、一般消費者向けハードウェア（AMD Ryzen 9、NVIDIA RTX 4090）上で行われました。

• ハルシネーション検出： システムは、構造化エンティティに対して（記号チェックを通じて）83% 以上、意味的捏造に対して（ニューラル類似性を通じて）72% の検出率を達成しました。前処理ロジックは、欠落した必須条件の検出において 100% の達成率を記録しました。
• ワークフロー効率： ドメイン専門家による実用的な評価により、レポート作成全体の時間が 30% 削減されました。具体的には、コンテンツ作成時間は 50% 減少し、文書ベースの研究時間は 33% 減少しましたが、最終レビュー時間は検証プロセスにより増加しました。
• システムユーザビリティ： システムは、システムユーザビリティスケール（SUS）で 62.5 のスコアを獲得しました。

意義と主張
本論文は、純粋なニューラルアプローチの限界に対処することで、ニューロ記号的アーキテクチャがデータ機密分野における LLM の展開に原理的な安全策を提供し得ると主張しています。主な貢献は、単一のベースモデルの能力に依存するのではなく、形式的保証を記号検証に根ざしたモデル非依存のアーキテクチャです。検証タスクをその性質（決定可能な制約対意味的曖昧さ）に基づいて分離することで、このシステムはデータ主権を損なうことなく情報整合性を保証するためのスケーラブルな解決策を提供します。著者は、このアプローチが点解決を超えて、ハイブリッド AI のための一般化可能なアーキテクチャパターンを提供し、規制産業に不可欠な故障隔離されたローカル展開可能な品質管理パイプラインを可能にすることを強調しています。論文は、ドメイン固有のルールカバレッジへの依存性や、分野間転移およびアブレーション研究に関する今後の作業の必要性を含む限界を認めています。