To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

技術的概要：隠すか、隠さないか？審議過程特権分類へのローカル LLM アプローチ

問題定義
米国や英国の情報公開法（FOIA）やオランダの「政府情報公開法（Wet open overheid、Woo）」などの政府透明性法は、市民に政府文書へのアクセス権を付与しています。しかし、これらの文書には、公開前に削除（レッドアクション）しなければならない機密情報（個人情報、国家安全保障上の脅威、審議過程特権など）が含まれることがよくあります。現在、この削除プロセスは手動レビューに依存しており、時間がかかり、誤りが発生しやすく、政府対応の遅延の主要な要因となっています。

従来の研究では、ロジスティック回帰、SVM、BERT などの従来の機械学習モデルを用いた自動的な機密性分類が探求されてきましたが、これらの手法は以下の重大な限界に直面しています：

1. 汎化性の問題: 特定のデータセットで訓練されたモデルは、異なる記録管理者やレビューヤーからの文書など、分布外データへの汎化に失敗することが多いです。
2. 説明可能性の欠如: 従来の分類器は、その予測に対する妥当な説明を提供する能力が欠けていることが多く、これは人間のレビューヤーにとって不可欠です。
3. データ主権: 多くの大規模な商用 LLM が要求するサードパーティのクラウド API を通じて、機密性が高く、承認されていない政府文書を処理することは、政府機関にとって法的または政治的に耐えがたい場合が多いです。

手法
著者らは、データ主権の懸念に対処するため、消費者向けハードウェア上でローカルに展開可能な大規模言語モデル（LLM）を用いた機密性分類アプローチを提案します。本研究は、事前決定および審議記録（内部の提言、政策上の意見など）を保護するが、最終的な意見や確立された事実を除外する「FOIA 免除 5（審議過程特権）」に焦点を当てています。

• データセット: 本研究では、Baron ら [2] から派生した Branting ら [5] による文書レベルの注釈付きコーパスを使用しました。これは、クリントン・ホワイトハウス文書（バッチ K1、K2、K3、R4）からなる 4,502 文で、「常に審議的（AD）」または「非 AD」としてラベル付けされています。
• モデル: 異なる展開シナリオを代表する 2 つのモデルを比較しました：
  1. ローカルモデル: Qwen3.5-9B（オープンウェイト）。単一の 24GB NVIDIA A10 GPU で実行。
  2. 商用モデル: Gemini 2.5 Flash（クローズドソース）。API を介して使用され、コスト効率が高くスループットの高い生産システムの代理として機能。
• プロンプト変種: 分類性能を最適化するために、8 つの異なるプロンプト戦略をテストしました：
  1. ゼロショット: 例なしの基本的なプロンプト。
  2. フューショット: AD/非 AD 文のランダムな 5 例を提供。
  3. エラーベースのフューショット: ゼロショットモデルが誤分類した文から特に抽出された例を提供。
  4. 思考連鎖（CoT）: モデルに 3 つのステップで推論させる：(1) 事前決定か？(2) 審議的か（意見対事実）？(3) 結論。
  5. CoT + エラーベースのフューショット: 推論と困難な例を組み合わせる。
  6. マルチエージェント（多数決）: 3 つのエージェントが分類について投票。
  7. CoT + マルチエージェント: 明示的な予測者・批評家・審判役。
  8. CoT + エラーベースのフューショット + マルチエージェント: 完全な組み合わせ。
• 評価指標: 精度、再現率、F1、F2（再現率を重視）、およびマシューズ相関係数（MCC）。著者らは、機密情報の見落とし（偽陰性）のコストが過剰削除（偽陽性）よりも著しく高いと主張し、再現率とF2を主要指標として強調しています。

主要な結果

• ローカルモデルの性能: Qwen3.5-9B モデルは、単純なゼロショットベースラインでは性能が低く（再現率：0.458）、高度なプロンプトにより性能が大幅に向上しました。CoT + エラーベースのフューショット変種がローカルモデルで最良の結果を達成し、再現率 0.800、F2 スコア 0.731に達しました。この変種は、再現率と F2 の点で、先行研究の BERT、SVM、ロジスティック回帰のベースラインを上回りました。
• 商用モデルの性能: Gemini 2.5 Flash は、ゼロショットベースラインで最初から良好に性能を発揮しました（再現率：0.808）。興味深いことに、複雑なプロンプト技術（フューショット、CoT、マルチエージェント）を追加しても、その性能を一貫して向上させることはなく、場合によっては低下させました。これは、商用モデルがこのタスクに対してすでに強力なパラメトリック知識を有していることを示唆しています。
• 比較: 最良の性能を示したローカル変種（CoT + エラーベースのフューショット）は、すべての指標において最良の商用変種の性能にほぼ匹敵し、この特定のタスクにおいて小規模なローカルモデルが商用 API と競合し得ることを実証しました。
• 困難なバッチ分析: 最も困難なバッチ（K2）において、CoT + エラーベースのフューショット変種は、SVM ベースラインと比較して再現率をほぼ倍増させました（ローカルモデル：0.754 対 0.42、商用モデル：0.827 対 0.42）が、精度は安定して維持されました。
• マルチエージェントの知見: マルチエージェント設定は、一般的にローカルモデルの再現率を低下させました。エージェント間の不一致の分析により、「批評家」と「審判」エージェントが過度に保守的であり、正しい「審議的」予測を頻繁に「非審議的」に変更し、それによって再現率を損なっていたことが明らかになりました。

構文分析
著者らは、すべての変種が分類で合意した文を分析し、審議性の言語的マーカーを特定しました：

• 動詞: 審議的文（easy-1）は、非審議的文と比較して、格助動詞（would, could, should）や意見を表現する動詞（believe, propose, recommend, suggest）を有意に多く含んでいました。
• 人称: 審議的文は、一人称（I, we, my）で表現される頻度が高かったです。
• 組み合わせ: 審議的文の最も顕著な特徴は、複数の指標の共起、特に一人称の単語と意見を表現する動詞の組み合わせでした。非審議的文は、複数の固有の指標を含むことが稀でした。

意義と主張
本論文は以下の点を主張しています：

1. ローカル展開の実現可能性: 消費者向けハードウェアで展開可能な小規模なオープンウェイトモデル（Qwen3.5-9B）を用いて、高品質な機密性分類を達成することが可能であり、機密政府データに対するクラウド API の使用に伴う法的・政治的制約に対処できます。
2. プロンプト戦略の重要性: ローカルモデルの場合、単純なゼロショットプロンプトでは不十分です。商用モデルや従来のベースラインと同等の性能を達成するには、思考連鎖（CoT）推論とエラーベースのフューショット例の組み合わせが必要です。
3. 再現率の優先: FOIA 削除の文脈では、すべての機密コンテンツを捕捉するための再現率の最適化が精度よりも重要であり、提案された手法はこの指標を成功裏に優先しています。
4. 言語的指標: 本研究は、審議過程特権が特定の構文的特徴（一人称＋意見動詞）と強く相関しており、適切なプロンプトによって導かれた LLM がこれを効果的に活用できることを実証しています。

著者らは、データセットが特定の記録管理者に限定されており、現実世界の削除ではより広範な文書コンテキストが必要となるが、この文書レベルのタスクでは十分に活用されなかったことを指摘し、謙虚な立場を維持しています。しかし、このアプローチは、トレーニング不要で、説明可能かつ主権的な、自動化された機密レビューの解決策を提供します。