技術的概要：SELFCI – LLM における文脈的整合性のための相補的自己蒸留

問題定義

大規模言語モデル（LLM）が機密性の高いワークフローを管理する個人エージェントとしてますます展開されるにつれ、プライバシーの課題は単なるデータ隠蔽から**文脈的整合性（Contextual Integrity: CI）**へと移行しています。CI は、プライバシーを情報の絶対的な秘密性ではなく、文脈固有の規範に従った情報フローのガバナンスとして定義します。この領域には重要な非対称性が存在します：アシスタントはタスク完了に必要な情報を保持（retain）しつつ、同時にタスクに関連しないまたは文脈的に不適切な情報を抑制（suppress）しなければなりません。

既存のアライメント手法はこの共同要件を満たすのに苦労しています：

• CI 準拠の軌道に対する**教師あり微調整（SFT）**は、スケーリングにコストがかかり、生成物が訓練分布から逸脱した際に暴露バイアスに陥ります。
• オンライン強化学習（RL）（例：GRPO）は、タスクの成功と開示遵守を混同するスパースなスカラー報酬に依存しています。この粗いフィードバックは、適切性が特定の伝達規範に依存する属性ごとの決定を裁定できず、しばしばプライバシーの向上がタスクの有用性を低下させるトレードオフにつながります。

核心的な問題は、これら「保持」と「抑制」の圧力を、単一の曖昧な目的に縮約したり、高価な外部監督に依存したりすることなく、解きほぐすメカニズムの欠如にあります。

手法：SELFCI

著者は、ネイティブなタスク解決能力を犠牲にすることなく LLM を CI 原則にアライメントさせるために設計された相補的自己蒸留フレームワークSELFCIを提案します。このアプローチは文脈依存不変性の概念に基づいています：モデルの予測分布は、許可されていない情報（$D_T$）の注入に対して不変でありながら、許可された情報（$A_T$）に対しては感応でなければなりません。

1. フィードバック生成

真の根拠や外部の最先端モデルに依存するのではなく、SELFCI はモデル自体を用いてオンポリシーフィードバックを生成します。

• モデルは、CI 伝達原則（機密性、比例性、同意）に基づき、特定の属性がなぜ開示されるべきか、あるいは開示されるべきでないかを説明する根拠を生成するよう、特定の指示テンプレート（$I_{allow}$ および $I_{disallow}$）でプロンプトされます。
• これらの自己生成された根拠は特権的コンテキストとして機能し、モデル自身のパラメータに基づいた、密なトークンレベルのガイダンスを提供します。

2. 相補的テラーの構築

SELFCI は、集約されたフィードバックを条件として、同じモデルパラメータから 2 つの異なるテラー方策をインスタンス化します：

• $\pi_{allow}$（有用性指向）： タスクの完全性に偏ったテラーで、方策に必要な情報を回復するよう導きます。
• $\pi_{disallow}$（プライバシー指向）： 最小限の開示に偏ったテラーで、制限された情報への依存を罰します。

3. 積の専門家（PoE）による共同最適化

学生方策は、これらのテラーに対して 2 つの独立した逆 KL 発散を同時に最小化することで訓練されます：
$$\mathcal{L} = \lambda D_{KL}(\pi_\theta \parallel \pi_{allow}) + (1-\lambda) D_{KL}(\pi_\theta \parallel \pi_{disallow})$$
数学的に、固定されたテラー分布の下では、この目的関数は**積の専門家（Product-of-Experts: PoE）**目標分布との一致に相当します：
$$\pi^* \propto \pi_{allow}^\lambda \cdot \pi_{disallow}^{1-\lambda}$$
この乗法的定式化は、2 つのテラーのサポートの交差部分に確率質量を集中させます。その結果、方策は、これらを競合する目的として扱うのではなく、タスクの完全性と最小限の開示を同時に満たすことを学びます。このフレームワークは、非対称な保持/抑制構造を明示的にモデル化することで、単一的な解決策の落とし穴を回避します。

主要な貢献

1. プライバシーと有用性の分離： SELFCI は、タスク有用性とプライバシー制約の最適化を相補的なテラー分布に分離するフレームワークを導入し、スカラー報酬 RL や単一的 SFT の構造的制約を回避します。
2. 外部監督なしの自己蒸留： この手法は、ターゲットモデルから自身の特権的コンテキスト（根拠）とテラーを生成するため、高価な外部テラーや手作業で作成された根拠の必要性を排除します。
3. 理論的定式化： 著者は、相補的自己蒸留目的関数が、理想の CI 状態（許可されていない情報に対する不変性）に対する上界代理となることを示し、アライメントへの数学的に根拠のある道筋を提供します。
4. 積の専門家アライメント： 2 つの専門化されたテラーの交差部分への最適化により、この手法はタスク完全かつプライバシーを保護する方策を実現し、既存のベースラインでしばしば失われるバランスを達成します。

実験結果

著者は、ドメイン内およびドメイン外のベンチマークにおいて、多様な指示微調整モデル（例：Qwen2.5、Llama-3.1）および推論バックボーン（例：DeepSeek-R1、Olmo-3）に対して SELFCI を評価しました。

• ドメイン内（CI-RL ベンチマーク）： SELFCI は、オンライン RL（CI-RL/GRPO）および外部テラー蒸留（ContextDistill）を含むベースラインを一貫して上回りました。Qwen2.5-7B-Instruct において、SELFCI は（有用性と整合性の両方を満たす）Completeスコアを 23.29% から53.42%に向上させ、Utilityを犠牲にすることなくIntegrity（83.56%）を大幅に向上させました。
• ドメイン外（PrivacyLens）： ツール使用を伴うエージェントワークフローにおいて、SELFCI は優れた汎化性能を示し、高い有用性スコアを維持しながら最低の漏洩率（LR および ALR）を達成しました。
• ロバストネス（CIMemories）： 属性があるタスクでは適切であっても別のタスクでは適切でない場合がある、蓄積されたプライベートコンテキスト下において、SELFCI は違反率を 5% 未満に維持しましたが、ベースラインは累積的なプライバシー違反を示しました。
• 効率性： SELFCI はオンライン RL よりもサンプル効率が高く、より少ないエポックで高パフォーマンスに達し、ステップあたりの GPU 時間を大幅に削減しました（GRPO の 16 回に対して 1 回のロールアウト）。

意義と主張

この論文は、SELFCI が個人エージェントのための文脈的整合性アライメントへの実用的な道筋を提供すると主張しています。その意義は、以下の点にあります：

• 文脈的プライバシーはネイティブな有用性の代償である必要はないこと；両者は相補的自己蒸留を通じて共同最適化可能であること。
• CI の「保持/抑制」の非対称性は、粗いスカラー報酬に依存するのではなく、目的を専門化されたテラー分布に分解することで効果的にモデル化できること。
• 自己生成フィードバックは、密な監督のための堅牢なオンポリシー信号として機能し、専有の最先端モデルへの依存なしにプライバシーアライメントをスケーラブルにできること。

著者は、フィードバック生成における構造化された合成データへの依存、文脈内学習能力が弱い小規模モデルにおける潜在的な課題、およびテラーのバランスを取るための静的係数 $\lambda$ の使用といった限界を指摘しています。しかし、結果は、SELFCI が複雑で文脈依存のプライバシー規範と LLM をアライメントさせるためのスケーラブルかつ効果的なアプローチを提供することを示唆しています。