技術要約：ProToken – 連合学習を用いた大規模言語モデルにおけるトークンレベルの属性特定

1. 問題提起

連合学習（Federated Learning, FL）は、生のデータを中央に集約することなく、分散されたプライベートなデータソース間で大規模言語モデル（LLM）の共同学習を可能にします。これはプライバシーを保護する一方で、「ブラックボックス」化というシナリオを生み出します。すなわち、グローバルな連合LLMが特定の応答を生成した際、どのクライアントがその出力に寄与したのかが不明確になるのです。この属性特定（アトリビューション）の欠如は、以下のような重要なシステムアプリケーションを阻害します：

• デバッグ： どのクライアントが問題のある挙動やポイズニングされたデータを導入したかを特定する。
• 信頼性の検証： グローバルモデルが意図した貢献を反映していることを検証する。
• 公平な報酬分配： 実際の貢献度に基づいてインセンティブを割り当てる。
• 悪意のあるクライアントの特定： バックドアや敵対的なパターンを注入する参加者を検出する。

既存の解釈可能性技術（勾配積分や摂動分析など）は、生の訓練データや単一モデルのアーキテクチャへのアクセスを前提としているため、連合学習には適用できません。さらに、標準的なFLデバッグ手法は離散的な出力を持つ分類タスク向けに設計されており、LLM生成の可変長かつ自己回帰的な性質に対処できていません。核心となる課題は、生成されたトークンが特定のクライアントの連合学習データに由来するものなのか、それともモデルの既存の事前学習済み知識に由来するものなのかを区別することです。

2. 手法：ProToken

ProTokenは、FLのプライバシー制約（すなわち、生のデータではなく、モデルの更新、活性化、および勾配のみを使用すること）を厳格に遵守しながら、連合LLMにおけるトークンレベルの生成を特定のクライアントに帰属させるために設計されたプロベナンス（由来）特定手法です。

コアとなる洞察

ProTokenは、属性特定を扱いやすく正確にするために、3つの主要な構造的洞察を活用しています：

1. 線形集約： FLの集約戦略（FedAvg、FedProxなど）は、パラメータレベルにおいて線形です。これにより、グローバルモデルの順伝播計算を、クライアントごとのレイヤー単位の計算の加重和として数学的に分解することが可能になります。
2. レイヤーの専門化： トランスフォーマー・アーキテクチャは、タスク固有の信号を後半のブロック（具体的には自己注意機構の出力投影および最終的なフィードフォワード層）に集中させます。初期レイヤーは一般的な言語的特徴を捉えますが、後半のレイヤーは最終的な出力に影響を与える特定の知識をエンコードします。
3. 勾配ベースの関連性： すべてのニューロンが特定のトークンの生成に関連しているわけではありません。勾配ベースの重み付けにより、無関係なニューロンの活性化をフィルタリングし、トークンの予測に直接影響を与えるニューロンのみに属性特定を集中させます。

技術的ワークフロー

属性特定プロセスは、応答の自己回帰的な生成中に動作します：

1. レイヤー選択： すべてのパラメータを追跡することは計算量的に困難であるため、ProTokenは戦略的なサブセットのレイヤー、すなわち自己注意機構の出力投影層と、最後の $N$ 個のトランスフォーマー・ブロック内にあるMLPの最終層に分析を限定します。
2. トークンごとの属性特定： 各生成トークン $x_j$ に対して、システムは各クライアント $i$ のプロベナンス・スコアを計算します。
   • グローバルモデルは、入力を処理して、選択されたレイヤーに対する隠れ状態 ($h^\ell_G$) と勾配 ($g^\ell_{x_j}$) を生成します。
   • 各クライアント $i$ について、システムは、グローバルの順伝播からの入力を維持したまま、クライアント固有の重みが使用された場合にレイヤー出力がどのようになるか（$h^\ell_i$）をシミュレートします。
   • クライアントの貢献スコアは、クライアントの仮説的な活性化とグローバルの勾配との内積として計算されます：
     $$P^\ell_{i, x_j} = \langle h^\ell_i, g^\ell_{x_j} \rangle$$
   • このスコアは選択されたレイヤー間で合計され、生成されたシーケンス全体に累積されることで、最終的なシーケンスレベルの属性スコアが生成されます。
3. 正規化： スコアはソフトマックス関数によって正規化され、最も可能性の高いソースを特定するクライアント間の確率分布を生成します。

3. 評価フレームメント

LLMのプロベナンスにおけるグラウンドトゥルース（事前学習済み知識と連合による貢献の区別）の欠如に対処するため、著者らはバックドア注入を用いた検証可能な評価フレームメントを構築しました：

• グラウンドトゥルースの生成： 特定のトリガー・レスポンスのペア（例：特定のトリガーフレーズから固定された「センチネル（番兵）」拒絶レスポンスへ導くもの）を、指定された「悪意のある」クライアントのローカル訓練データに注入しました。
• 評価指標： 属性特定精度は、センチネル・レスポンスが生成された際に、トリガーを含むクライアントを正しく特定できる能力によって測定されます。これにより、モデルの挙動が特定のクライアントの貢献に由来するという明確なグラウンドトゥルースが得られます。

4. 実験結果

著者らは、4つのLLMアーキテクチャ（Gemma, SmolLM, Llama, Qwen）と4つのドメイン（医療、金融、数学、コーディング）を含む16の構成設定でProTokenを評価しました。

• 属性特定精度： ProTokenは、すべての構成において平均 98.62% の属性特定精度を達成しました。貢献しているクライアントと貢献していないクライアントの間に明確なバイナリ分離を示し、高い信頼度で責任のあるクライアントを特定することに成功しました。
• スケーラビリティ： クライアント数を6から55へと増加させた（9.2倍の増加）スケーラビリティ・テストにおいて、ProTokenは高い精度（>92%）を維持し、大規模な連合デプロイメントにおける堅牢性を実証しました。
• 勾配重み付けの影響： アブレーション研究により、勾配ベースの関連性重み付けが極めて重要であることが示されました。勾配重み付けを無効にすると、平均精度が 66.34% から 35.71% に低下し、無関係なニューロンをフィルタリングすることが信頼できる属性特定に不可欠であることが確認されました。
• 計算の実行可能性： トランスフォーマー・ブロックの最後のサブセットのみを監視することにより、ProTokenはすべてのパラメータを追跡する場合と比較して計算オーバーヘッドを大幅に削減しました。100トークンのレスポンスに対して、手法は効率的であり続け（レイヤーの深さに応じて約1.1秒〜1.8秒）、リアルタイムの属性特定を可能にしました。

5. 重要性と主張

本論文は、ProTokenを連合LLMに特化した最初のトークンレベルのプロベナンス属性特定手法であると主張しています。その重要性は以下の点にあります：

• 属性特定のギャップの解決： データが中央に集約されない連合生成モデルにおける、出力の追跡という根本的な課題に対処しています。
• プライバシーの保護： モデルの更新と勾配のみで動作するため、FLのプライバシー保証を維持します。
• 実用的な生存能力： 手法は計算量的に実行可能であり、多様なアーキテクチャとドメインで検証されています。
• 信頼の構築： デバッグ、悪意のある参加者の特定、および公平な報酬分配のための必要なツールを提供し、解釈可能で説明責任のある連合LLMシステムの基礎を築きます。

著者らは、評価のためにバックドア注入が使用されたものの、手法自体は一般的な属性特定のために設計されており、攻撃や防御戦略ではないことを強調しています。これらの結果は、信頼できる連合LLMデプロイメントに向けた基礎的なステップとして、ProTokenの有効性を裏付けています。