技術的概要：言語を超えた知識：多言語機械忘却評価におけるギャップの橋渡し

1. 問題定義

多言語コーパスで訓練された大規模言語モデル（LLM）はプライバシーリスクをもたらすため、複数の言語にわたって機密情報を削除する多言語機械忘却（MMU）が必要とされる。既存の機械忘却（MU）研究は英語中心のデータセットに焦点を当ててきたが、最近の研究は、ある言語で獲得された知識が他の言語に持続または拡散する言語間拡散によって、多言語環境における忘却が複雑化していることを指摘している。

現在の MMU 評価プロトコルは不十分である。その理由は以下の通りである：

1. 言語を個別に評価する：ある言語ごとの忘却パフォーマンスを評価する（例：英語で「Veronica Bowman」が忘れられたかを確認する）が、同じ知識が他の言語（例：アルバニア語やアフリカーンス語）でアクセス可能かどうかを検証していない。
2. 分布を捉えきれていない：MMU における知識は言語間に分散しており、直接の記憶（特定の言語ペアでの訓練による）と間接的な言語間拡散の両方を通じて獲得されるという事実を考慮していない。
3. 効果を過大評価する：評価対象の言語では情報が正常に忘却されたように見えても、基盤となる情報が異なる言語で依然として取り出せる場合があり、プライバシーの安全性に関する誤った結論を招く。

2. 手法

データセット構築

標準化された評価データの欠如に対処するため、著者は大規模な多言語並列データセットを構築した：

• 規模：10 言語にわたる 3,800 件の合成 QA ペア（19 属性 × 200 プロファイル）。
• 言語：5 つの高リソース言語（英語、中国語、ドイツ語、ロシア語、スペイン語）と 5 つの低リソース言語（ベンガル語、ヘブライ語、タミル語、アフリカーンス語、アルバニア語）を含む。
• 生成パイプライン：合成プロファイルは Faker で生成され、LLM を用いて英語の QA ペアに変換された後、他の 9 言語に翻訳された。逆翻訳検証プロセス（Google 翻訳と LLM を使用）により、すべての言語間で意味的同等性が確保された。
• 実験設定：データセットは、記憶と忘却に使用される訓練言語と、言語間拡散をシミュレートするために評価のみに使用されるホールドアウト言語に分割された。

提案メトリクス

本論文は、忘却の多言語性を評価するために設計された 2 つの新しいメトリクスを導入する：

1. 知識分離スコア（KSS）：

   • 目的：すべての言語にわたるターゲット知識（忘却すべきもの）とノンターゲット知識（保持すべきもの）を区別することにより、忘却の全体的な品質を測定する。
   • メカニズム：確率ベースおよび生成ベース（意味的同等性）の両方の手法を用いて、各知識インスタンスに対する「忘却スコア（$S_i$）」を言語間で集約する。
   • 構成要素：
     • KSS-ROC：受動作動特性曲線（ROC）下の面積。忘却セットと保持セット間の一般的な分離性を測定する。
     • KSS-PR：適合率 - 再現率曲線（PR）下の面積。忘却セットが通常、保持セットよりもはるかに小さいというクラス不均衡に特に対処する。

2. 知識持続スコア（KPS）：

   • 目的：「ベース言語」で正常に忘却されたターゲット知識が、他の言語でどの程度持続（取り出し可能）しているかを定量化する。
   • メカニズム：ベース言語 $l_1$ と比較言語 $L_2$ に対して、モデルが $l_1$ では知識を忘却（意味的同等性 = 0）したが、$l_2$ では保持（意味的同等性 = 1）しているサンプルの割合を計算する。
   • 解釈：KPS が低いほど、忘却パフォーマンスが良いことを示す（言語間持続が少ない）。

実験構成

著者は、Llama3.1-8B-Instructモデルに対して、各種最適化ベースの忘却手法（Gradient Ascent、GAGDR、GAKLR、NPO）とプルーニングベースの手法を評価した。実験は異なる忘却セット比率（1%、3%、5%）の下で行われ、訓練言語セットとホールドアウト言語セットについて個別に分析された。

3. 主要な結果

ホールドアウト言語における忘却の難しさ

• パフォーマンスの格差：ホールドアウト言語（ケース 1）における忘却は、訓練言語（ケース 2）と比較して著しく困難である。
• 証拠：KSS-ROC スコアはホールドアウト言語で一貫して低かった（例：最良の手法でも訓練言語では 0.99 に対し、ホールドアウト言語では最大 0.76）。これは、知識が直接訓練ではなく言語間拡散を通じて獲得された場合、ターゲット知識とノンターゲット知識を区別することがより困難であることを示している。

忘却比率の影響

• 劣化：忘却比率が増加する（1% から 5% へ）につれて、忘却パフォーマンスは低下する。ターゲット知識とノンターゲット知識の境界が不明瞭になり、モデルが何を忘却すべきかを区別することが困難になる。
• 持続：KPS スコアは高い忘却比率で著しく増加し、より大きな忘却セットがより深刻な言語間持続をもたらすことを示している。

手法固有の知見

• 最適化対プルーニング：プルーニングベースの手法は高い KSS-ROC スコア（良好なグローバル分離性）を達成したが、不釣り合いに低いKSS-PRスコアを示した。忘却スコア（$S_i$）の可視化により、プルーニングは相当量のノンターゲット知識に高い忘却スコアを割り当てており、最適化ベースの手法が回避した分布の重なりが生じていることが明らかになった。
• 言語間での持続：訓練言語での成功した忘却にもかかわらず、ターゲット知識はホールドアウト言語で持続した（すべての手法で KPS > 0）。これは、言語間情報漏洩のリスクを確認するものである。

4. 主要な貢献

1. 包括的な MMU シナリオ：MMU における知識を、直接の記憶と言語間拡散の両方を通じて獲得された、複数の言語で表現されるインスタンスとして定義した。
2. 大規模データセット：厳密な品質管理を伴う 10 言語にわたる 3,800 インスタンスの多言語並列 QA データセットを構築した。
3. 新規評価メトリクス：忘却の品質を包括的に評価するKSSと、言語間の一貫性を測定するKPSを提案した。
4. 実証的知見：既存の言語ごとの評価プロトコルが不十分であることを示し、訓練言語とホールドアウト言語の間で忘却パフォーマンスが著しく異なることを実証した。

5. 意義と限界

意義：
本論文は、信頼性の高い MMU 評価には、すべての言語で一貫して情報の非アクセス性を検証するメトリクスが必要であると主張する。提案された KSS と KPS メトリクスは、MMU 評価のための新しいパラダイムを提供し、ホールドアウト言語における忘却の難しさや、多言語環境におけるプルーニングベースの手法の特定の失敗モードといった、固有の現象を明らかにする。

限界：

• 言語の多様性：ホールドアウト言語はインド・ヨーロッパ語族（アフリカーンス語とスペイン語）に限定されており、異なる言語構造にわたる知見の一般化が制限されている。
• モデル規模：計算リソースの制約により、実験は 80 億パラメータモデルに限定された。より大規模なモデルは異なる忘却ダイナミクスを示す可能性がある。
• メトリクスの範囲：KSS と KPS は知識単位の測定に対応しているが、著者は代替的またはより多様な評価手法の可能性を認めている。

著者は、将来の MMU 研究は多言語特性を明示的に考慮し、言語を孤立した実体として扱うのではなく、言語間での知識忘却を目指す必要があると結論付けている。