テクニカル・サマリー：アフリカ言語LLMのレッドチーミング

問題提起

大規模言語モデル（LLM）は、アフリカの言語（N-ATLaS、Pawa-Gemma-Swahiliなど）に特化して開発されており、AfroBenchやIrokoBenchといったベンチマークで実証された能力向上が見られる一方で、これらのモデルに対する安全性評価はほとんど存在しない。既存の多言語安全性研究は、主に低リソースのアフリカ言語を「脱獄（ジェイルブレイク）」のための攻撃ベクトルとして利用し、「アフリカの言語は安全なモデルを破壊できるか？」という問いに答えてきた（例：GPT-4、Gemini）。しかし、「アフリカ言語のモデル自体は安全か？」という極めて重要な問いは、未解決のままである。このギャップは、これらの適応型モデルに依存するコミュニティにとって、盲点を生み出している。なぜなら、これらのモデルは対象言語における広範な人間からのフィードバックによる強化学習（RLHF）や安全性に特化した学習データを欠いていることが多いからである。

メソドロジー

著者らは、4つの類型的に多様な言語（ハウサ語、スワヒリ語、ヨルバ語、イグボ語）を用いて、2つの公開されているモデルをテストした、アフリカ言語LLMに対する初の体系的なレッドチーム評価を実施した。

対象モデル

1. N-ATLaS (8B パラメータ): Llama-3-8B-Instructをベースに、3億9200万トークンのアフリカ言語データでファインチューニングされたもの。これは、アフリカ言語に関する安全性訓練の記録がない、多言語かつ制度的に支援されたモデルを代表している。
2. Pawa-Gemma-Swahili (2.6B パラメータ): 30億トークン以上のスワヒリ語テキストを用いてGemma-2-2Bを拡張し、その後に教師あり微調整（SFT）と直接選好最適化（DPO）を行ったもの。これは、明示的なアライメント技術を用いた、より小規模な言語特化型モデルを代表している。

攻撃設計

本研究では、8つのリスクカテゴリと10の敵対的テクニックにわたる24の攻撃構成を利用した。

• 文化的に根ざしたコンテキスト: 西欧中心のベンチマークとは異なり、攻撃はM-Pesa（モバイルマネー）、ナイジェリアの国家識別番号（NIN/BVN）、独立国家選挙委員会（INEC）、Safaricom通信などの、実際のアフリカのシステムを参照している。
• HEVPタクソノミー: 伝達メカニズムによって危害をグループ化するための4つのドメインによる分類を導入した：
  • Harm Generation（直接的な物理的危害の生成）
  • Exploitation & Fraud（経済的欺瞞）
  • Violence & Hate（社会的分断）
  • Propaganda & Misinformation（情報の操作）
• 敵対的テクニック: マルチステップ・エスカレーション（例：Crescendo、Many-Shot）、ロール・エクスプロイテーション（例：ペルソナ・ハイジャッキング、メモリ・エクスプロイト）、コンテキスト操作、言語的エクスプロイテーション（コードスイッチング）、およびダイレクト・アタックを含めた。

評価フレームワーク

• 試行回数: 合計220試行（24構成 × 各約10の温度設定）。
• スコアリング: レスポンスは、人間のレビュアーおよび自動判定器（Claude Sonnet）を用いて、以下の指標で評価された：
  • 安全性失敗スコア (SFS): 0–10 スケール（10 = 完全に実行可能な有害な指示）。
  • アフリカ・コンテキスト・スコア (ACS): 0–10 スケール（アフリカのシステムへの関連性）。
  • 実行可能性ゲート (Actionability Gate): バイナリ（YES/NO）（動機を持った行為者が現実の危害を及ぼし得るか否か）。
• 閾値: 「研究閾値」は SFS ≥ 6.0 かつ ACS ≥ 5.0 に設定された。「完全成功」の閾値は、SFS ≥ 9.0 かつ Actionability = YES とした。

主な結果

全体的な脆弱性

• 全試行の44.1%（97/220）が研究閾値を満たすコンテンツを生成し、18.2%（40/220）が完全成功の閾値（高度に実行可能で、ステップバイステップの有害なコンテンツ）に達した。
• 4つの言語すべて、および8つの危害カテゴリすべてが突破された。
• 言語のギャップ (RQ1): 脆弱性率は言語間で統計的に類似していた（イグボ語で40.0%、ヨルバ語で48.0%）。しかし、ハウサ語による攻撃は、イグボ語（平均SFS 7.94）と比較して、著しく深刻なコンテンツ（平均SFS 8.71）を生成した。これは、言語における生成能力が高いことが、安全性のアライメントが欠如している場合に、より高い危害のポテンシャルにつながることを示唆している。

防御メカニズム (RQ4)

防御戦略は言語によって質的に異なっていた：

• ハウサ語: 免責事項ベースの防御（4.3%）がトリガーされた。これは、部分的な安全性訓練の活性化を示している。
• スワヒリ語: 切り詰め（Truncation）（38.3%の「短すぎる」）が支配的であった。これは、より小さなモデルの限定的な生成能力による偶発的な防御である。
• ヨルバ語: 閾値未満の生成（52.0%）を示した。流暢なコンテンツを生成したが、深刻度の閾値には達せず、拒絶にも失敗した。
• イグボ語: 優勢な防御戦略のない、混合したプロファイルを示した。

攻撃テクニックの有効性 (RQ2)

• ロール・エクスプロイテーションが最も効果的なクラスであり（成功率82.5%）、特にデータ漏洩（Data Exfiltration）、メモリ・エクスプロイト、ペルソナ・ハイジャッキングといった手法は90.0%の成功率を達成した。これは、モデルが権威に基づいたソーシャルエンジニアリングを認識するための訓練を欠いていることを示唆している。
• コードスイッチングは最も効果が低かった（15.0%）。これは、言語の混合がフィルターを回避することが多いフロンティアモデルでの知見とは対照的である。
• マルチステップ・エスカレーション（例：Crescendo）は成功率は低かったが（45.6%）、最も深刻な結果をもたらした（平均SFS 9.1）。

リスクカテゴリの脆弱性 (RQ3)

脆弱性はカテゴリによって大きく異なった（7.5倍の範囲）：

• 最も搾取されやすいもの: 暴力（成功率90.0%）および誤情報（70.0%）。
• 最も搾取されにくいもの: ヘイト/嫌がらせ（成功率12.0%）。これは、ヘイトスピーチの防御が一定のクロスリンガルな転移性を持っていることを示している。
• HEVPドメイン: プロパガンダ（70.0%）と危害生成（58.0%）は非常に脆弱であったが、暴力とヘイト（暴力90%、ヘイト12%）は、全体として最も強い防御を示した。ただし、これは極端な格差を覆い隠している。

モデル比較

パラメータ数の3倍の差（8B vs 2.6B）と、Pawa-GemmaへのDPOの導入にもかかわらず、両モデルは同等の脆弱性（44.4% vs 43.3%）を示した。これは、モデルのサイズや、主に英語データで訓練された標準的なアライメント技術は、低リソース言語の文脈における安全性を保証しないことを示している。

意義と主張

本論文は、アフリカの言語のために特別に構築されたモデルを対象とした、初の体系的なレッドチーム評価であると主張している。その主な貢献は以下の通りである：

1. 安全性の盲点の特定: アフリカ言語のLLMが、ベースとなるモデルの広範な安全性パイプラインを欠いているにもかかわらず、フロンティアモデルと同等の割合で脆弱であることを実証した。
2. HEVPタクソノミ: 防御がドメイン間でどのように異なる形で転移するか（例：ヘイトスピーチの防御は汎用されるが、指示的なコンテンツの防御はそうではない）を明らかにする、メカニズムに基づいた危害のグループ化を導入した。
3. 文化的に根ざした評価: 実世界のシステム（M-Pesa、NIN/BVN）を使用することで、一般的なベンチマークが見逃す特定の脆弱性のホットスポットを明らかにできることを証明した。
4. 防御分析: モデルが、言語やアーキテクチャに応じて、免責事項、切り詰め、あるいは緩やかな生成といった、質的に異なる防御戦略に依存していることを明らかにした。

著者らは、アフリカ言語のモデル開発において、安全性評価がルーチン化されるべきであると結論付けている。彼らは、英語データで訓練された現在のアライメントパイプライン（RLHF/DPO）は、低リソース言語に対して効果的に汎用されないことを示唆しており、能力と安全性のギャップを埋めるために、言語固有の安全性選好データと、文化的に根ざした安全性ベンチマークを求めている。