技術的概要：UbuntuGuard

問題定義

現在の大規模言語モデル（LLM）の安全メカニズム、特に「ガーディアンモデル」は、主に高リソースで西洋中心の言語向けに最適化されている。これにより、低リソースのアフリカ言語において、進化する危害への脆弱性、言語間での失敗、文化的な不一致といった重大な安全ギャップが生じている。既存の安全ベンチマークは、多様な社会文化的文脈に一般化できない硬直的で事前に定義されたカテゴリに依存している。さらに、安全の定義は文化的相対性を持つものであり、医療、金融、宗教などの分野におけるローカルな規範、法的要件、倫理的期待と、普遍的な基準はしばしば矛盾する。アフリカの言語的多様性と社会文化的文脈を反映したベンチマークが critically に不足しており、これらの地域は安全でない AI の展開に対して脆弱なままとなっている。

手法

著者らは、文化的・言語的に多様なアフリカの環境におけるガーディアンモデルを評価するために設計された、ポリシーベースの安全ベンチマーク「UbuntuGuard」を導入する。ベンチマークの構築は、2 段階のパイプラインに従う：

1. データ構築

• 専門家によるシード作成: プロセスは、ガーナ、ケニア、マラウイ、ナイジェリア、南アフリカ、ウガンダの 155 人の専門家（医師、弁護士、宗教指導者、人権擁護者を含む）によって作成された 8,091 の敵対的クエリから始まる。これらのクエリは、健康、教育、政治などのセンシティブな分野にまたがる。
• 文脈認識型ポリシー生成: 各クエリに対して、構造化された文脈（分野、トピック、テーマ、センシティブな特性、国）が定義される。GPT-5 は、特定の文化的設定において LLM がどのように応答すべきかを記述する 5〜8 の行動ルール（ポリシー）を生成するよう指示される。
• 対話生成: NVIDIA-NeMo Curator プラットフォームを使用して、2 つの LLM（Llama-3.1-405B および Qwen3-235B）が、ポリシーに基づいてマルチターンユーザー - エージェント対話（3〜5 ターン）を生成する。各クエリは 2 つの変種を生成する：
  • PASS: エージェントがすべてのポリシールールに準拠する。
  • FAIL: エージェントが 1 つ以上のルールに違反する（微妙に、あるいは明白に）。
• 多言語翻訳: ポリシーと対話は、Google 翻訳を使用して 10 のターゲットアフリカ言語（アカン語、エウェ語、ハウサ語、イボ語、ルガンダ語、ニャンジャ語、スワヒリ語、トンブカ語、コサ語、ヨルバ語、ズールー語）に翻訳される。

2. 品質管理とフィルタリング

• 自動評価: 翻訳品質は、BLEU や chrF よりも人間の意味的正確性とより強く相関することが示されている指標であるGEMBA-MQMを使用して評価される。
• 人間による検証: 英語と 1 つのターゲット言語に堪能なネイティブ話者の検証者が、翻訳のサブセットをレビューし、フィルタリング閾値を較正した。彼らは意味的忠実度（元の意味の保持）と文化的根拠（ターゲット文脈における適切性）を評価した。
• 閾値設定: データを保持するための閾値として、70% の翻訳品質スコアが設定された。この閾値を下回るペアは破棄された。トンブカ語は平均スコアが低かったため、完全に除外された。
• 最終データセット: 編集されたデータセットは、10 の言語にまたがる 2,307 のテストインスタンスで構成され、5 つのテーマ（誤情報、公共の利益、ステレオタイプ、ヘイトスピーチ、専門家の助言）と 8 つの分野をカバーしている。

実験設定

このベンチマークは、3 つの異なるシナリオ下で 15 のモデルを評価する：

1. 英語ベースライン（EN–EN）: ポリシーと対話の両方が英語である。
2. 完全なローカライゼーション（LRL–LRL）: ポリシーと対話の両方が低リソースのアフリカ言語である。
3. 言語間（LRL–EN）: 対話は低リソースのアフリカ言語であるが、ポリシーは英語のまま。

評価対象のモデルには以下が含まれる：

• ガーディアンモデル: 静的（例：NeMoGuard、LlamaGuard-3）、動的（例：DynaGuard、gpt-oss-safeguard）、多言語（例：PolyGuard、CultureGuard）に分類される 8 つの最先端モデル。
• 汎用 LLM: ネイティブの安全アライメントのベースラインを確立するために、8B から 671B のパラメータを持つ 7 つのオープンソースモデル（Qwen、Llama、DeepSeek など）。
• 指標: 性能はF1 スコアを使用して測定される。

主要な結果

• 英語中心の過大評価: すべてのモデルが、英語ベースラインのシナリオで最も高い F1 スコアを達成した。例えば、Qwen-3.1（8B）や gpt-oss-safeguard（20B）などの汎用モデルは 97% 以上を獲得したが、静的モデルは 36% から 50% の間でスコアを記録した。
• 深刻なローカライゼーションの低下: 完全なローカライゼーションのシナリオでは、ほぼすべてのモデルで性能が急激に低下した。静的モデルが最も大きな打撃を受け、NeMoGuard-8B は F1 36.94 から 1.41 に低下した。DeepSeek（671B）のような大規模な汎用モデルも顕著な低下を経験したが、それでも最も高い全体的な堅牢性（F1 80.59）を維持した。
• 言語間の限界: 言語間転送（英語のポリシー、アフリカの対話）は部分的なカバレッジを提供したが、堅牢性を保証するには不十分であった。高容量モデルは静的な変種よりも優れた言語間堅牢性を示したが、ベースモデルの事前学習における表現が少ない言語（エウェ語、ニャンジャ語など）では誤分類率が依然として高かった。
• 「多言語安全バッファ」: 大規模モデルは一般的に、ローカライズされた環境において小規模モデルよりも優れた性能を発揮し、大規模な事前学習が安全ギャップに対する「バッファ」を提供することを示唆している。しかし、このバッファは不均一であり、ローカライズされた専門家によるデータを完全に代替するものではない。
• 専門化のパラドックス: 高容量の汎用モデルは、専門的な動的ガーディアンよりも一貫して優れた性能を示した。特に、120B スケールでは、安全チューニングされた変種はベースモデルよりも性能が悪く、集中的な安全アライメントがモデルを英語中心のパターンに過剰適合させ、アフリカの文脈における柔軟性を失わせる「分類学的狭小化」につながる可能性を示唆している。
• 分野感受性: 誤り率は、より普遍的な基準を持つ分野（健康、教育）と比較して、文化的に位置づけられた判断を必要とする分野（政治、文化、宗教）で最も高かった。

意義と主張

本論文は、UbuntuGuardが、安全評価におけるこれらの言語の重要な過小評価に対処するために、アフリカ言語向けに特別に設計された最初のポリシーベースの安全ベンチマークであると主張する。その意義は以下の点にある：

1. 「安全ギャップ」の露呈: 英語中心のベンチマークが現実世界の多言語安全を過大評価しており、低リソースの文脈には適用されないモデル性能の欺瞞的な天井を暴露していることを示す。
2. 文化的根拠の必要性の検証: 結果は、硬直的で事前に定義された安全カテゴリが一般化できないことを浮き彫りにしている。堅牢な安全には、ローカルな規範や文化的期待を反映した、柔軟で実行時強制可能なポリシーが必要である。
3. 将来の開発への指針: 発見は、モデルの規模がいくつかの緩和を提供するが、ローカライズされた専門家による安全データの必要性を代替することはできないことを示唆している。このベンチマークは、低リソース言語向けに信頼性が高く公平なガーディアンモデルを開発するための基盤を提供し、アフリカの文脈の安全データを用いた LLM の微調整に関するさらなる研究を促進する。

著者らは、合成増強への依存や、専門家ネイティブ話者の不足により一部の言語で単一の人間検証者を使用せざるを得なかったなどの限界を認めつつ、控えめな立場を維持している。彼らは UbuntuGuard を、堅牢なアフリカ言語安全ベンチマークへの「第一歩」および概念実証として位置づけている。