IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia

以下は、提示された論文「IndicSafe: A Benchmark for Evaluating Multilingual LLM Safety in South Asia（南アジアにおける多言語 LLM の安全性評価のためのベンチマーク）」の技術的サマリーです。

1. 研究の背景と課題 (Problem)

大規模言語モデル（LLM）は多言語環境での展開が進んでいますが、その安全性行動は、文化的に多様でリソースが不足している言語（特に南アジアの言語）において十分に理解されていません。

• 既存研究の限界: 従来の安全性評価は英語や高リソースな西洋言語に偏っており、カースト、宗教、ジェンダー、政治など、南アジア特有の社会的・文化的文脈を反映した評価が欠如しています。
• 翻訳による安全性の揺らぎ: 英語で「安全」と判断されるプロンプトが、特定のインド語圏言語に翻訳された際に「危険」と判断されたり、その逆が起きたりするなど、言語間での安全性判断に大きな不一致（Safety Drift）が生じていることが懸念されています。
• 対象言語: 12 のインド語圏言語（ヒンディー語、ベンガル語、タミル語など）は、合計 12 億人以上の話者がいますが、LLM の学習データや安全性ベンチマークにおいて過小評価されています。

2. 提案手法とデータセット (Methodology)

著者らは、インド語圏の文化的文脈に基づいた安全性評価ベンチマーク**「INDICSAFE」**を構築しました。

• データセットの構築:
  • 規模: 12 のインド語圏言語×500 プロンプト＝計 6,000 プロンプト。
  • 作成プロセス: 専門家チームが英語でプロンプトを作成し、ネイティブスピーカーが文化的忠実性を保ちながら翻訳・レビューを行いました（機械翻訳のみの使用を避けた）。
  • カテゴリ: 9 つのハームカテゴリを定義。
    1. ジェンダー・カースト差別
    2. 宗教的憎悪・挑発
    3. 政治的操作
    4. 健康情報の誤情報
    5. 誤情報・陰謀論
    6. 差別的・憎悪表現
    7. 有害な指示（違法行為の指南など）
    8. 無害な制御プロンプト（安全性リスクなし）
    9. 曖昧・トリッキーなプロンプト
• 評価対象モデル: GPT-4o Mini, Claude Sonnet v4, Grok-3, LLaMA シリーズ (3.1, 3.3, 4), Qwen, Mistral, Cohere などの 10 種類の主要 LLM。
• 評価プロトコル:
  • 各モデルに 6,000 プロンプト（計 6 万生成）をネイティブスクリプトで入力。
  • 評価者: GPT-4o を自動評価者（LLM-as-a-Judge）として使用し、出力を「SAFE（安全）」「UNSAFE（危険）」「REFUSAL（拒否）」「AMBIGUOUS（曖昧）」に分類。
  • 検証: 人間のバイリンガルアノテーターによるサンプリング検証（コホーンのカッパ係数 0.64）を行い、自動評価の信頼性を担保。

3. 主要な評価指標 (Metrics)

安全性の「ドリフト（揺らぎ）」とバイアスを定量化するための新しい指標群を導入しました。

• クロスランゲージ合意率 (Cross-Language Agreement Rate): 同一プロンプトの異なる言語版に対するモデルのラベル一致率。
• カテゴリバイアススコア: 特定のハームカテゴリにおける過剰な拒否（Over-refusal）または過少評価を測定。
• プロンプトレベルのエントロピー: 言語間やモデル間でのラベルの不安定性（曖昧さ）を数値化。
• 言語一貫性指数 (Language Consistency Index): 同一モデル内での言語間での安全性判断の一貫性を平均エントロピーで測定。

4. 主要な結果 (Results)

10 種類のモデルと 12 の言語を対象とした大規模分析により、以下のような深刻な不一致が明らかになりました。

• 安全性判断の大きな不一致:
  • クロスランゲージ合意率はわずか 12.8%: 同一プロンプトの翻訳版に対して、モデルが異なる言語で全く異なる安全性判断を下すケースが大半を占めます。
  • SAFE 率のばらつき: 言語間で SAFE ラベルの割合の標準偏差が 17% を超え、高リソース言語（ヒンディー語など）では安全性が高く、低リソース言語（オディア語、パンジャビ語など）では「曖昧（AMBIGUOUS）」や「拒否（REFUSAL）」が増加する傾向が見られました。
• モデルごとの戦略の違い:
  • 過剰な拒否 (Over-refusal): Claude や Grok-3 は安全志向が強く、無害なプロンプトに対しても拒否率が高い（例：ミストラルのパンジャビ語版では無害プロンプトの 61.6% が拒否）。
  • 安全性の欠如: Qwen や Mistral は表現力が高い反面、有害な出力を生成する割合が高く（UNSAFE 率が 45〜49%）、特に低リソース言語で危険な回答を生成する傾向がありました。
• カテゴリバイアス:
  • 政治や宗教に関するプロンプトでは、モデルが過度に慎重になり、拒否または「危険」と判断する傾向が強まりました。
  • 健康情報やカーストに関するプロンプトでも、言語によって判断が分かれる「ドリフト」が確認されました。
• 曖昧さ (Ambiguity):
  • オディア語、カンナダ語、パンジャビ語などでは「曖昧（AMBIGUOUS）」ラベルが異常に多く、モデルが文化的文脈を理解できず判断に迷っていることが示唆されました。

5. 貢献と意義 (Contributions & Significance)

• 初の文化的基盤ベンチマーク: インド語圏の 12 言語を対象とした、人間が翻訳・検証した初の安全性ベンチマーク「INDICSAFE」を公開しました。
• 安全性の一般化ギャップの可視化: LLM の安全性アライメントが言語間で均一に転移しないこと、特に低リソース言語や文化的に敏感なトピックにおいて「安全性のドリフト」が深刻であることを実証しました。
• 新たな評価指標の提案: 言語間の不一致やバイアスを定量化する指標（エントロピー、一貫性指数など）を提案し、今後の多言語 LLM 評価の基準を提供しました。
• 実社会への示唆: 南アジアなど多言語社会での LLM 展開において、単なる翻訳ではなく、地域固有の危害（ハーム）に根ざしたアライメント戦略の必要性を強く訴求しています。

結論

この研究は、現在の LLM が多言語環境、特に南アジアの文化的文脈において、安全性判断において重大な不安定さとバイアスを持っていることを示しています。単なる言語能力の向上だけでなく、文化的に適切で言語を考慮した安全性チューニングと評価が、公平で信頼できる AI 展開のために不可欠であると結論付けています。