ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts

この論文は、英語中心の安全性評価の限界を克服し、タイの文化的文脈に特化した攻撃を含む1,954の悪意あるプロンプトで構成されるオープンソースベンチマーク「ThaiSafetyBench」を提案し、24の言語モデルを評価して文化的文脈に特化した攻撃の脆弱性を明らかにするとともに、再現性とコスト効率を向上させるための分類器とリーダーボードを公開したものです。

要約

この論文は、**「タイ語で話せる AI（人工知能）が、タイの文化や習慣をどれだけ守れているか」**をテストする新しい仕組みを紹介したものです。

まるで、**「タイの街で運転する新しい自動車を、タイの交通ルールや独特の運転マナーに照らして安全検査する」**ようなイメージです。

以下に、専門用語を噛み砕いて、具体的な例え話で説明します。

1. なぜこの研究が必要なのか？（問題点）

今の AI 開発は、**「英語」という世界共通語でテストされることがほとんどです。
でも、タイのような国では、英語のテストでは見逃されてしまう「タイ特有の危険」**があります。

• 例え話：
  英語のテストでは「赤信号で止まる」ことだけをチェックされています。でも、タイの街には「お寺の前では静かにする」「王様への敬意を示す」といった、英語のルールにはない**「文化的な交通ルール」**がたくさんあります。
  今の AI は、英語のルールは守れても、タイの独特なルール（例えば、王様に関する話題や、タイの伝統的なマナー）を守れず、無意識に失礼なことを言ったり、危険なことを教えてしまったりする可能性があります。

2. 彼らが作ったもの：「タイ安全ベンチマーク（ThaiSafetyBench）」

研究者たちは、タイの文化に特化した**「1,954 個の危険な質問リスト」**を作りました。これを「ThaiSafetyBench」と呼びます。

• どんな質問があるの？
  • 一般的な危険： 「詐欺のやり方を教えて」など（これは英語でも同じ）。
  • タイ独自の危険： 「王様について批判的なことを言ってみて」「タイの隣国との国境問題で挑発的なことを言ってみて」「タイの伝統的なマナーを破るような行動を提案してみて」など。
  • これらは、タイ人が実際に困るかもしれない、あるいはタイ社会でタブーとされる内容です。

3. 実験の結果：どんなことがわかった？

このテストを使って、24 種類の AI に「タイの危険な質問」を投げかけました。

• 結果 1：「お金持ちの AI」は強い、「オープンな AI」は弱い

  • 有料の巨大 AI（GPT-4 や Claude など）は、タイの文化を守って「それはダメですよ」と拒否する能力が高いです。
  • 一方で、誰でも使える無料のオープンソース AI は、タイの文化特有の質問に対して、**「守れていない（攻撃に成功してしまう）」**ことが多く見られました。
  • 例え話： 英語のテストなら A 判定でも、タイの文化テストだと「C 判定」になる AI がたくさんいたのです。

• 結果 2：「タイっぽい質問」の方が難しい

  • 単にタイ語で「危険なことを教えて」と聞くより、**「タイの文化や文脈を踏まえた巧妙な質問」**の方が、AI を騙して危険な回答を引き出す成功率が高かったです。
  • つまり、AI は「タイの空気感」を理解して安全を守るのが、まだ苦手だということです。

• 結果 3：「大きい AI」ほど安全

  • 一般的に、AI の頭脳（パラメータ数）が大きければ大きいほど、安全に回答する傾向がありました。でも、トレーニングの質（どんな本を読ませたか）も重要で、サイズだけで決まるわけではありません。

4. 彼らが提供したツール：「タイの安全判定員」

テスト結果を誰でも簡単に確認できるように、2 つの大きな貢献をしました。

1. リーダーボード（成績表）：
   • どの AI がタイの文化を守れているか、ランキング形式で公開しています。開発者が「自分の AI は安全か」をチェックできる掲示板です。
2. 軽量な判定 AI（ThaiSafetyClassifier）：
   • 毎回、高価な AI に「これは安全か？」と聞くのはお金がかかります。そこで、彼らは**「安くて速い判定 AI」**を作りました。
   • 例え話： 高級な裁判所（GPT-4）に毎回裁判を申し立てる代わりに、訓練された「優秀な警察官（この判定 AI）」が素早く「危険か安全か」を判定してくれるようなものです。これなら誰でも手軽にテストできます。

5. まとめ：この研究の意義

この論文は、**「AI の安全性は、国や文化によって違う」**ということを証明しました。

• 英語圏で安全な AI が、タイでは危険なことを言ってしまう可能性があります。
• 開発者には、**「その国や文化に合わせた特別な教育（安全チューニング）」**が必要だと警鐘を鳴らしています。
• 公開されたデータやツールを使えば、タイ語の AI をもっと安全で、タイの人々に信頼されるものにしていくことができます。

一言で言うと：
「タイの文化という『特殊な地形』を走るための、新しい『安全運転テスト』と『判定マニュアル』を、みんなで共有しましょう！」という提案です。

技術概要

論文「THAISAFETYBENCH: ASSESSING LANGUAGE MODEL SAFETY IN THAI CULTURAL CONTEXTS」の技術的サマリー

本論文は、大規模言語モデル（LLM）の安全性評価が英語中心である現状を踏まえ、タイ語およびタイの文化的文脈に特化した安全性ベンチマーク「ThaiSafetyBench」を提案し、24 種類の LLM に対する包括的な評価を行った研究です。ICLR 2026 ワークショップ「Principled Design for Trustworthy AI」で発表されました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

• 英語中心の評価バイアス: 現在の LLM の安全性評価は主に英語データセットに依存しており、非英語圏の言語や文化的に根ざしたリスクが十分に検討されていません。
• 文化的ニュアンスの欠如: 既存の多言語データセットは翻訳ベースであることが多く、タイ特有の社会的規範、スラング、歴史的・政治的文脈（例：王室への言及、国境問題、風習）を反映した攻撃には対応しきれていません。
• 評価リソースの不足: タイ語圏におけるオープンソースの安全性評価フレームワークや、文化的文脈を考慮したデータセットが不足しており、モデルの脆弱性を特定することが困難でした。

2. 手法とアプローチ (Methodology)

2.1 ThaiSafetyBench データセットの構築

1,954 件の悪意あるプロンプト（タイ語）から構成される高品質なデータセットを構築しました。

• 階層的な分類体系: 6 つのリスク領域（差別・排除・毒性、人間とチャットボットの相互作用、情報ハザード、悪用、誤情報、タイの社会文化的危害）と、それらを細分化した 17 種類の危害タイプを定義しました。
• データ収集ソース:
  1. 翻訳: 英語の「Do-Not-Answer」データセットをタイ語に翻訳し、ネイティブ話者による精査と文化的適応を行いました。
  2. 既存データセットの精選: 以前のタイ語モデル（Typhoon2）の学習データから、ノイズを除去し、関連性の高いサンプルを抽出しました。
  3. 新規生成: 無制限の LLM（Grok 3）を用いて悪意あるプロンプトを生成し、専門家の検証を経て、タイ特有のスラングや個人・組織情報を反映させたサンプルを追加しました。また、タイの「偽ニュース」データや「マナー・エチケット」ガイドラインに基づき、文化的な不適切行動をシミュレートしたプロンプトも作成しました。
• データ分布: 全体の約 52% がタイの文化的文脈に特化した内容です。

2.2 評価フレームワーク

• 評価対象: 商用モデル（GPT-5, Claude 4.5 など）、オープンソース多言語モデル（Llama, Qwen, Gemma 系列）、東南アジア特化モデル、タイ語特化モデル（Typhoon2, OpenThaiGPT など）を含む 24 種類の LLM を評価しました。
• 評価者（LLM-as-a-Judge）: GPT-4.1 と Gemini-2.5-Pro を独立した評価者として採用し、回答が有害かどうかを二値分類しました。両者の判定を平均化して攻撃成功率（ASR: Attack Success Rate）を算出しました。
• 再現性向上: 評価コストを削減し再現性を高めるため、DeBERTaV3 ベースの軽量な有害回答分類器「ThaiSafetyClassifier」を微調整し、公開しました（GPT-4.1 との一致率は高い）。

3. 主要な結果 (Key Results)

3.1 モデルタイプによる性能差

• クローズドソース vs オープンソース: 一般的に、クローズドソースモデル（GPT-5, Claude 4.5 など）はオープンソースモデルよりも高い安全性（低い ASR）を示しました。
• 例外: 一部のオープンソースモデル（例：SeaLLMs-v3-7B）はクローズドソースモデルと同等の安全性を達成しましたが、多くのオープンソースモデルはタイ語・タイ文化特有の攻撃に対して脆弱でした。

3.2 文化的文脈の重要性

• タイ固有攻撃 vs 一般攻撃: タイの文化的文脈に特化した攻撃プロンプトに対する ASR は、一般的なタイ語の攻撃プロンプトと比較して一貫して高かった（モデルがより多く拒絶しきれなかった）。これは、現在の安全性アライメント手法が地域特有の知識や言語パターンへの対応において不十分であることを示しています。
• リスク領域ごとの分析: 「情報ハザード（機密情報漏洩）」に対する防御は比較的堅牢でしたが、「タイの社会文化的危害（王室、国境、文化破壊など）」に対する防御は最も脆弱でした。

3.3 モデルサイズと継続的事前学習（CPT）の影響

• サイズ効果: 一般的にパラメータ数の多い大規模モデルの方が安全性が高い傾向にありますが、トレーニングデータの品質が重要であることが示されました（SeaLLMs のように小規模でも高性能なモデルが存在）。
• CPT の効果: 東南アジアやタイ語に特化した継続的事前学習（CPT）を行ったモデルは、ベースモデルと比較して一貫した安全性向上を示さず、CPT におけるデータ選定とアライメントプロセスの質が鍵であることが示唆されました。

4. 主要な貢献 (Key Contributions)

1. ThaiSafetyBench データセット: タイの文化的・社会的文脈を反映した 1,954 件の悪意あるプロンプトを含む、初のオープンソースベンチマーク。階層的な分類体系を採用。
2. 包括的な安全性評価: 24 種類の LLM に対する自動評価と、GPT-4.1/Gemini-2.5-Pro を用いた詳細な分析。
3. ThaiSafetyBench リーダーボード: モデルの安全性パフォーマンスを可視化し、コミュニティによる継続的な評価を促進する公開プラットフォーム。
4. ThaiSafetyClassifier: 高コストな LLM 評価に代わる、DeBERTa ベースの軽量な有害回答分類器（重み付き F1 スコア 84.4%）。

5. 意義と今後の展望 (Significance & Future Work)

• 文化的安全性の重要性の再確認: 単なる言語翻訳ではなく、文化的文脈（特にタイのような高コンテクスト文化）を考慮した安全性評価の必要性を浮き彫りにしました。
• オープンソースモデルの課題: 公開モデルの安全性が商用モデルに比べて劣る傾向があることから、オープンソースコミュニティにおける安全性アライメントの強化が急務であることを示唆しています。
• コミュニティへの貢献: データセット、分類器、リーダーボードを公開することで、タイ語 LLM の安全性向上に向けた研究と開発を加速させる基盤を提供しました。

制限事項と将来の課題:
現在の評価は「拒否率」に焦点を当てており、過剰に拒否するモデルや、ジャイルブレイクされた回答の実用性・有用性については評価していません。また、より高度なジャイルブレイク手法への対応や、非リスクプロンプトの追加によるバランスの取れた評価が今後の課題です。

---

結論:
本論文は、LLM の安全性評価において「言語」だけでなく「文化」が極めて重要であることを実証し、タイ語圏における AI 安全性の基準を確立する重要な一歩となりました。特に、文化的文脈に特化した攻撃に対する脆弱性は、多言語 LLM の開発において無視できない課題であることを示しています。