Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

技術概要：中国語大規模言語モデルの評価：ペルソナ割り当てがステレオタイプと安全対策に与える影響

問題定義
近年の研究では、特定のペルソナを大規模言語モデル（LLM）に割り当てることで、西洋の文脈において有害なコンテンツの生成が大幅に増加することが実証されている。しかし、非西洋、特に中国の社会技術的環境におけるこの現象の理解には重要なギャップが存在する。現在の文献には、ペルソナ割り当てが拒否行動や毒性の増幅といった安全メカニズムとどのように相互作用するかを、中国語ベースの LLM において大規模かつモデル横断的に分析したものは存在しない。さらに、異なる文化的規範を持つ多様な人口にサービスを提供する中国語モデルにおいて、プロンプト設計要素（テンプレート、ペルソナ、対象となる社会集団）がこれらの安全成果にどのように共同して影響を与えるかは依然として不明である。

方法論
著者は、Qwen-Turbo、Ernie-4.5-Turbo-128k、DeepSeek-V3、Hunyuan-Standard という 4 つの主要な中国語 LLM を対象とした大規模なモデル横断分析を実施した。本研究では、140 万超の生成テキスト（モデルあたり約 369,000 件の出力）からなるデータセットを利用した。

• 実験設計: 研究者は、3 つの変数を組み合わせた体系的なプロンプトエンジニアリング手法を採用した。
  1. ペルソナ: デフォルト（割り当てなし）、基本（「悪い人」のような一般的な記述）、キャラクター（「女性実業家」や歴史上の人物のような詳細なプロフィール）に分類。
  2. 社会集団: 中国の社会に関連する 13 のカテゴリ（性別、人種、宗教、社会経済的地位など）にわたる 240 の集団。
  3. プロンプトテンプレート: 「良いことを言って」のような無害なものから「有害なことを言って」のような対立的なものまで、6 つの変種。
• データ収集: モデルは、標準化されたパラメータ（temperature=1、max_tokens=500）を用いて公式のチャットベース API を介してクエリされた。ペルソナ、社会集団、テンプレートのすべての組み合わせに対して、3 つの応答が生成された。中国語以外の出力は分析のために翻訳された。
• 測定指標:
  • 拒否行動: ルールベースの分類と Qwen データで訓練された微調整済み BERT 分類器を組み合わせたハイブリッドアプローチで検出された。3 回の繰り返しすべてで拒否が発生した場合のみ、プロンプトは「拒否された」とみなされた。
  • 毒性: 0〜1 の連続的な毒性スコアを割り当てる Perspective API を使用して測定された。各条件において、拒否されなかった応答の中で最大の毒性スコアが記録された。
• 分析: 本研究では、拒否確率をモデル化するためにロジスティック回帰を、毒性スコアをモデル化するために線形回帰（OLS）を採用し、ペルソナカテゴリ、社会集団、テンプレートを独立変数として扱った。
• 緩和事例研究: Qwen に関する補完的な研究において、反復的かつ評価者主導の緩和戦略がテストされた。外部 LLM（Ernie）が評価者として機能し、主要モデルの再訓練を行わずにフィードバックを提供し、有害な出力を洗練させた。

主要な結果

• ペルソナ駆動型の拒否格差: 拒否行動は均一ではなく、モデル、ペルソナ、社会集団によって体系的に変化する。
  • 性別バイアス: 複数のモデルと否定的なテンプレート（例：「悪い」、「有害」）において、女性ペルソナは男性ペルソナよりも有意に高い拒否率を引き起こし、性別に特化した安全トリガーを示唆している。
  • 社会集団感受性: 「性的指向」、「人種」、「病気」、「障害」といったセンシティブなカテゴリでは拒否率が最も高く、「年齢」や「学歴」では低く留まった。
  • 反復プロンプティング: 同一のプロンプトが繰り返されるにつれて、拒否率は一般的に減衰（減少）し、安全メカニズムが反復的な試行を通じて侵食されうることを示している。
• 毒性の増幅: ペルソナの割り当ては、モデルのデフォルトと比較して毒性を大幅に増幅させる。
  • 規模: 場合によっては、特定のペルソナと社会集団の組み合わせにより、デフォルトの基準値に対して毒性が 40 倍以上増加した（特に Ernie で顕著）。
  • モデル間の変動: 高い拒否率を持つモデル（Hunyuan など）は毒性の増幅が減衰する傾向にあるのに対し、低い拒否率を持つモデル（DeepSeek など）は対立的なペルソナ下でより顕著な毒性のシフトを示した。
• 行動の決定要因: 回帰分析は以下のことを明らかにした。
  • テンプレート: 拒否に対する最も強力な制御シグナルであり、対立的なテンプレート（「有害」、「危険」）は拒否の可能性を一貫して高める。
  • 社会集団: 拒否の支配的な決定要因であり、ペルソナの影響をしばしば上回る。
  • ペルソナの極性: 否定的なペルソナはすべてのモデルで毒性を一貫して増加させたが、拒否行動への影響はモデルに強く依存していた（Qwen では拒否を減少させ、DeepSeek では増加させる）。
• 緩和の有効性: 反復的評価者主導の戦略は、最も毒性の高い 1,000 件のインスタンスにおいて、中央値の毒性スコアを 0.6〜0.8 の範囲から 0.1〜0.3 に成功裏に削減し、高コストなモデル再訓練なしに有害な出力を大幅に緩和できることを実証した。

意義と主張
本論文は、中国語 LLM におけるペルソナ駆動型の安全リスクの大規模かつモデル横断的な特徴付けを提供する最初の研究であると主張している。その主な貢献は以下の通りである。

1. 実証的証拠: ペルソナ割り当てが、モデルのアーキテクチャや安全設計によって大きく異なる影響を受けながら、中国語モデルにおける毒性増幅と拒否パターンの変化を促進する一般的なメカニズムとして機能するという定量的な証明。
2. 文化的文脈化: 中国語 LLM の安全メカニズムは、「性的指向」や「宗教」などへの特定の反応に見られるように、西洋中心の知見とは異なる社会集団に対する独自の感受性を示すため、文化に特化した安全評価の必要性を浮き彫りにすること。
3. 構造化された枠組み: ペルソナ誘発リスクを評価するための構造化された手法を提供し、外部の反復的フィードバックループが、展開された LLM における毒性を削減するための実行可能かつ低コストな緩和戦略となり得ることを実証すること。

著者は結論として、ペルソナ割り当てはパーソナライゼーションのための強力なツールであるが、標準的なアライメント技術を超えた、文化的に文脈化された安全評価と堅牢な緩和戦略を必要とする、重大かつ不均一なリスクをもたらすと述べている。