テクニカル・サマリー：職業的プロンプティングによる大規模言語モデルの文化的バイアスの露呈

問題提起

先行研究では、大規模言語モデル（LLM）が文化的バイアス（具体的には、汎用的なプロンプトや国籍に基づく手がかりを与えられた際に生じる西洋志向のデフォルト値）を示すことが確立されている。しかし、職業的アイデンティティが価値観の表現にどの程度影響を与えるかは不明なままである。社会的役割には、人間の判断を形作る訓練、地位、および制度的規範に関する仮定が付随する。LLMが専門的な業務や意思決定支援のワークフローにますます導入される中で、モデルが職業的アイデンティティに対して体系的な文化的価値志向を付与しているか、また、これらの関連付けがモデルの出力に予測可能な変化をもたらすかどうかを判断することは極めて重要である。既存の文化的バイアスを測定するフレームワークは、主に国籍に基づくプロンプティングに焦点を当ててきたため、職業的な役割の手がかりのみが潜在的な価値構造をどのように形成するかという理解には空白が存在している。

メソドロジー

著者らは、Taoら [17] によって導入された調査に基づいた文化的整合性フレームワークを、職業的プロンプティングの調査へと拡張した。本研究では以下のパイプラインを利用する：

1. ベンチマーク空間の構築： 著者らは、世界価値観調査（WVS）および欧州価値調査（EVS）のデータを調和させた統合価値観調査（IVS）を使用する。10個の特定の調査項目に対して、主成分分析（PCA）とバリマックス回転を適用し、イングレハート＝ウェルゼル・ディメンション（「生存 vs 自己表現」および「伝統 vs 世俗」）によって定義される標準的な二次元の文化的空間を生成する。
2. 職業データセット： ChatGPT Proを用いて、セクター、ドメイン、教育レベル、および分野に関するメタデータが付与された234の職業からなるキュレートされたデータセットを作成した。このデータセットは、専門職、技術職、サービス職、科学職、および熟練技能職を網羅している。
3. モデル評価： 5つのオープンウェイトLLMを評価した：Llama 3.3 (70B)、Llama 4 (16×17B)、Gemma 3 (27B)、GPT-OSS (20B)、および GPT-OSS (120B)。
4. プロンプティング戦略： 汎用的または国籍ベースのプロンプトではなく、モデルは職業的アイデンティティ（例：「あなたは会計士として働く平均的な人間です...」）によって条件付けられた。モデルは、これらの特定の役割の制約下で、同じ10個のIVS調査項目に回答した。
5. 投影と分析： モデルの回答を標準化し、IVSの文化的空間に投影し、回答者記述のバリアント間で平均化した。得られた座標は、以下の2つのレベルで分析された：
   • ドメインレベル： 職業をより広い分野（例：「サイバーセキュリティ」、「教育」）に集計する。
   • 職業レベル： 個々の役割を分析する。
   • 割り当て： 最近接重心ユークリッド距離マッチングを介して、ベンチマークとなる文化的カテゴリー（例：プロテスタント圏のヨーロッパ、儒教圏、アフリカ・イスラム圏）にポイントを割り当てる。

主な貢献

本論文は、主に4つの貢献を行っている：

1. フレームワークの拡張： 国籍ベースのプロンプティングから、職業的アイデンティティを潜在的な価値構造のプローブとして使用する職業的プロンプティングへと、調査に基づいた文化的バイアス評価を拡張した。
2. 文化的マッピング： 複数のオープンウェイトLLMからの職業条件付き応答をイングレハート＝ウェルゼルの文化的空間に投影し、特定の職業および職業グループの分布を分析した。
3. 構造的分析： 個別の職業とメタデータに基づくグルーピングの両方を調査し、関連する属性を通じた高次の構造的パターンを明らかにした。
4. モデル比較： 同一のパイプライン内で複数のオープンウェイトLLMを比較し、一貫した職業的パターンとモデル固有の挙動を区別した。

結果

本研究は、LLMが職業を文化的価値とどのように関連付けているかについて、いくつかの主要な知見を提示している：

• 持続的な西洋バイアス： 職業的アイデンティティでプロンプトを与えられた際、LLMの回答は一般的に、文化的マップ内の広範な西洋志向の領域（具体的には自己表現の側）内に留まっている。職業的プロンプティングは、汎用的なプロンプティングで見られる西洋の事前分布を排除するものではないが、この領域内での変動を導入する。
• 明確な職業的偏り： 異なる職業は、西洋のクラスター内で体系的なシフトを引き起こす：
  • 自己表現／プロテスタント圏のヨーロッパ： クリエイティブ、社会、教育、およびデザイン指向のドメイン（例：カウンセリング、ビジュアルデザイン、教育研究）は、プロテスタント圏のヨーロッパの領域付近にクラスターする。
  • 世俗／儒教圏： 技術、金融、リスク、およびセキュリティのドメイン（例：会計、サイバーセキュリティ、インテリジェンス分析）は、上方へ、つまり世俗的な側へとシフトし、儒教圏に近くなる。
  • 伝統／英語圏： 宗教的ドメイン（例：神学）は下方へ移動し、伝統的な側へと動き、しばしば英語圏の座標に近接する。
  • 中央／権威的役割： 権威および制度指向の役割（例：警察、軍隊、司法）は中央の位置を占め、しばしばカトリック圏、正教圏、または西・南アジアの境界付近に位置する。
• 非対称なカバー範囲： 文化マップは、職業的プロンプトによって対称的にカバーされているわけではない。プロテスタント圏のヨーロッパは最もアクセスしやすい領域であり、多様な役割によって到達可能である。対照的に、アフリカ・イスラム圏、ラテンアメリカ、および西・南アジアのような領域は、主に権威的人物（軍隊、警察、裁判官）や宗教指導者を含む、限定的で反復的な一連の手がかりを通じてのみ接近される。
• モデルの分散： 西洋バイアスの一般的な傾向は一貫しているが、異なるモデルは、同じ文化的重心を近似するために異なる「職業的経路」を利用する。例えば、モデルによって、「保険」の役割や「サイバーセキュリティ」、あるいは「軍事」の職種を「儒教的」な価値観に関連付けるかどうかが異なる。

意義と主張

本論文は、職業的プロンプトがLLMによって中立的な役割ラベルとして扱われていないことを主張している。むしろ、それらは構造化された価値表現のパターンを引き出し、モデルが特定の職業ドメインをイングレハート＝ウェルゼルの軸に沿った明確な文化的価値プロフィールと関連付けていることを示している。

著者らは、本研究を、国籍を超えて文化的バイアス評価を拡張するために必要な作業として位置づけている。彼らは、職業的記述が（明示的な文化的または国家的手がかりなしでも）現実世界のプロンプティングにおいて一般的であることを考慮すると、これらの関連性を理解することが、LLMが監査、意思決定、または専門的な推論をサポートする場面において不可欠であると論じている。本研究は、LLMがいかに社会的な役割情報を潜在的な価値構造へと整理しているかを測定するためのフレームワークを提供しており、これらの投影は現実世界の人口統計学的分布ではなく、モデル内部の関連性を反映していることに注意を促している。

著者らは、制限事項についても明示している。すなわち、職業データセットはLLMによってキュレートされたものであること（分析的フレームワークとして機能しており、グラウンドトゥルースではない）、評価は短文の強制選択回答に依存していること、そして投影は現実世界の人口統計学的分布ではなく、ベンチマークマップに対するモデルの組織化を測定していることである。