論文要約：ジェンダー化されたプロンプティングと LLM によるコードレビュー

タイトル: Gendered Prompting and LLM Code Review: How Gender Cues in the Prompt Shape Code Quality and Evaluation
著者: Lynn Janzen ら (Technische Universität Berlin, Humboldt-Universität zu Berlin)

1. 問題提起 (Problem)

大規模言語モデル（LLM）は、コード生成から自動コードレビューまで、プログラミングワークフローに急速に組み込まれています。しかし、ジェンダーに起因するコミュニケーションスタイルの違いが、LLM 支援プログラミングやコードレビューにどのような影響を与えるかは未解明です。

既存の研究では、女性開発者の割合が依然として低く（2023 年時点で 23%）、LLM の使用頻度やプロンプトへの自信において男女差が報告されています。また、LLM は訓練データに含まれる社会的バイアスを増幅させることが知られています。本研究は以下の 3 つの主要な研究課題（RQ）を扱います：

1. RQ1: ユーザーのジェンダーはプロンプトの言語スタイルに反映され、テキストから予測可能か？
2. RQ2: ジェンダーに特化したプロンプティングは、LLM によるコード生成の機能性や品質に差異をもたらすか？
3. RQ3: ジェンダーに特化したプロンプトやレビュアーのペルソナは、LLM によるコードレビュー（評価）の決定に影響を与えるか？

2. 研究方法 (Methodology)

本研究は、実世界のデータ分析、制御されたユーザー実験、シミュレーションの 3 つの補完的な研究（Study 1, 2, 3）から構成される混合手法アプローチを採用しています。

Study 1: 実世界のプロンプト分析

• データ: 学生および専門家から収集された 753 件の Python コーディングチャット履歴（746 件のプロンプト）。
• 分析: 言語的特徴（代名詞の使用、遠回しな表現、直接的な指示など）の分析。RoBERTa を用いたジェンダー予測モデルの訓練と評価。
• 評価: 生成されたコードの品質を、ユーザーの自己評価と静的解析ツール（Pylint, Radon）で測定。

Study 2: 制御されたユーザー実験

• 参加者: 59 名の開発者（男性 73.5%、女性 26.5%）。
• タスク: 事前に定義された 3 つのコーディングタスク（パスワード強度チェック、バグ修正など）を、各自選択した LLM を用いて解決。
• 評価: コードの正解率（ユニットテスト）、静的コード品質指標、および複数の LLM ベースのレビュアーによる「承認（APPROVE）」または「変更要求（CHANGES_REQUESTED）」の判定。

Study 3: シミュレーション実験（LLM による生成と評価）

• 目的: 人間のバイアスを排除し、プロンプトのスタイルとレビュアーのペルソナが LLM 自体に与える影響を分離して検証。
• デザイン: 5 種類のプロンプト変種（男性風、女性風、中立、自己紹介付き/なし）を作成。ジェンダー特性は、ステレオタイプ的な形容詞（例：男性＝効率的、決断力がある；女性＝協力的、可読性が高い）と名前（Jack/Sarah）で操作。
• タスク: 5 つのアルゴリズム課題。
• 評価: 生成コードの機能性、構造、品質、および異なるペルソナ（男性/女性/中立）を持つ LLM レビュアーによる承認率。

3. 主要な貢献と結果 (Key Contributions & Results)

1. プロンプトの言語的特徴とジェンダー予測 (Study 1)

• 言語的差異: 女性によるプロンプトは、より多くの一人称代名詞、遠回しな表現（hedges）、関係性を重視した表現（involved language）を使用する傾向があり、男性はより直接的でタスク指向であることが確認されました。
• ジェンダー予測: RoBERTa を用いた予測モデルは、クロスバリデーションで F1 スコア 0.60、テストセットで 0.61 を達成しました。これは「中程度」の性能であり、プロンプトテキストのみからジェンダーを確実に特定することは困難であることを示唆しています。
• コード品質への影響: プロンプトのジェンダーや直接的な表現の有無は、生成されたコードの機能的正解性や静的品質（複雑度、保守性など）に有意な差異をもたらさなかった。

2. コード生成とレビューにおけるバイアス (Study 2 & 3)

• コード生成の公平性: 人間が LLM を使用してコードを生成する場合、男女間でコードの正解率や品質に有意な差は見られませんでした。これは、LLM 支援がプログラミングの成果を均等化している可能性を示唆します。
• レビューにおける系統的バイアス:
  • Study 2: 人間が生成したコードを LLM レビュアーが評価した際、女性作成のコードの方が男性作成のコードよりも承認率が高かった（70.6% vs 62.9%, p≈0.008）。これはコードの品質が同等であるにもかかわらず生じたバイアスです。
  • Study 3: プロンプトのスタイル（男性風/女性風）を変化させたシミュレーションでも、機能性には影響しなかったものの、女性風プロンプトはより保守性の高い（長い、コメントが多い）コードを生成させる傾向がありました。
  • レビュアーの反応: 承認率はモデルプロバイダー（Groq, OpenAI, Anthropic など）によって異なり、特に Groq のモデルではジェンダーによる承認率の差が統計的に有意でした。また、レビュアーのペルソナ（男性/女性）によっても評価基準が変動しました。

3. コード品質への具体的な影響

• 保守性と簡潔さ: 女性風のプロンプトスタイルは、コードの保守性（Maintainability Index）を高める傾向がありましたが、男性風や中立のプロンプトはよりコンパクトで Pylint スコアが高い（構造的に厳格な）コードを生成する傾向がありました。
• 機能性: どの研究においても、ジェンダー要因がコードの機能的正解性（Unit-test pass rate）に悪影響を与えることは確認されませんでした。

4. 意義と結論 (Significance & Conclusion)

本研究の最も重要な発見は、LLM 支援プログラミングにおける公平性のリスクは、コード生成の精度そのものよりも、LLM が「レビュアー（評価者）」として機能する際のバイアスに潜んでいるという点です。

• 評価プロセスのバイアス: LLM が自動コードレビューや採用選考、成績評価に利用される場合、プロンプトのスタイルや作者のペルソナ（ジェンダー）に基づいて、客観的なコード品質とは無関係に評価が偏る可能性があります。
• 技術的アプローチの限界: プロンプトから明示的なジェンダー属性を除去するだけでは不十分です。ジェンダー情報は、遠回しな表現や語彙選択など、複数の言語的スタイルに埋め込まれており、LLM の行動に影響を与え続けます。
• 社会的・技術的視点の必要性: 公平性を確保するためには、単なる技術的なバイアス除去（debiasing）だけでなく、LLM を「裁判官（Judge）」としていつ、どのように展開するかに関するガバナンスや、多様なコミュニケーションスタイルを許容する教育・ツールの設計が不可欠です。

本研究は、LLM 時代におけるコード評価の公平性に関する新たな視点を提供し、今後の大規模な研究とシステム設計の指針となるものです。