Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

技術要約：二つの過ち、正解なし：計算社会科学におけるLLMアノテーターの社会的望ましさバイアスの監査

問題提起
大規模言語モデル（LLM）は、政治的テキスト、ヘイトスピーチ、感情、および世論を測定するための低コストなアノテーターとして、計算社会科学（CSS）においてますます導入が進んでいる。しかし、「アライメントによって形成された」エラーが、研究者が報告しようとしている経験的な量（empirical quantities）を維持しているかどうかを理解する上で、決定的なギャップが存在する。個別のインスタンスに対する精度（per-instance accuracy）はしばしば標準的な指標とされるが、CSSは集計的な測定（例：普及率の推定、グループ比較、経時的変化）に依存している。本論文は、モデルが表面上は許容可能な平均精度を持っている場合でも、社会的望ましさ応答バイアス（Social-Desirability Response Bias: SDR）によって、基礎となるラベルの分布を系統的に歪めてしまう可能性があると主張している。このバイアスは、入力されたインスタンスに対して忠実な応答ではなく、規範的に好ましいと思われる応答を生み出す傾向として現れる。これは、公衆の感情や有害なコンテンツの普及率に関する誤った科学的結論を導く可能性がある。

手法
著者らは、3つのオープンソースの7Bパラメータ・インストラクションチューニング済みモデル（Zephyr-7B、Mistral-7B-Instruct-v0.3、Qwen2.5-7B-Instruct）を用いて比較監査を実施した。これらのモデルは、ベースとなるファミリーやポストトレーニングのレシピ（例：選好最適化、教師あり指示チューニング）が異なる。

評価は、TweetEvalベンチマークからの6つのタスクにわたって行われた：

1. ヘイトスピーチ
2. 有害な言語（Offensive Language）
3. スタンス検出（中絶）
4. 感情（Sentiment）
5. 情動（Emotion）
6. 皮肉（Irony）

本研究では、実務者が再学習なしで行い得る介入をシミュレートするために、4つのプロンプティング条件をテストしている：

1. ニュートラル（Neutral）: タスク指示のみ。
2. セーフティ・フレーミング（Safety Framing）: 安全性、公平性、および危害回避に関する明示的な指示。
3. 脱個人化（Depersonalized）: モデルを「親切なアシスタント」ではなく、決定論的なラベル付け関数として扱うフレーミング。
4. 思考の連鎖（Chain-of-Thought: CoT）: 最終的なラベルを出す前に中間的な推論を許可する。

この設計により、72の実験セル（3モデル × 6タスク × 4プロンプト）が得られる。著者らは、4つの補完的な指標を用いてパフォーマンスを分析している：

• マクロF1（Macro-F1）: 全体的なタスク性能。
• 偽良性率（False Benign Rate: FBR）: 真に有害な例が良性ラベルに割り当てられる割合。
• 誤報率（False Alarm Rate: FAR）: 良質な例が誤って有害とラベル付けされる割合。
• ダウンストリームの歪み（Downstream Distortion）: 予測値とゴールドクラスの普及率との間の絶対誤差（中絶のスタンスにおける「AGAINST（反対）」およびヘイトスピーチにおける「HATE SPEECH」に焦点を当てる）。

主な貢献

1. マルチタスク監査: ヘイトスピーチ、有害な言語、スタンス、感情、情動、皮肉における、アライメントに敏感なアノテーション行動の体系的な評価。
2. 集計指標の不十分性の立証: マクロF1や総普及率の精度といった集計的な指標が、CSSへの展開には不十分であることを示した。本論文は、対立するクラス条件のエラー（例：有害なコンテンツを見逃す一方で、良質なコンテンツを過剰にフラグ立てする）がコーパスレベルで偶然に打ち消し合っているために、普及率の精度が正しく見えるケースを暴いている。
3. 失敗の分類学（Failure Taxonomy）: 特定の診断的シグネチャを持つ3つの繰り返される失敗パターンを特定した：
   • 寛容バイアス（Leniency Bias）: 高いFBRと低いFAR（有害なコンテンツの過小カウント）。
   • 過剰修正（Overcorrection）: 低いFBRと高いFAR（有害なコンテンツの過剰カウント）。
   • 中立性バイアス（Neutrality Bias）: 強固なスタンスを持つクラスの普及率を抑制し、中立ラベルを膨張させる。

主な結果

• 分岐する失敗の方向性: モデルは一様に失敗するわけではない。Zephyrは強い寛容バイアスを示し、特に有害な言語において（FBR = 0.729, FAR = 0.031）、系統的に有害ラベルを適用しない。対照的に、MistralとQwenはヘイトスピーチにおいて過剰修正を示し、Mistralは非ヘイトのツイートの60.4%をヘイトスピーチとラベル付けした（FAR = 0.604）。
• 政治的スタンスにおける中立性バイアス: 中絶のスタンスのタスクにおいて、3つのモデルすべてが「AGAINST（反対）」のポジションの普及率を系統的に過小評価し（ゴールドレート：67.5%）、 「NONE/Neutral（なし／中立）」ラベルを膨張させた。ニュートラルなプロンプティングの下で、Zephyrは反対派をわずか27.9%と推定したが、MistralとQwenは43.9%と推定した。このバイアスはすべてのプロンプティング条件を通じて持続した。
• プロンプティング介入の無効性: 単一のプロンプティング介入（セーフティ、脱個人化、CoT）が、すべてのモデルとタスクにおいてこれらの失敗を一貫して修正することはないであった。場合によっては、介入が歪みを悪化させることもあった（例：セーフティ・フレーミングは、Mistralによる「AGAINST」の推定率をさらに低下させた）。
• 偶然の相殺（Accidental Cancellation）: Zephyrのヘイトスピーチの結果に関する重要な発見がある。ニュートラルなプロンプティングの下で、Zephyrの推定普及率（43.0%）はゴールドレートと正確に一致した。しかし、これは高いFBR（0.316）と高いFAR（0.239）が偶然に打ち消し合った結果であった。普及率の精度のみに頼る研究者は、モデルが多くの個別インスタンスを誤分類しているにもかかわらず、そのモデルが信頼できると誤認してしまう。
• 実質的な影響: 観察された歪み（14から40パーセントポイントの範囲）は、あるデータセットの性質を「強く反対派である」から「拮抗している」へと変えたり、コーパスを実際よりもほぼ2倍近く有害に見せたりするなど、実質的な経験的結論を覆すほど大きい。

意義と主張
本論文は、計算社会科学における信頼できるAIにとって、「ヘッドライン」指標である平均精度は誤解を招くものであると主張している。主なリスクは単なる精度の低下ではなく、系統的な測定の歪みであり、それが研究者が報告する経験的な物語を変えてしまうことにある。

著者らは以下のことを主張している：

1. アライメントはエラープロファイルを形成する: ポストトレーニングの選択は、特定の方向性を持つバイアス（寛容 vs 過剰修正）をもたらす。これらはモデル間で異なるため、プロジェクトの途中でモデルを切り替えた研究者は、分析内容を変えることなく、意図せず経験的な結論を逆転させてしまう可能性がある。
2. プロンプティングは測定器の一部である: プロンプトの選択は、普及率の推定値を大きく変え得る（例：中絶のスタンスに関するMistralの差は、プロンプトによって16.8ポイントに及ぶ）隠れた自由度として機能する。
3. 検証プロトコル: 研究者はマクロF1を超えなければならない。アノテーション・パイプラインをスケールアップする前に、実務者は小さなゴールドサンプルに対して、クラス条件付きのエラー（FBR/FAR）およびダウンストリームの普及率の歪みを検証すべきである。
4. 報告基準: モデルとプロンプトを測定器の一部として報告することは、オプションの開示ではなく、基本要件である。なぜなら、アノテーターの方向性を持つバイアスは、そこから導き出される市民の言説や世論に関するあらゆる主張に継承されるからである。

本論文は、集計的な指標において較正されているように見えるモデルであっても、社会科学に必要な測定妥当性を根本的に損なう可能性があることを示しており、一般的な分類リーダーボードではなく、ダウンストリームの推論ターゲットに対してアノテーターを評価することへの転換が必要であると結論づけている。