技術的サマリー：アノテーターの立場性をシグナルとして：反自閉症差別検出のための心理計測的重み付け

問題提起

大規模言語モデル（LLM）は、コンテンツモデレーションなどの意思決定パイプラインにおいてますます展開されており、コミュニティの視点を増幅または抑制するリスクを伴っています。先行研究では LLM における一般的な障害関連のバイアスが特定されていますが、これらのモデルが反自閉症差別をどのように概念化し検出するかという具体的なメカニズムは、未だ十分に研究されていません。この分野における重要な課題は、インサイダー/アウトサイダーの区別です。自閉症コミュニティが連帯を表明するために再獲得した用語（例：「アスピー」、「オートィ」）は、コミュニティに根ざした知識を持たない自動化システムや人間のアノテーターによって、差別用語として誤分類される可能性があります。さらに、多数決集計に依存する標準的な評価手法は、自閉症および自閉症受容的な視点を体系的に軽視し、アノテーターのアイデンティティを意味のあるシグナルではなくノイズとして扱っています。これにより、話者のアイデンティティ、再獲得された言語、およびコミュニティへの影響という文脈的なニュアンスを捉えきれないグランドトゥルース（真実）が生み出されています。

手法

著者らは、心理計測的重み付けと制御された LLM 評価を統合したバイアス認識型評価フレームワークを提案します。

1. 心理計測的に重み付けされたグランドトゥルース

単純な多数決の代わりに、本研究は人間のアノテーターのラベルを、測定されたバイアスレベルと自閉症特性に基づいて重み付けすることでグランドトゥルースを構築します。

• データソース: 差別的（1）または非差別的（0）としてラベル付けされたAUTALICデータセットからの 2,120 文。
• アノテーターの特性評価: アノテーターは 3 つの心理計測ツールを完了しました。
  • SATA（自閉症に対する社会的態度）: 明示的な受容度を測定。
  • AQ（自閉症スペクトラム・クォーティエント）: 自閉症特性を定量化。
  • IAT（暗黙的連想テスト）: 自閉症に対する暗黙的バイアスを測定。
• 重み付け方式: 3 つのツールのスコアを最小 - 最大正規化し平均化して合成信頼性スコア（$R_i$）を計算します（IAT は逆転させ、高い値が低いバイアスを示すようにします）。これらのスコアをチーム平均に対して正規化し、最終的な重み（$W_i$）を生成します。グランドトゥルースラベル（$\hat{y}$）は、アノテーターのラベルの加重平均です。
• 検証: この合成重み付けは、多数決よりも有意に厳格なグランドトゥルースを生み出すことが示されました（$p < .001$）。一方、AQ 単独の重み付けでは有意差は見られませんでした（$p = .651$）。

2. LLM 評価設定

• モデル: 135M から 20B パラメータまでの 12 の公開 LLM を評価しました。これには、指示チューニング型、推論能力型、安全性重視型、無修正型のバリエーションが含まれます。
• プロンプト条件: 8 つのモデルを 7 つの異なる条件下でテストしました。
  1. ゼロショット（ZS）: 定義に基づく枠組み。
  2. 思考連鎖（CoT）: 3 段階の推論（話者のアイデンティティ、キーワード対メタ文脈、害の評価）。
  3. 文脈内学習（ICL）: 高 AQ（自閉症に近い）および低 AQ（非自閉症）のアノテーターからの例を使用した 2 つのサブ条件。
  4. ペルソナプロンプト: アイデンティティ言語（アイデンティティファースト、パーソンファースト、または中立的）を変化させる 3 つのサブ条件。
• 指標: 主要な合意度は、加重グランドトゥルースに対するコーンの$\kappa$で測定されました。二次指標には F1、適合率、再現率、精度が含まれます。

3. LLM の心理計測的評価

潜在的なバイアスを評価するため、LLM に SATA と AQ ツールを適用しました。「認識に基づく応答」（モデルが訓練データへの親しみから社会的に望ましい答えを模倣すること）を緩和するため、本研究ではツールのマスクされた書き換えを採用しました。これには、項目のランダム化、表現のバリエーション、および質問の目的を曖昧にするためのフィラー項目と妥当性項目（ダミー項目）の含入が含まれます。

4. エラー分析

92 件のサンプリングされた LLM 出力に対して、三角測量法によるエラー分析を実施しました。3 人の分析者が異なる視点を用いました：(1) 主題的コンテンツ、(2) 障害研究の言語的特徴、(3) 推論構造。

主要な結果

1. グランドトゥルースの構築は中立ではない

• より厳格なベースライン: 心理計測的に重み付けされた$\kappa$は、56 のモデル - 条件の組み合わせ全体で、無重み（多数決）の$\kappa$よりも一貫して低くなりました（平均$\delta\kappa = -0.012$）。これは、多数決が自閉症の視点を体系的に過小評価していることを確認します。
• 整合性のギャップ: LLM は、「信頼できる」アノテーター（高い信頼スコア）との合意度が、「自閉症に近い」アノテーターとの合意度よりも有意に高かったため、合成重み付け方式の必要性が実証されました。
• モデルのばらつき: 安全性重視の分類器（LLaMA Guard 3、GPT-OSS）は汎用モデルを上回りました。これは、タスク固有の安全性トレーニングが、一般的なプロンプトでは回復できない障害への害に対する感受性をエンコードしていることを示唆しています。

2. 分類性能

• 全体的に低い性能: 平均加重$\kappa$は 0.118、平均 F1 は 0.237 であり、高リスクなタスクにおいて偶然に近い性能であることを示しています。
• 適合率 - 再現率のバランスの崩れ: モデルは体系的に過剰分類（高い再現率、低い適合率）を示し、コミュニティによって再獲得された用語を差別用語としてフラグ付けしました。
• プロンプトの限界:
  • CoT: 思考連鎖（CoT）は「トピックの逸脱」（自閉症に関する内容ではないと主張して非差別的ラベルを正当化する）を排除しましたが、「立場性の推論」（話者のアイデンティティの理解）を有意に改善することはできませんでした。
  • ICL とペルソナ: 文脈内学習とペルソナプロンプトは性能を一貫して向上させませんでした。場合によっては、高性能なモデルを不安定化させました。

3. 推論の失敗

エラー分析により、4 つの主要な失敗モードが特定されました。

1. 表面形式の推論: モデルは文脈ではなく、キーワードマッチングに大きく依存していました（抜粋の 41%）。再獲得された用語（例：「アスピー」）を差別用語として誤ラベル付けしたり、否定的なキーワードを欠く欠陥ベースの枠組みを見逃したりすることが頻繁にありました。
2. 立場性の盲目性: 話者のアイデンティティに関する明示的な推論は稀でした（全体で 10%、CoT 条件下で 13%）が、ゼロショット条件では存在しませんでした。
3. トピックの逸脱: モデルは、テキストが自閉症に関係していないと主張することで非差別的ラベルを正当化することが多く、これは CoT によって排除されましたが、他のエラーに置き換わりました。
4. 幻覚とステレオタイプ: モデルはステレオタイプを引用し、場合によってはトピックを幻覚させました（例：Autism Speaks に関する文を反ユダヤ主義と誤認するなど）。

4. LLM における潜在的バイアス

• マスキングによるバイアスの露呈: ツール認識の手がかりをマスクした際、LLM の応答には有意な乖離が見られました。SATA スコアは低下し（受容度の低下を示す）、AQ スコアは上昇しました（臨床範囲内の高い自閉症特性を示す）。これは元のツールと比較して顕著でした。
• 解釈: これは、LLM による標準的な自己申告が、潜在的な反自閉症態度を隠蔽する社会的に望ましい応答を引き出していることを示唆しています。

意義と主張

本論文は、有害言語検出におけるコミュニティに根ざしたバイアス認識型評価のための再現可能なテンプレートを提供すると主張しています。主な貢献は以下の通りです。

1. 方法論的: 心理計測的重み付けが、特に高い自閉症特性と低い暗黙的バイアスを持つアノテーターを重み付けすることで、反自閉症差別の検出において多数決よりも厳格で正確なグランドトゥルースを生成することを示しました。
2. 実証的: 現在の LLM は、CoT やペルソナなどの高度なプロンプト戦略を用いても、話者のアイデンティティや再獲得された言語に関して表面レベルのキーワードを超えた推論に失敗していることを明らかにしました。
3. 診断的: マスクされた心理計測的評価が、標準的な自己申告メカニズムに隠されている LLM の潜在的な反自閉症バイアスを露呈させることを示しました。

著者らは、この分野におけるデプロイメントグレードの性能には、コミュニティラベル付きデータによるタスク固有のファインチューニングがオプションの強化ではなく、前提条件であると結論付けています。彼らは、現在のモデルが自閉症コミュニティに影響を与えるタスクにおいて偶然に近い精度で動作していると強調し、コミュニティの視点と立場性を中心に据えた評価フレームワークの緊急の必要性を指摘しています。