Not All Pretraining are Created Equal: Threshold Tuning and Class Weighting for Imbalanced Polarization Tasks in Low-Resource Settings

要約

偏見の「見分け方」を AI に教える物語：アフリカの言語と英語の挑戦

この論文は、2025 年の「SemEval」という AI 大会で発表された、「SNS 上の『偏見（ポラライゼーション）』を見分ける AI」を作るための挑戦についての報告書です。

著者のアバス・オグンタデさんは、英語とスワヒリ語（アフリカ東部で使われる言語）の 2 つの言語で、AI がどうやって「攻撃的な意見」や「分断を煽る内容」を見極めるかを研究しました。

まるで、「喧嘩している人」と「ただ熱く議論している人」を、AI に見分けさせるようなものです。

---

1. 課題：AI は「偏見」を見分けられない？

SNS には、特定のグループを憎んだり、差別したりする「偏見」が溢れています。これを AI に自動で見つけさせたいのですが、難しい問題が 2 つあります。

1. データの偏り（バランスが悪い）
   • 偏見のある投稿は少なく、普通の投稿が多いです。
   • 例え話: 100 人の生徒がいて、99 人が「おとなしい生徒」で、たった 1 人だけが「悪者」だとします。先生（AI）は「悪者」を探そうとしても、99 人全員を「おとなしい」と判断すれば 99% 正解になっちゃうので、AI は「悪者」を見つける練習を怠ってしまいます。
2. 言語の壁
   • 英語の AI は得意ですが、スワヒリ語のような「リソースが少ない言語」では、どうすればいいか分かりません。

---

2. 解決策：3 つの「魔法の道具」

著者さんは、この難しい問題を解決するために、3 つの工夫をしました。

① 「重み付け」で、少ないデータにも注目させる

通常、AI は「多いデータ」ばかり見て学習します。著者さんは、「少ない方のデータ（偏見のある投稿）に、より大きな点数（重み）というルールを作りました。

• 例え話: 試験で「普通の問題」は 1 点、「難しい問題」は 10 点とします。AI は「難しい問題」を解こうと必死になるため、少ないデータでもしっかり学習できるようになります。

② 「しきい値（閾値）」を微調整する

AI は「これが偏見だ」と判断する基準（しきい値）を持っています。通常は「50% 以上なら偏見」という固定された基準ですが、著者さんは**「偏見の種類ごとに、基準を細かく変える」**ことにしました。

• 例え話: 「政治の話」は少し過激でも偏見かもしれないので基準を下げ、「人種差別」はもっと明確な言葉が必要なので基準を上げる、といった具合に、ジャンルごとに「警戒レベル」を調整するのです。これだけで、AI の性能が劇的に向上しました。

③ 「万能型」か「専門型」か？

スワヒリ語に特化した AI（専門型）を使うか、世界中の言語を学ぶ AI（万能型）を使うか迷いました。

• 意外な結果: 専門型よりも、「世界中の言語を学んだ万能型 AI（mDeBERTa）の方が、スワヒリ語の偏見を見分けるのが上手でした。
• 例え話: 「スワヒリ語の専門家」よりも、「世界のニュースを広く読んでいる通訳」の方が、文脈を理解して「これは偏見だ！」と見抜くのが上手だったのです。

---

3. 結果と失敗：AI の「弱点」はどこ？

この工夫のおかげで、AI はかなり上手になりました。

• 英語: 8 割以上正解。
• スワヒリ語: 7 割 8 分正解。

しかし、まだ**「AI が苦手な場面」**も残っています。

• 隠れた偏見（暗黙の偏見）
  • 「あの連中は…」と、特定の民族を指す婉曲的な表現を使うと、AI は「あ、これは偏見だ」と気づけません。
  • 例え話: 「あいつら」って言うと、誰を指しているか文脈で分かるけど、AI は「あいつら」＝「悪い人」とは判断できないのです。
• 言語の混ぜ方（コードスイッチング）
  • 「Hawa watu（スワヒリ語）are destroying everything（英語）」のように、2 つの言語を混ぜて書く投稿があると、AI は混乱して正解できません。
  • 例え話: 日本語と英語を混ぜて喋る人の話を、日本語だけわかる人と英語だけわかる人が同時に聞こうとして、どっちも「何言ってるの？」と混乱しているような状態です。
• 熱い議論と偏見の区別
  • 政治について激しく議論しているだけなのに、「偏見だ！」と間違えて判断してしまうことがあります。
  • 例え話: 「この政策はダメだ！」と怒っているだけなのに、「この国は滅びる！」と叫んでいると勘違いしてしまうのです。

---

4. まとめ：何が分かったのか？

この研究から、以下のことが分かりました。

1. AI の「頭脳（アーキテクチャ） 特定の言語に特化させるより、広く学ぶ AI の方が、少ないデータでも活躍できる。
2. 「基準の調整」が重要： 単に AI を学習させるだけでなく、結果を出す時の「判断基準」を細かく調整するのが、成績を上げるコツ。
3. 無理やり混ぜるとダメ： 英語とスワヒリ語を無理やり一緒に学習させると、逆に性能が落ちることがある（「負の転移」と呼ばれる現象）。

結論として：
偏見をなくすための AI を作るには、ただ「大量のデータ」を詰め込むだけでなく、**「少ないデータにどう注目させるか」「判断基準をどう細かくするか」**という、人間の先生のような「指導の工夫」が大切だということが分かりました。

今後は、この「隠れた偏見」や「言語の混ぜ方」にもっと強くなるように、AI をさらに鍛えていきたいそうです。

技術概要

以下は、SemEval-2025 の Polarization Shared Task への提出論文「Not All Pretraining are Created Equal: Threshold Tuning and Class Weighting for Imbalanced Polarization Tasks in Low-Resource Settings」の技術的な要約です。

1. 問題定義 (Problem)

本論文は、ソーシャルメディアテキストにおける**「分極化（Polarization）」の検出と分類**を目的としています。分極化とは、内集団への盲目的な支持と外集団への敵意を特徴とする意見の鋭い対立を指し、ヘイトスピーチ、ステレオタイプ、非人間的扱い、分断的なレトリックなどとして現れます。

このタスクは以下の 3 つのサブタスクで構成され、英語とスワヒリ語の両言語で評価されます：

1. バイナリ分極化検出: 投稿が分極化コンテンツ（1）か否か（0）を判定。
2. マルチラベル対象タイプ分類: 分極化の標的（政治的、人種/民族的、宗教的、性/性的、その他）を特定。
3. マルチラベル顕在化（Manifestation）識別: 分極化の現れ方（ステレオタイプ、中傷、非人間的扱い、極端な言語、共感欠如、無効化）を特定。

主な課題:

• 極端なクラス不均衡: 特にマルチラベルタスクにおいて、特定のラベル（例：性/性的、非人間的扱い）のサンプル数が極めて少ない。
• 低リソース環境: 低リソース言語（スワヒリ語）におけるデータ不足と、英語とのクロスリンガル転移の難しさ。
• 文脈の複雑さ: 暗黙的な分極化の手がかり、コードスイッチング（英語とスワヒリ語の混在）、熱狂的だが分極化ではない政治的議論との区別が困難。

2. 手法 (Methodology)

著者は、6 つの Transformer アーキテクチャを評価し、クラス不均衡に対処するための特別な戦略を組み合わせました。

2.1 モデル選択

以下の 6 つのモデルを比較評価しました：

• 多言語モデル: TwHIN-BERT, DistilBERT-multilingual, mDeBERTa-v3-base。
• アフリカ言語特化モデル: SwahBERT, AfriBERTa-large, AfroXLMR-large。
• 選択基準: 多言語能力、スワヒリ語特化、ソーシャルメディアのノイズへの耐性。

2.2 不均衡データへの対応戦略

• クラス重み付き損失関数 (Class-Weighted Loss):
  • バイナリタスクでは compute_class_weight を使用し、少数クラスの損失重みを増大させました。
  • マルチラベルタスクでは、各ラベルに対して正例と負例の比率に基づいた重み（$w_{pos,i} = n_{neg,i} / n_{pos,i}$）を BCEWithLogitsLoss に適用し、稀なラベルへの学習を強化しました。
• 反復層化サンプリング (Iterative Stratified Splitting):
  • マルチラベルデータの分割において、各ラベルの分布を維持するために、従来の層化サンプリングではなく、反復的なアルゴリズム（iterative_train_test_split）を使用しました。
• ラベルごとの閾値チューニング (Per-Label Threshold Tuning):
  • 単一の閾値（0.5）ではなく、各ラベルごとに最適な閾値を探索する 2 段階アプローチを採用しました。
    1. 粗い探索: 全ラベルに共通のベース閾値を 0.20〜0.80 の範囲で探索。
    2. 細かい調整: 各ラベルごとに、ベース閾値の前後で微調整を行い、検証セットの Macro-F1 を最大化する閾値を決定。

2.3 前処理

• 絵文字をテキスト記述に変換、URL/メンションの除去、ハッシュタグのテキスト保持、小文字化、128 トークンへのパディング/切り捨て。

3. 主要な貢献と知見 (Key Contributions & Findings)

3.1 アーキテクチャ選択の重要性

• 驚くべき結果: 言語特化モデル（スワヒリ語に特化した SwahBERT など）よりも、汎用的な多言語モデル（mDeBERTa-v3-base）の方が性能が上回りました。
• スワヒリ語タスクにおいて、mDeBERTa-v3-base はスワヒリ語特化モデルより 10〜15 ポイント高い Macro-F1 を達成しました。これは、下流タスクのデータ量が限られる場合、言語特化の前学習よりも、強力な多言語転移能力を持つアーキテクチャの方が重要であることを示唆しています。

3.2 閾値チューニングの劇的な効果

• マルチラベルタスクにおいて、デフォルト閾値（0.5）を使用した場合と比較して、ラベルごとの閾値チューニングにより Macro-F1 が 20 ポイント以上向上しました（例：スワヒリ語のサブタスク 2 で 0.132 → 0.556）。
• 極端なクラス不均衡下では、閾値の最適化がモデル性能を決定づける最も重要なファクターの一つであることが実証されました。

3.3 単純な多言語学習の限界

• 英語とスワヒリ語のデータを単純に結合して学習させた場合、単一言語モデルに比べて性能が 5〜15 ポイント低下しました（ネガティブ転移）。言語間のドメインや表現の違いが、学習を阻害する要因となりました。

4. 結果 (Results)

Codabench 上の公式テストセットでの結果は以下の通りです：

• サブタスク 1 (バイナリ検出):
  • 英語: 0.815 Macro-F1
  • スワヒリ語: 0.785 Macro-F1
  • 検証セットでは mDeBERTa-v3-base が最高スコア（英語 0.8032, スワヒリ語 0.7850 付近）を記録。
• サブタスク 2 (対象タイプ):
  • 英語: 0.341 Macro-F1
  • スワヒリ語: 0.4977 Macro-F1
  • 訓練データとテストデータの分布シフトにより、検証スコアから低下しました。
• サブタスク 3 (顕在化識別):
  • 英語: 0.464 Macro-F1
  • スワヒリ語: 0.556 Macro-F1

5. 誤り分析と課題 (Error Analysis)

システムは以下の点で失敗しました：

• 偽陽性: 激しい政治的議論（例：「この政権は完全に失敗した」）を、外集団への中傷がないにもかかわらず分極化と誤判定する傾向。
• 偽陰性: 暗黙的な分極化（例：「あの人たち」などの婉曲表現）や、英語とスワヒリ語が混在するコードスイッチング（例：「Hawa watu are destroying...」）の検出が困難。
• マルチラベルの混同: 政治的かつ人種的なターゲットを持つ投稿が、単に「政治的」としてのみ分類されるなど、稀なラベル（性/性的など）の F1 スコアが極端に低い。

6. 意義と結論 (Significance & Conclusion)

本論文は、低リソースかつクラス不均衡が激しい分極化検出タスクにおいて、**「モデルのアーキテクチャ選択」と「閾値チューニング・損失重み付け」**が、言語特化の前学習モデルの選択よりも重要であることを実証しました。

特に、スワヒリ語のような低リソース言語においても、汎用的な多言語 Transformer（mDeBERTa）を適切に調整（クラス重み付けと閾値最適化）することで、言語特化モデルを上回る高性能を達成できることを示しました。これは、アフリカ言語を含む低リソース言語の NLP 応用において、リソース集約的な言語特化モデルの開発に頼るだけでなく、既存の強力な多言語モデルと適切な学習戦略の組み合わせが有効であるという重要な示唆を与えています。

今後の課題として、コードスイッチングへの対応、バックトランスレーションによるデータ拡張、プロンプトベースのファウショット学習、アダプターアーキテクチャによるネガティブ転移の回避などが提案されています。