MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

以下は、論文「MemeScouts@LT-EDI 2026: Asking the Right Questions - Prompted Weak Supervision for Meme Hate Speech Detection」の詳細な技術的サマリーです。

1. 問題定義

ミームにおけるヘイトスピーチの検出は、そのマルチモーダルな性質（テキストと画像の組み合わせ）と、皮肉、アイロニー、共有知識などの文化的に根ざした手がかりへの依存により、複雑な課題となっています。

• 既存アプローチの限界: ビジョン・言語モデル（VLM）を直接エンドツーエンドでプロンプトすることは、しばしば不安定です。単一の予測で、対象の特定、スタンス、暗喩性、アイロニーを同時に解決する必要があり、多言語環境では困難を極めます。
• 多言語・文化的ギャップ: 標準的なモデルは、微妙な文化的ニュアンス、俗語、および英語、ヒンディー語、中国語など異なる言語における同性愛嫌悪やトランス嫌悪の特定の表現に対して苦戦します。
• コスト: 特定タスクのための大規模モデルのファインチューニングには、高い計算コストとデータコストが伴います。

2. 手法：プロンプト付き弱教師あり学習（PWS）

著者らは、ミーム分類という複雑なタスクを構造化された質問ベースのラベリング関数（LFs）に分解する**プロンプト付き弱教師あり学習（PWS）**フレームワークを提案します。単一のエンドツーエンドのラベルの代わりに、このシステムは下流の分類器のための構造化された特徴を生成します。

コアパイプラインの構成要素:

1. 質問生成（ラベリング関数）:
   • チームは、ヘイトスピーチの補完的な側面（対象の特定、明示的/暗黙的ヘイト、語り手のアイデンティティ、スタンスなど）を捉えるよう設計された59 の初期質問（後に 89 問に拡張）を構築しました。
   • 回答は、構造化された出力を確保するため、二値、順序、またはカテゴリカルな選択肢に制限されます。
2. 特徴抽出:
   • 量子化された Qwen3-VLM（Qwen3-VL-30B-A3B-Instruct、nf4-量子化）が、各ミームに対してこれらのターゲット質問に回答するために使用されます。
   • モデルはミーム画像と特定の LF 質問を受け取ります。
   • 応答は整数にマッピングされ、各ミームに対して特徴ベクトルが作成されます。
3. 分類:
   • 軽量なランダムフォレスト分類器（500 個の推定器）が、各言語に対してこれらの特徴ベクトルに基づいて訓練されます。
   • モデルは、不均衡なデータセットを処理するためにバランスの取れたクラス重みを使用します。
4. 反復的改善:
   • AddLF（ラベリング関数の拡張）: チームは誤分類された例を分析し、初期の LF で捉えられていなかった反復的なパターン（例：語り手のアイデンティティ）を特定し、30 の新しい質問を追加しました。
   • プルーニング戦略: 冗長性とノイズを削減するために 2 つの方法が採用されました。
     • F1Prune: 検証セットの Macro-F1 が向上する場合、特徴を 1 つずつ貪欲に削除します。
     • ImpPrune: ランダムフォレストの特徴重要度スコアに基づき、最も重要度の低い上位 $k$ 個の特徴を削除します。

3. 主な貢献

• 新規フレームワーク: 不安定なエンドツーエンドのプロンプトを、構造化された解釈可能な質問ベースの特徴に置き換える、マルチモーダルヘイトスピーチ検出のための PWS アプローチの導入。
• 多言語性能: この手法は、特に低リソースまたは文化的に異なる言語（中国語とヒンディー語）において、直接の VLM 分類を大幅に上回ります。
• 解釈可能性: 特徴重要度の分析と（UMAP による）クラスタリングを通じて、著者らはモデルがなぜ意思決定を行うのかについての洞察を提供し、ラベリング関数間の冗長性と補完性を明らかにしています。
• 最先端の結果: システムは LT-EDI 2026 共有タスクで上位にランクインしました（英語で 1 位、中国語で 2 位、ヒンディー語で 3 位）。

4. 実験結果

このシステムは、LT-EDI 2026 同性愛嫌悪およびトランス嫌悪ミーム分類データセット（英語、ヒンディー語、中国語）で評価されました。

• 性能差: PWS アプローチは、直接の VLM プロンプトを大幅に上回りました。この差は、直接プロンプトが苦戦した中国語とヒンディー語で最も顕著でした（0.32 と 0.21 対 0.72 と 0.67）。
• 改善の影響:
  • AddLFは、特に非英語言語において、性能を一貫して向上させ、または維持しました。
  • ImpPruneは、言語ごとの性能において F1Prune よりも効果的でした。ヒンディー語では特徴を 89 個から 33 個に削減しながらスコアを向上させており、多くの初期 LF がノイズを含んでいるか冗長であったことを示しています。
• クロスリンガル分析:
  • F1Pruneは、主に言語固有の特徴（言語間でのジャッカード類似度が低い）を削除しました。
  • ImpPruneは、多くの共有された無情報な特徴（高いジャッカード類似度）を削除し、性能を阻害する言語に依存しない「弱いシグナル」の存在を示唆しました。

5. 意義と洞察

• RQ1（有効性）: プロンプト付き弱教師あり学習は、単一ショットの VLM プロンプトの不安定性に対する堅牢性を提供する、ミームヘイトスピーチ検出のための優れた戦略です。
• RQ2（言語/文化）: この手法は多言語性能を向上させますが、分析により、英語中心の LF（西洋のクィア問題に関する視点に反映されたもの）は完全に転用可能ではないことが明らかになりました。ただし、プルーニングは言語固有のシグナルを分離するのに役立ちます。
• RQ3（モデルの挙動）: 特徴分析により、LF の小さなサブセットが予測重みの大部分を担っていることが示されました。一部の特徴は冗長です（例：性的指向についてわずかに異なる方法で質問すること）、一方、他の特徴は補完的な情報を提供します（例：中立的なスタンスを区別すること）。
• 限界と今後の課題:
  • 文化的バイアス: LF は主に西洋の視点から設計されており、ヒンディー語や中国語における文化的に固有の指標を見落としている可能性があります。
  • OCR: 専用の OCR ステージがないため、画像に埋め込まれたテキストは画像と共同で処理され、誤りを引き起こす可能性があります。
  • 今後の方向性: 高価な再トレーニングなしで汎用性を向上させるため、明示的な OCR、文化的に適応したプロンプト、LF 設計における多様な視点の導入を検討します。

結論

この論文は、複雑なマルチモーダルタスクをターゲットの質問に分解することが、より堅牢で解釈可能なヘイトスピーチ検出を可能にすることを示しています。特徴抽出に量子化された VLM を、集約に軽量な分類器を活用することで、著者らは多言語共有タスクにおいて最先端の結果を達成し、単一ショットで「正しい答えを推測する」ことよりも「正しい質問をすること」の方が効果的であることを証明しました。