Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

大きな構図：文化的感情の翻訳者

インターネットが、巨大で騒々しい町の広場だと想像してみてください。この広場には、2つのグループの人々がいます。マジョリティ（多数派）（最も一般的な声を持つ人々）と、マイノリティ（少数派）（規模が小さく、しばしば見過ごされがちなグループ）です。

時として、マジョリティの人々は、技術的に「ヘイトスピーチ」（罵詈雑言を叫ぶことなど）には当たらないものの、それでもなお人を傷つける発言をすることがあります。彼らは、意図せずしてマイノリティの文化、宗教、あるいは歴史を消し去ったり、軽視したりするようなジョークや決めつけ、コメントを投げかけることがあります。それは、例えば誰かが「その変な帽子、ダサいね」と言ってしまうようなものです。その帽子が、持ち主にとっては神聖な冠であるということに気づかずに。

問題は、町の広場の「用心棒」（コンテンツ・モデレーション・システム）が、通常マジョリティによって訓練されていることです。彼らはマイノリティの視点を理解していないため、こうした微妙な傷つきを見逃してしまうことがよくあります。マイノリティが深く傷ついているときでも、彼らは「このコメントは問題ありません」と言ってしまうのです。

この論文は、用心棒たちがマイノリティの視点を理解できるように設計された新しいツール、Mod-Guideを紹介しています。

問題点：「ヴェール」と「欠けている辞書」

著者たちは、なぜこのようなことが起こるのかを説明するために、2つの強力なメタファー（比喩）を用いています。

1. ヴェール（幕）： マジョリティとマイノリティを隔てる、厚く目に見えないカーテンを想像してください。マジョリティはマイノリティの真の感情を見ることができず、マイノリティは理解されていないと感じています。
2. 解釈学的不義（Hermeneutical Injustice）： これは、マイノリティに「辞書が欠けている」ということを格好良く言った表現です。彼らには経験や感情がありますが、インターネット（およびAI）の「公式な言語」には、それらの経験がなぜ苦痛をもたらすのかを記述するための言葉が存在しません。

このため、標準的なAIモデル（現在ソーシャルメディアサイトで使用されているものなど）は、「不適切な発言」を検知することに失敗することがよくあります。彼らは言葉は見えていても、その背後にある「意味」を見落としているのです。

解決策：「コミュニティ・ライブラリー」の構築

これを解決するために、研究者たちは単にAIに推測させたのではありません。代わりに、彼らは情報の源泉へと赴きました。

ステップ1：ストーリーテラー（コーパス）
研究者たちは、バングラデシュの2つの特定のマイノリティ・グループ、すなわちヒンドゥー教徒（宗教的マイノリティ）とチャクマ族（先住民族としての民族的マイノリティ）から22名のメンバーを集めました。

• 彼らは、コミュニティのメンバーに対し、自分たちを傷つけたオンライン上のコメントの例を共有するよう依頼しました。
• 決定的なのは、コミュニティのメンバーは単に「これは悪い」と言っただけではないということです。彼らは説明を書きました。自分たちの宗教的テキスト、歴史、そして実体験を用いて、なぜそれが悪いのかを説明したのです。
• 比喩： 単なる「禁止用語のリスト」があるのではなく、傷ついた人々自身が書いた本が並んでいる図書館を想像してください。そこには、特定の文章がなぜ「腹を殴られたような衝撃」を与えたのか、その理由が詳しく記されています。

ステップ2：ツール（Mod-Guide）
研究者たちは、Mod-Guideと呼ばれるツールを構築しました。これは、コンテンツ・モデレーターのためのスマートなアシスタントだと考えてください。

• 脳（Brain）： これは強力なAI（GPT-4）を使用しています。
• 記憶（RAG）： これが秘伝のソースです。AIが一般的な学習に基づいて推測するのではなく、Mod-Guideは回答する前に、必ず**「コミュニティ・ライブラリー」**（ステップ1で作られたコーパス）を開くように強制します。
• ロールプレイ： AIはフィードバックを与えるために、異なる「帽子」（ペルソナ）を被るよう求められます。時には教師（教育しようとする）、時には調停者（争いを鎮めようとする）、あるいは裁判官（裁定を下そうとする）として振る舞います。

実生活での仕組み

論文から例を見てみましょう。

• 不適切なコメント： あるユーザーが、「私は偶像を守ることを信じていない。私が信仰を持ってきたのは、それらを守るためではなく、守護するためにだ」と投稿しました。（これは、偶像を神聖なものとみなすヒンドゥー教徒にとって非常に失礼な表現です）。
• 標準的なAI： 「これは単なる意見であり、問題ありません」と言うかもしれません。
• Mod-Guide（ライブラリーを活用した場合）： AIはヒンドゥー教徒のメンバーによる説明を調べます。そして、彼らにとって偶像は単なる「像」ではなく、神への架け橋であることを理解します。
• 結果： Mod-Guideはユーザーに対し、「このコメントは、多くの人々にとって偶像の神聖な性質を軽視しているため、不適切である可能性があります。より敬意を払った表現にするには、このように言い換えることができます」と伝えます。

研究結果

研究者たちは、標準的なAIとMod-Guideを比較テストし、以下のことを発見しました。

1. 出力の変化： AIが「コミュニティ・ライブラリー」（RAG）を使用すると、その回答は標準的なAIとは全く異なるものになります。AIは文化的なニュアンスに対してより敏感になります。
2. 精度の向上： マイノリティ・コミュニティの専門家が回答をレビューしたところ、標準的なAIはしばしば「浅い」か、あるいは本質を見逃していると指摘しました。一方、Mod-Guideの回答はより深く、彼らの文化に関して事実としてより正確でした。
3. 誰がそれを好むか？
   • 民族性が重要： 先住民族（チャクマ族）の人々は、マジョリティの人々よりも、このフィードバックをはるかに有用だと感じました。
   • 宗教はそれほど重要ではなかった： 興味深いことに、ヒンドゥー教徒であれムスリムであれ、その人がツールをどれほど有用だと感じたかに違いはありませんでした。それは、彼らの民族的背景に依存していました。
   • 「教師」と「調停者」の帽子： AIが厳格な裁判官として振る舞うよりも、教師や調停者として振る舞うときの方が、フィードバックは最も役に立ちました。

限界（注意点）

著者たちは、このツールがまだ「できないこと」についても正直に述べています。

• 規模が小さい： 彼らが構築した「ライブラリー」は小さいものです（132の例）。それは、数ページしかない辞書のようなものです。彼らが研究した特定のグループについてはうまく機能しますが、世界中のあらゆる侮辱や他のマイノリティ・グループをカバーできるわけではありません。
• 魔法ではない： このツールには依然として人間の監視が必要です。特に非常に複雑な内容や視覚的なコンテンツ（テキストを含む画像など）については、完全に人間の判断に取って代わることはできません。
• バングラデシュに特化している： 今回の知見は、バングラデシュのヒンドゥー教徒とチャクマ族に特化したものです。これが自動的に他国のマイノリティの問題を解決するわけではありませんが、その「手法」自体は応用可能です。

大きな教訓

この論文は、インターネットを公平にするためには、単に巨大で一般的なAIモデルに頼るだけでは不十分であると主張しています。私たちは、ローカルで、コミュニティ固有の知識のライブラリーを構築する必要があります。

AIに、実際に傷ついている人々によって書かれた「辞書」を与えることで、何気ないコメントと、深く失礼なコメントの違いを理解させることができるのです。それは、「処罰」（人々を禁止すること）から、「修復的司法」（人々が互いに理解し合い、関係を修復するのを助けること）への移行を意味しています。

要約すると： Mod-Guideは、AIに対し、守るべき人々が何を必要としているかを推測するのではなく、人々の声に耳を傾けることを教えるためのツールなのです。