💬 NLP

GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages

パラメータ効率の良い微調整、フューショット・プロンプティング、および検索拡張コンテキストによって強化された12BパラメータのGemma-3モデルを活用したGemDetoxシステムは、高リソース言語と低リソース言語の両方において毒性のあるテキストを中立的なパラフレーズへと効果的に書き換えることで、CLEF 2025 TextDetoxチャレンジにおいてトップランキングを獲得しました。

原著者： Trung Duc Anh Dang, Ferdinando Pio D'Elia

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Trung Duc Anh Dang, Ferdinando Pio D'Elia

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ソーシャルメディアを、活気に満ちた巨大な街の広場だと想像してみてください。時には、人々が侮辱を叫んだり、ヘイトを広めたり、不快な言葉を使ったりして、他の人々を不安にさせることがあります。コペンハーゲン大学の「GemDetox」チームは、人々の発言を封殺することなく、この広場を掃除するためのデジタルな「平和維持官」を作り上げました。

彼らがどのように行ったのか、分かりやすく説明します。

ミッション：メッセージを消さずに、汚れを掃除する

課題は、毒のある言葉（侮辱や蔑称など）を含む単一の文章を受け取り、元の意味を維持したまま、丁寧で中立的な響きになるよう書き換えることでした。

比喩： 誰かが「お前は役に立たないバカだ！」と叫んでいる場面を想像してください。目標は、その文章を丸ごと削除すること（それは検閲になってしまいます）でも、話題を変えることでもありません。代わりに、システムはそれを「あなたのパフォーマンスに不満を感じています」と書き換えます。怒りは消えましたが、不満の内容は残っています。

頭脳：記憶を持つ超翻訳者

チームはゼロから新しい脳を作ったわけではありません。彼らは、Gemma-3（120億の「ニューロン」またはパラメータを持つ）と呼ばれる、非常にスマートな既存のAIモデルを使用しました。このモデルを、英語、スペイン語からタタール語、ヒングリッシュ（ヒンディー語と英語の混合）まで、15の異なる言語を流暢に話すポリグロット（多言語話者）だと考えてください。

しかし、このポリグロットには、特定の仕事、つまり**「いかに礼儀正しくあるか」**を学ぶ必要がありました。

トレーニング：AIに優しさを教える

AIに教えるために、チームは3つの異なる手法を用いて特別なトレーニングマニュアルを作成しました。

人間のハンドブック： 彼らは、毒のある文章をどのように「素敵な文章」に変えるかを示す、人間によって書かれた3,600の実際の例からスタートしました。
機械翻訳機： 6つの言語については人間の例が不足していたため、彼らは機械翻訳を使用して、これら3,600の例を足りない言語へと変換しました。これは、レシピ本のコピーを取り、材料リストを新しい言語に翻訳するようなものです。
練習ドリル： AI自身を使って追加の練習用文章を生成しましたが、非常に厳格にフィルタリングを行いました。もしAIの書き換えが元の侮辱に似すぎている場合（例えば、一文字だけ変えただけの場合など）、それは破棄しました。単に意味は同じだが、見た目が明らかに異なるものだけを残しました。

「思考」のトリック：
チームは、AIに**Chain-of-Thought（思考の連鎖）**と呼ばれる特別な考え方を教えました。答えをただ推測するのではなく、AIは話す前に4つのステップのチェックリストに従うよう促されました。

不適切な言葉を特定する。
その文章が実際には何について書かれているかを理解する。
丁寧な言葉を使って書き換える。
新しい文章が失礼なものでないかダブルチェックする。

結果：多くの言語での勝利、しかし一部では……

彼らがコンペティションでテストを行った際の結果は以下の通りです。

勝者： 彼らのシステムは、データが豊富な言語（英語、ドイツ語、フランス語など）を中心に、ほとんどの言語で1位を獲得しました。
苦戦： システムは、「低リソース言語」（アムハラ語やタタール語のように、利用可能なデータが少ない言語）においてより苦戦しました。これらのケースでは、AIが意味不明な文章を生成したり、微妙な侮辱を見逃したりすることがありました。
格差： チームは、AIのパフォーマンスに最も大きな影響を与える要因は、単純にその言語にどれだけのデータが存在するかであることを見出しました。学習用の例がたくさんあればAIは素晴らしく機能し、少なければつまずいてしまいました。

現実的な検証：完璧ではない

著者たちは、その欠点についても正直に述べています。

「判定員」の不一致： 別の高度なAIに彼らの成果を採点させたところ（人間の判定員の役割をさせた場合）、彼らのシステムは1位から3位に順位を下げました。これは、彼らのシステムがルールに従うことには長けているものの、何が真に攻撃的であるかという「人間らしい感覚」を見逃している可能性があることを示唆しています。
文化的盲点： AIは標準的な言語で訓練されていたため、スラングや地域特有の侮辱を見逃すことがありました。例えば、アルゼンチン特有の「価値がない」を意味するスラングを見逃しました。
バイアスの問題： 使用した基礎となるAIモデルは、私たちが目にすることのできない膨大なインターネットデータで訓練されています。これは、チームが完全には修正できなかった、AIに組み込まれたバイアスが既に存在している可能性があることを意味します。

まとめ

GemDetoxチームは、15の異なる言語でソーシャルメディアの有害な投稿を自動的にクリーンアップできる強力なツールを構築しました。このツールは、学習するためのデータが多く、AIに「ステップ・バイ・ステップで考える」よう教えた場合に最もよく機能します。完璧ではなく、複雑な文化的ニュアメントには依然として苦戦していますが、表現の自由を封じることなく、モデレーターがオンライン空間を安全に保つのを支援する上で、重要な一歩となっています。

技術要約：TextDetox CLEF 2025 における GemDetox

問題提起
本論文は、ソーシャルメディアプラットフォームにおける自動テキスト・デトックス（毒性除去）の緊急の必要性、特に PAN 2025 多言語テキスト・デトックス・チャレンジの文脈における課題に取り組んでいる。このタスクは、15の類型論的に多様な言語において、毒性のある単一文の入力を、元の意味を保持しつつ中立的なパラフレーズへと書き換えることを目的としている。本チャレンジは「明示的な毒性」（意味のある中立的な内容を含む、卑猥または攻撃的な語彙）に限定されており、皮肉や隠語的なヘイトスピーチなどの「暗示的な毒性」は除外されている。極めて困難な点は、高リソース言語（英語、スペイン語など）と低リソース言語（タタール語、ヒングリッシュ、アムハラ語など）の間の格差であり、データの不足がモデルの性能を阻害することが多い。

手法
著者らは、12Bパラメータの Gemma-3 多言語トランスフォーマーに基づいたシステム「GemDetox」を提案している。その手法は、以下の3つのコアコンポーネントで構成されている。

データ構築と拡張:
- 人間による作成データ: システムは、9つの言語にわたる3,600組の毒性・中立の並列ペアを含む、主催者提供の ParaDetox-9 コーパスを利用する。
- 機械翻訳による拡張: 元のコーパスに欠けている6つの言語（イタリア語、フランス語、ヘブライ語、ヒングリッシュ、日本語、タタール語）をカバーするため、著者らは RLM-Hinglish および NLLB-200 を用いて元の3,600組のペアをすべて翻訳し、21,600組の合成ペア（ParaDetox-MT6）を生成した。
- 合成生成: 追加の教師データは Multilingual Toxicity Dataset から導出された。モデルは毒性のみを持つ文章に対して中立化の候補を生成し、それらは語彙的な分岐と意味の保存を確実にするため、Jaccard 類似度の閾値（機械翻訳は $\ge 0.90$ 、合成データは $\ge 0.80$ ）に基づいてフィルタリングされた。
- 文脈的強化: 学習および推論中、入力は3つの LaBSE によって検索された意味的近傍と、ルールベースの検出器によって抽出された明示的な毒性スパンのアノテーションによって強化される。
モデルアーキテクチャと学習:
- ベースモデル: 24 GB の VRAM に収まるよう 4-bit 精度に量子化された Gemma-3-12B-Instruct。
- パラメータ効率の高い微調整 (PEFT): 著者らはランク 16 の Low-Rank Adaptation (LoRA) を採用し、全パラメータのわずか 0.55%（約65M）のみを学習可能とした。アダプターは、すべての言語、アテンション、および MLP サブモジュールに挿入された。
- 3フェーズ学習戦略:
  - フェーズ 1: 全15言語にわたる微調整を行い、ベースラインのアライメントを確立する。
  - フェーズ 2: 並列の人間によるアノテーションが欠如している言語のデータに対して特化した微調整を行い、破滅的干渉を防ぐ。
  - フェーズ 3: 高品質な合成データ（Jaccard > 0.9 でフィルタリング済み）を用いた微調整を行い、性能をさらに精緻化する。
- プロンプティング戦略: システムは、4ステップの Chain-of-Thought (CoT) プロンプティング指示（毒性の特定、意味の検索、中立的な書き換え、非毒性の検証）と、学習コーパスから検索された（意味的に最も近い3つの近傍を用いた）few-shot 例を組み合わせて利用する。
推論:
- システムは、入力ごとに3つの書き換え候補をサンプリングする。最終的な出力は、スタイル転送精度 (STA)、内容保持 (LaBSE による SIM)、および流暢さ (xCOMET) を用いて計算された結合スコア ( $J$ ) が最も高いものに基づいて選択される。

主な結果

自動評価: GemDetox システムは、高リソース言語グループおよび低リソース言語グループの両方で総合1位となった。人間によるアノテーションがある言語では 0.685、ない言語では 0.643 の結合スコア ( $J$ $J$ ) を達成した。
- ドイツ語 ( $J=0.798$ ) とフランス語 ( $J=0.802$ ) で性能がピークに達した。
- アブレーション研究により、few-shot 例が結合スコアを +0.081 向上させ、基本的な CoT プロンプティングが +0.088 加算したことが示された。
LLM-as-a-Judge による評価: 人間の好みに基づいて微調整された Llama-3.1-8B-Instruct を判定器として再評価したところ、システムのランキングは両方のサブグループで3位に低下し、平均 $J$ は 0.7669 となった。これは「ゴールデン・アノテーション」のスコア (0.8233) よりも有意に低いが、他のトップチームに対しては競争力のある数値であった。
統計分析: ANOVA 分析により、「言語リソースの状態」が最も強力な予測因子であること（ $\eta^2 = 0.667, p < 0.01$ ）が明らかになり、次いで系統的所属（ $\eta^2 = 0.592$ ）であった。

意義と主張
本論文は、その主要な貢献は、大規模な多言語モデルのパラメータ効率の高い微調整を、戦略的なデータ拡張およびプロンプティングと組み合わせることで、デトックス・タスクにおける高リソース言語と低リソース言語の性能格差を効果的に埋められることを示したことにあると主張している。

著者らは、彼らのアプローチが強力な自動結果を達成した一方で、データ拡張による利得は「それらが設計された低リソース言語において特に顕著であった」と控えめに述べている。また、システムの性能は事前学習済み Gemma-3 モデルの基礎能力に大きく依存していることも認めており、ゼロショットの mT0 ベースラインがすでに競争力のあるスコア (0.675) を達成していた。

論文は、システムが低リソース言語の格差を縮小することには成功したものの、定性的分析により、以下のような持続的な課題が明らかになったことを強調している：

ヒングリッシュのような混合スクリプト言語における複合的な毒性の検出失敗。
アムハラ語のような非常に低リソースな言語における、意味をなさない出力の生成。
政治的にデリケートな文脈（例：ヘブライ語）における、毒性の定義の曖昧さがもたらす過剰または過少なデトックス。

著者らは、堅牢なデトックスには、事前学習、事後学習、および評価の各段階におけるバイアスを考慮した適応が必要であると結論付けており、基盤モデルの学習コーパスにおける構造的なバイアスは不可逆的であり、ダウンストリームでしか緩和できないと指摘している。今後の展望として、創造的な隠蔽や新興のスラングに対処するために、選好ベースの最適化（例：DPO, GRPO）や多段階の推論パイプラインを探索すべきであると示唆している。