BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

インターネットを、誰もが叫んだり、ささやいたり、壁に絵を描いたりしている、巨大で混沌とした広場だと想像してみてください。これらの絵（「ミーム」と呼ばれます）は、単なる面白いジョークであることもあれば、他の時には、見つけるのが難しい、ジェンダーに関する悪意のあるコメントを隠していることもあります。これが、コンピュータサイエンスの一分野である**セクシズム検出（性差別検出）**の世界です。ここでは、機械に「場の空気」を読み、そのジョークが無害なものか、それとも有害なものかを理解するように教えています。

しかし、ここが難しいところです。人間は必ずしも意見が一致するわけではありません。ある人はそのミームを直接的な侮辱だと見なし、別の人はそれを単なる微妙な皮肉のジョークだと考え、三人目の人は何も問題がないと考えるかもしれません。これは**不一致（disagreement）と呼ばれます。かつて、コンピュータは「これは正解だ」という一つの答えを選ぶよう教えられてきました。まるで、たった一つの正解キーを使ってテストを採点する教師のようなものです。しかし、この論文は、人間が一致しない場合、コンピュータは単に一つの答えを推測するのではなく、意見の「広がり」を理解すべきだと主張しています。それは、「雨が降っている！」と叫ぶのではなく、「降水確率60%」と言う天気予報のようなものです。このアプローチは「不一致を伴う学習（Learning with Disagreement）」**と呼ばれ、機械をより微細なニュアンスを理解させ、過剰な自信を持たせないようにする助けとなります。

---

BioSentinelチームの使命：テキストを読み、絵を無視する

BioSentinelチームを紹介しましょう。彼らは、EXIST 2026と呼ばれるハイステークスなコンペティションに参加した研究者グループです。彼らの課題は、ミームを見て、その作成者が直接的（direct）（明らかに性差別的）なのか、批判的（judgemental）（皮肉や微妙なヒントを用いている）なのか、あるいはなし（no）（性差別的ではない）なのかを判断できるロボットを構築することでした。

ひねりは、コンペティションが単に一つのラベルを選ぶことを求めていなかった点です。ロボットが確率分布――つまり、「これは直接的である可能性が70%、批判的である可能性が20%、そして無害である可能性が10%である」といった、高度な言い回し――を吐き出すことを求めていたのです。これは、人間の審査員グループが同じミームに対して異なる投票を行う様子を模倣しています。

戦略：テキストのみの探偵

インドのChandru Munisamy氏率いるチームは、非常に特定のゲームを行うことに決めました。ミームはテキスト付きの画像ですが、彼らは画像を完全に無視することにしました。彼らは、表情や身振り手振りを無視して、会話の書き起こしだけを読む探偵のように振る舞いました。

なぜでしょうか？ 彼らは、乱雑な視覚部分に気を取られることなく、言葉とラベルの不確実性を本当に理解できるようになるかどうかを確認したかったのです。彼らは、XLM-RoBERTaという強力な言語脳（英語とスペイン語の両方を話す2億7千万個のパラメータを持つモデル）を使用し、特別なテクニックを教え込みました。

単にモデルに「これが答えだ」と伝えるのではなく、彼らは2種類の宿題を与えました。

1. ソフトな宿題（The Soft Homework）: 「これが人間たちの投票結果だ。その意見の混ざり具合を正確に再現しなさい。」彼らは、モデルの推測を人間の投票パターンに一致させるために、**KLダイバージェンス（KL Divergence）**という数学的ツールを使用しました。
2. ハードな宿題（The Hard Homework）: 「これが投票の公式な勝者だ。これも確実に正解しなさい。」彼らは、モデルが混乱しすぎないように、標準的なツールである**重み付きクロスエントロピー（Weighted Cross-Entropy）**を使用しました。

これら2つのレッスン（ソフト70%、ハード30%）を混ぜ合わせることで、彼らはモデルが正確であり、かつ人間の不一致を認識できるものにすることを期待しました。

結果：堅実だが、完璧ではないパフォーマンス

BioSentinelチームが公式試験（テストセット）でシステムをテストした際、結果は以下の通りとなりました。

• ソフトラベル・スコア: 彼らは0拍229（ICM-Soft-Normと呼ばれる）を達成しました。これは、単純に「最も多い答えを推測する」だけのロボットが記録した0.2835よりも優れた数値です。
• ハードラベル・スコア: 単一のベストな答えを選ぶためのスコアとして、0.4236（F1スコア）を記録しました。
• ランキング: ソフトラベルの予測を提出した118チームの中で、彼らは40位に入りました。ハードラベルの予測を提出した187チームの中では、49位でした。

チームは、彼らの「ミックス・アンド・マッチ」型のトレーニング手法が機能したことを発見しました。もし「ソフト」なレッスン（KLダイバージェンス）を取り除くと、人間の意見に一致させる能力は劇的に低下しました（0.312から0.142へ）。もし「ハード」なレッスンを取り除くと、単一の答えに対する正確性が低下しました。この組み合わせこそが、彼らの成功の鍵でした。

「批判的（Judgemental）」という苦戦

しかし、ロボットには弱点がありました。それは、**批判的（judgemental）**なセクシズム（微妙で皮肉な種類）を見抜くことに対して非常に苦手としていたことです。この特定のカテゴリーにおけるスコアは、0.071という非常に低いものでした。

なぜでしょうか？ チームは、画像なしでは、ロボットが「オチ」を見逃してしまうことに気づきました。これらのミームの多くは、風刺画や特定の表情といった視覚的なジョークに依存しています。テキストだけでは説明できないのです。例えば、「家族のテーブルに座って……」というテキストは、一見無害に見えますが、もし写真が「父親が一番大きな魚を受け取り、母親が一番小さな魚を受け取っている」様子を示していれば、ジョークの内容は明らかになります。画像がなければ、ロボットはただのニュートラルな文章としてしか認識できません。

また、チームはロボットの学習過程についても興味深いことに気づきました。最初の2日間のトレーニング中、ロボットは「批判的」だと一度も推測しませんでした。「無害」と「直接的」の違いを学習した後になって初めて、このトリッキーなカテゴリーを理解し始めたのです。これは、微妙な内容が最も学習が難しく、より多くの時間や特別な訓練が必要であることを示唆しています。

行わなかったこと（そして、なぜそれが重要なのか）

この論文は、自分たちが行わなかったことについても非常に正直に記述しています。彼らは、コンペティションの主催者が提供した脳波（EEG）データや視線計測データを使用しませんでした。理由は、トレーニングセットとテストセットの間でデータが一致していなかったためです。また、より大規模で複雑なモデルも使用しませんでした。なぜなら、彼らの特定のセットアップにおいては、それらのモデルは不安定になり、混乱を招いたからです。

彼らはまた、「温度（temperature）」設定（ロボットの推測をより確信を持たせたり、あるいは控えめにしたりする調整つまみ）についてもテストを行いました。練習用テストでは、このつまみを0.7に設定することで、人間の意見に一致させる能力がわずかに向上し（スコアが0.317から0.326へ）、自信の度合いがより現実的になりました。しかし、最終的な公式テストでは、安全のために標準的な設定を維持しました。

まとめ

BioSentinelチームは、人間の不一致を尊重するように教え込む限り、テキストだけでまともなセクシズム検出器を構築できることを示しました。「ソフト」なレッスンと「ハード」なレッスンを組み合わせることで、彼らは従来のメソッドよりも、人間の意見のグレーゾーンを理解できるモデルを作り上げました。

しかし、この論文は警告もしています。もし、巧妙で皮肉なジョークを捕まえたいのであれば、テキストを読むだけでは不十分です。絵を見る必要があります。ロボットが「批判的」なカテゴリーで苦戦したことは、視覚的な文脈こそが、ジョーク（あるいは侮辱）を成立させる唯一の要素である場合があることを証明しています。チームは、将来のロボットは、物語の全容を把握するために、言葉と画像の両方を見るべきであると示唆しています。