Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、観客が選手に向かってコメントを叫んでいる、大規模で混沌としたスポーツの試合の審判であると想像してください。あなたの仕事は、どのコメントが「攻撃的」であり、沈黙させる必要があるかを判断することです。
この論文は、2種類の審判（ロボット（コンピュータ・アルゴリズム）と、異なる政治的見解を持つ人間）の成績表のようなものです。研究者たちは、特にアメリカの政治に関する話題において、何が侮辱にあたるかを判断する際に、彼らが一致するかどうかを調べようとしました。
以下に、簡単な比喩を用いた研究結果の解説をまとめます。
1. ロボット審判たちはルールに合意できない
研究者たちは、9つの異なるコンピュータ・プログラム（「マシン・モデレーター」）を、YouTubeのニュースチャンネルからの300万件以上のコメントに対してテストしました。
- 比喩： 9人の異なる審判が同じプレーを見ている場面を想像してください。一人は反則として笛を吹き、もう一人は「反則ではない」と言い、三人目は「反いではあるが、青い靴を履いている場合に限る」と言います。
- 結果： ロボットたちは激しく意見が食い違いました。あるコメントが1つのロボットによってのみ不適切とフラグを立てられ、他の8つのロボットには無視されることもありました。実際、コメントのほぼ半分はすべてのロボットによって無視され、ごくわずかな部分だけがすべてのロボットによってフラグを立てられました。これは、何が攻撃的なのかについての単一の「ロボットによる真実」は存在しないということを意味します。
2. 人間審判たちは異なるプレイブックを持っている
研究者たちは、実在の人間（民主党支持者、共和党支持者、無党派層）に、同じコメントを評価してもらうよう依頼しました。彼らには2つの質問をしました。
- 個人的な不快感： 「このコメントは、あなたの感情を傷つけますか？」
- 代理的な不快感： 「このコメントは、相手の政治チームの人々の感情を傷つけると思いますか？」
- 比喩： チームAのファンに、「その侮辱はあなたを傷つけますか？」と聞き、次に「チームBのファンは、その侮刻によって傷つくと思いますか？」と聞くようなものです。
- 結果：
- 人間はロボットよりも互いに一致している： 民主党支持者、共和党支持者、無党派層は、一般的にロボットよりもお互いの理解ができていました。
- 「共感のギャップ」： しかし、人間は「相手の政治的立場」が何を不快に思うかを予測することに関しては非常に不得意でした。
- 共和党支持者の盲点： この研究では、共和党支持者が、民主党支持者や無党派層が何を不快に思うかを予測するのが最も苦手であることが分かりました。逆に、民主党支持者や無党派層も、共和党支持者が実際に何を不快に思うかを理解するのに苦労していました。それは、二つのグループの人々が互いに叫び合っており、相手が間違った音量で叫んでいると確信しているようなものです。しかし実際には、彼らは全く異なる周波数で叫んでいるのです。
3. 「代理的な不快感」の実験
この論文は、**「代理的な不快感（Vicarious Offense）」**という新しい概念を紹介しています。
- 概念： 通常、私たちは自分が不快に感じることだけに注意を払います。しかし、この研究では、「他人の立場に立って、その人が不快に感じるかどうかを予測できるか？」を問いかけました。
- 結果： 研究者たちは、人間が他人の立場に立つこと（予測すること）に関して、驚くほど能力が低いことを発見しました。民主党支持者や無党派層は、共和党支持者が何を不快に思うかについて一致した意見を持っていても、実際に共和党支持者を不快にさせたものは何であったかについては、しばしば間違っていました。彼らは皆、同じコメントを見ていましたが、見ているものは異なっていたのです。
4. 「センシティブなトピック」の罠
研究者たちは、中絶や銃規制といった、ホットな論争となる特定のトピックを調査しました。
- 比喩： もしゲームが一般的なスポーツに関するものであれば、審判たちはルールに合意できるかもしれません。しかし、もしゲームが宗教的または深く個人的なトピックに関するものであれば、笛を持っている誰が誰であっても、ルールは変わってしまうようです。
- 結果： これらのトピックでは、意見の相違がさらに悪化しました。
- 銃に関して、共和党支持者は民主党支持者よりも攻撃的なコメントに対して寛容ではありませんでした。
- 中絶に関して、民主党支持者は共和党支持者よりも寛容ではありませんでした。
- 無党派層は一般的に最も寛容なグループであり、両極端なグループよりも多くのコメントをスルーすることを厭いませんでした。
5. 「ビッグテック」のジレンマ
この論文は、ソーシャルメディア企業にとって混乱を招く現実を浮き彫りにしています。
- ロボット： 彼らは一貫性がありません。ある日はコメントを削除し、翌日には別のロボットがそれを放置することもあります。
- 人間： 彼らは政治によって偏っています。民主党支持者が共和党支持者が問題ないと考えているコメントを削除し、その逆もまた然りです。
- 結論： 何が「攻撃的」であるかについての完璧な「ゴールドスタンダード（黄金律）」は存在しません。誰に尋ねるか（ロボットか、民主党支持者か、あるいは共和党支持者か）によって、答えは完全に変わってしまいます。
まとめ
論文は、オンラインでの発言を監視することは非常に困難であると結論付けています。なぜなら、不快感とは見る人の目（受け手）次第であるからです。
- ロボットは一貫性がなく、しばしばニュアンスを見逃します。
- 人間は政治的なチームによって偏りがあり、「相手のチーム」が何を不快に思うかを予測するのが苦手です。
- 結果： 私たちは、何が「攻撃的」であるかに簡単に合意できない状況に置かれており、オンラインでの政治的な議論を管理するための公平なシステムを構築することを非常に困難にしています。
著者たちは、高度な新しいAI（ChatGPT）を使用して、相手の側が何を不快に思うかを予測できるかどうかをテストしましたが、ChatGPTも人間と同様に苦戦しました。これは、脳にとってもコンピュータにとっても、非常に難しい問題であることを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。