Context-Aware LLM Evaluators for Content Moderation Judgments in a Low-Resource Setting

インターネット上の活気あるデジタル広場では、毎日何百万ものコメントが投稿されており、そこでは「規模の静かな危機」が生じています。かつてはすべての投稿を読み、何を残し何を削除するかを判断していた訓練を受けた専門家である人間のモデレーターたちは、今や圧倒されています。コンテンツの膨大な量により、人間が追いつくことは不可能となりました。しかし、何が有害あるいはトピックから外れた投稿にあたるかというルールは、しばしば微妙であり、特定の会話やコミュニティの規範に大きく依存します。これを解決するために、研究者たちは、人間のようなテキストを理解し生成することができる一種の人工知能である大規模言語モデルに目を向けました。これらのモデルは、かつては人間の独占領域であった投稿へのラベル付けやモデレーションの決定を行う「審判」としての役割を、ますます期待されるようになっています。しかし、決定的な疑問が残っています。機械は果たして、白熱したオンライン上の議論のニュアンスを真に理解できるのか、それとも公平な判断を下すためには全体像を見る必要があるのだろうか、という点です。

この問いを受け、オーストリアの大学の研究チームは、異なる量の情報が与えられたときに、これらの人工的な審判がどの程度うまく機能するかを調査することに乗り出しました。彼らは、特定の困難な環境に焦点を当てました。それは、ドイツ語の新聞のコメント欄です。この環境において、コメントがトピックから外れているのか、差別的なのか、あるいは単なる個人の体験談なのかを判断するには、画面上の言葉を読むだけでは足りません。返信先の記事の文脈や、その会話の一部である履歴を理解する必要があります。研究者たちは、人工知能により多くの文脈（例えば、ニュース記事の全文や、返信の連鎖全体）を与えることが、人間の専門家の判断を模倣する助けになるかどうかを知りたいと考えました。彼らはまた、別の手法もテストしました。モデルに読むべきテキストを増やす代わりに、過去に人間が同様のコメントをどのように判断したかの例を見せることで、効果が得られるかどうかを検証したのです。

答えを見つけるために、チームはオーストリアの新聞『デア・スタンダード（Der Standard）』から集められた100万件以上の膨大な投稿を使用しました。これには、プロの人間によるモデレーターによって採点された、約12,000件の注意深く注釈付けされたコメントの小規模なセットが含まれていました。彼らは、サイズの異なる3種類の人工知能モデルをテストしました。これらは、小さくて高速なモデルから、より大規模で複雑なものまで多岐にわたります。各モデルについて、プロンプトに提供する情報を変えた一連の実験を行いました。あるケースでは、モデルはその問題となっている単一のコメントのみを見ました。別のケースでは、コメントに加えて記事の見出し、記事の全文、または一連の返信の履歴を見せました。また、モデルに対して、過去に人間が同様のコメントをどのように判断したかを示す2つの短い抽出された例（一つはオンラインに残されたもの、もう一つは削除されたもの）を見せる手法もテストしました。

結果は、これらのデジタルな審判がどのように思考しているかについて、微妙な実態を明らかにしました。研究者たちは、文脈は確かに役立つものの、予想とは異なる形で作用することを発見しました。単に大量のテキストをシステムに投入することが、必ずしも良い結果を保証するわけではありません。実際、差別的な表現や不適切な侮辱を見つけるといった特定の判断においては、ニュース記事の全文を加えることがモデルを混乱させ、パフォーマンスを悪化させることがありました。モデルは、会話の履歴（返信や議論の流れ）を見たときにより優れたパフォーマンスを示しました。なぜなら、そこにこそコメントの真の意味が隠されていることが多いからです。しかし、コメントがトピックから外れているかどうかを判断するといった他のカテゴリーについては、元の記事を見ることが不可欠でした。あらゆる状況において機能する「最善の」情報量は存在せず、適切な文脈の量は、モデルが何を判断するように求められているかに完全に依存していました。

おそらく最も驚くべき発見は、過去の人間による決定を見せることが、記事や会話の履歴全体を見せるのと同等に効果的であったことですが、そこには大きな利点がありました。それは、その方法の方がはるかに短く、高速であるということです。研究者が、過去に人間が同様のコメントをどのように判断したかを示す2つの短い例をモデルに与えたとき、モデルはニュース記事や一連の会話スレッド全体を与えられたときとほぼ同等の性能を発揮しました。このリトリーバル（検索・抽出）手法はより信頼性も高く、追加のテキストを加えるとパフォーマンスが低下することもありましたが、この手法はすべてのカテゴリーにおいてモデルの性能を向上させました。過去に人間が同様の問題をどのように解決したかを見せることが、強力なショートカットとなり、膨大な背景テキストを読ませることなく、モデルがコミュニティの基準を学習することを可能にしたのです。

人工知能モデルのサイズこそが、最も決定的な要因であることが判明しました。310億のパラメータを持つ最大規模のモデルだけが、人間の専門家の判断閾値に一貫して一致し、厳しすぎず緩すぎもしないバランスの取れた判断を下すことができました。中規模以下のモデルは著しく苦戦しました。わずか10億のパラメータを持つ最小のモデルは、より多くの文脈や例を与えられても改善することがほとんどなく、時にはそれらを与えると性能が悪化することさえありました。中規模のモデルは、ほぼすべてのコメントを問題があるとフラグ立てするように設定することができ、ほぼすべてを検知できる一方で、多くの誤報（誤検知）も出してしまいました。このことは、小さなモデルは明らかな問題を捉えるための最初のフィルターとしては有用かもしれませんが、単独で人間の判断に取って代わる準備はまだできていないことを示唆しています。微細な境界線を理解するために必要な能力を備えているのは、大規模なモデルだけでした。

特定のデータに基づいて特別に訓練された従来のコンピュータシステムと比較すると、新しいアプローチは、最も重要な安全性の領域において明確な強みを示しました。人工的な審判は、差別的な内容やトピックから外れた内容など、削除につながる稀な有害投稿を特定することにおいて、数千の例を用いて訓練された古いシステムよりも大幅に優れていました。しかし、建設的なコンテンツ（個人の体験談や論理的な意見など）を特定することに関しては、依然として古い訓練済みシステムの方が優れていました。この違いは、新しいアプローチが、人間による訓練データの作成が希少でコストがかかる場合に最も効果的であるという重要な現実を浮き彫りにしています。コミュニティの安全性を定義するような、稀で困難なケースにおいて、スマートな例に導かれた人工的な審判は、限られたデータで訓練されたシステムよりも優れた仕事ができるのです。しかし、一般的なポジティブなやり取りについては、従来の手法が依然として優位にあります。

結局のところ、この研究は、コンテンツ・モデレーションの未来が、単一の完璧な機械によって人間を置き換えることではなく、適切な仕事に対して適切なツールを見つけることにあることを示唆しています。研究によれば、ニュースルームやオンラインコミュニティにとっての最善の戦略は、最大規模のモデルを使用し、膨大なテキストでモデルを圧倒するのではなく、人間が過去に同様の状況をどのように判断したかを示す手法を活用することです。このアプローチにより、ラベル付けされた例の膨大なデータベースが存在しない言語やコミュニティにおいても、拡張可能で信頼性の高いモデレーションが可能になります。これは、適切なモデルを選択し、適切な情報を与えることで、テクノロジーが人間の会話の微妙で文脈依存的な性質を尊重しながら、インターネットの膨大な量を処理できる道筋を示すものです。