Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

インターネットは、あらゆる文化の人々が自らの考えを共有する広大なグローバルな街角となりましたが、この開かれた空間は、有害な言葉が驚くべき速さで拡散することを許してしまっています。こうした「ヘイトスピーチ」として知られる有害なメッセージを検出することは、コンピュータにとって困難な作業です。なぜなら、単に言葉そのものだけでなく、その背後にある意図や文脈を理解する必要があるからです。これは、厳格な規則に従っていなかったり、コンピュータが学習するための事前定義されたライブラリが豊富になかったりする言語において、特に顕著です。ラテン文字を用いてウルドゥー語を表記する方法である「ローマン・ウルドゥー」は、そのような言語の典型的な例です。ローマン・ウルドゥーはパキスタンや世界中のウルドゥー語話者の間で何百万人もの人々によって話されていますが、多くの場合、書き手によって綴りや文法が不統一で、非公式な形式をとります。標準的なコンピュータプログラムは、このような構造の欠如に苦戦するため、研究者たちは、膨大なデータや高価なスーパーコンピュータを必要とせずに、こうした乱雑で現実世界のテキストの中からヘイトスピーチを見つけ出すための、より軽量な方法を模索しています。

トニーマ・ズベア（Toneema Zubair）という研究者は、コンピュータに無害なコメントと有害なコメントを区別させるための最善の方法はどれかを判断するために、3つの異なる手法をテストすることで、この課題に取り組みました。この研究は、ソーシャルメディアから収集された7万2,000件以上のコメントを含む特定のデータセットに焦点を当てており、その大部分は無害ですが、少数の部分は毒性のある言語を含んでいました。最初にテストされた手法は、大規模な学習済みコンピュータモデルに対し、追加のトレーニングなしで答えを推測させるという単純な方法であり、「ゼロショット・プロンプティング」として知られる技術です。2番目の手法は、モデルに答えを推測させる前に、何を探すべきかの例をいくつか与えるもので、「フューショット・プロンプティング」と呼ばれます。3番目の手法は、「パラメータ効率の良いファインチューニング（PEFT）」として知られる、よりテクニカルなアプローチです。これは、モデル全体をゼロから再学習させるのではなく、ローマン・ウルドゥーのヘイトスピーチ特有のパターンを学習させるために、モデルの内部設定に対して非常に小さく標的を絞った調整を行うものです。

結果は、助けなしにコンピュータに推測させるだけの方法は、しばしば信頼性に欠けることを示しました。モデルを放任すると、言語があまりにも非公式であり、かつデータセットが無害なコメントに大きく偏っていたため、無害なコメントを毒性があると誤判定したり、実際のヘートスピーチを見逃したりすることが頻繁にありました。しかし、研究者がモデルに対して、ガイドとなる数個の手本を与えると、性能は大幅に向上しました。最も一貫性があり信頼できる結果をもたらしたのは、モデルに対して小さく精密な調整を行った手法でした。これらの軽量な更新によってモデルをファインチューニングすることで、コンピュータは、単なる例示や助けなしの場合よりも、ローマン・ウルドゥーの微妙なニュアンスをはるかに上手く認識できるようになりました。このアプローチにより、モデルは高いレベルの正確性を達成し、他の手法では到達できなかったバランスをもって、毒性のあるコメントと毒性のないコメントの両方を正しく識別することができました。

また、この研究では、特定の文章構造を用いたり、プロンプトに不可視の学習可能なトークンを追加したりするなど、コンピュータへの質問の構成方法についても調査しました。これらのバリエーションは有望であり、少量のデータで良好な結果を示すこともありましたが、モデルの内部設定を調整する手法を一貫して上回ることはありませんでした。この研究は、強力なコンピュータモデルにいくつかの例に基づいて推測させることは、迅速でリソース消費の少ない選択肢ではあるものの、予測不可能なものになり得ることを示唆しています。対照的に、モデル自体に小さく効率的な変更を加えることは、より安定した堅牢な解決策を提供します。この発見は、データが乏しく計算能力が限られている地域において、オンラインコンテンツをモデレートするための実用的な道筋を示すものであり、大規模でエネルギー消費の激しい学習セッションを必要とせずに、有害な発言を特定できるようにするものです。