Semantic Hashtag LDA for Clustering Short Texts: Twitter Use Case

ソーシャルメディアは、あらゆる瞬間を潜在的な放送へと変えることで、私たちの生活の共有方法を一変させました。Twitterのようなプラットフォームでは、ユーザーはニュースや意見、あるいは日常の観察事項を共有するために、多くの場合わずか数文程度の短いメッセージを投稿します。これらの投稿は非常に短いため、長い記事や本に見られるような文脈が欠けていることが多く、コンピュータがその真の主題を理解することを困難にしています。この情報の氾濫を整理するために、ユーザーは「ハッシュタグ」と呼ばれる特別なラベル（シャープ記号で始まる言葉）をよく追加します。これは投稿のテーマを素早く要約する役割を果たします。しかし、これらのラベルは機械ではなく人間によって作成されるため、同じ出来事が数十通りの異なる方法でタグ付けされたり、あるいは単一のタグが全く無関係なトピックに使用されたりすることもあります。データサイエンス分野の研究者たちは、これらの短く混沌としたメッセージを意味のあるカテゴリーへとグループ化する、より優れた方法（クラスタリングとして知られるプロセス）を常に模索しており、それによって根底にある物語やトレンドを発見し、理解しようとしています。

ウルム大学とボーツェン・ボルツァーノ自由大学の研究チームは、これらの短いメッセージを分類するための新しい手法を開発することで、この課題に取り組みました。彼らは特定の課題に焦点を当てました。それは、長い文書にはうまく機能する標準的なコンピュータモデルが、短いテキストのグループ化を試みる際には、単一のツイートの中にトピックを決定するための情報が少なすぎるために失敗してしまうという点です。研究者たちは、単一のツイートはあまりに簡潔すぎるかもしれませんが、同じハッシュタグを共有するツイートの集合体であれば、明確なテーマを明らかにするのに十分な文脈を提供できることに気づきました。彼らの目標は、これらの関連するメッセージを集め、ノイズを取り除き、ハッシュタグをガイドとして使用して、より大規模で情報量の多いテキストグループを作成できるシステムを構築することでした。

彼らのアイデアをテストするために、チームは2017年10月の10日間にわたって、約900万件のツイートを収集しました。彼らはすぐに、これらすべてのデータが有用であるわけではないことに気づきました。膨大な大多数、つまり約81パーセントのツイートにはハッシュタグが全く含まれておらず、彼らの特定の手法を用いることが不可能でした。また、スパムや低品質な投稿、例えばハッシュタグのみが含まれるメッセージや、過剰に多くのハッシュタグを含むメッセージにも対処しなければなりませんでした。データをフィルタリングするために、彼らはこれらの外れ値を除去する一連のルールを適用しました。ハッシュタグのないツイート、10個を超えるハッシュタグを持つもの、そして実際のテキストがなくラベルのみで構成されているものを破棄しました。また、数学的な尺度を用いて、「Friday（金曜日）」のような、あまりにも多くの文脈に登場するため特定のトピックを定義するのに役立たない一般的な用語といった、一般的すぎるハッシュタグを特定し、除去しました。しかし、特定の短期間の出来事のためにトレンドとなっているハッシュタグについては例外とし、重要な、時を追った会話が失われないようにしました。この厳格なクリーニングプロセスの後、彼らには68万4,000件以上の高品質なツイートのデータセットが残されました。

彼らの新しいアプローチの核となるのは、「Semantic Hashtag LDA」と名付けられた巧妙なツイートの整理方法です。各ツイートを個別の孤立した文書として扱うのではなく、システムは同じハッシュタグを共有するすべてのツイートをグループ化します。これにより、同じ出来事について話している多くの異なるユーザーからの言葉を組み合わせた、コンピュータが分析するためのより大きな「文書」が作成されます。研究者たちは、このグループ化に知性の層を加えました。彼らは、これらのグループ内で共に使われる言葉は、たとえ同一ではなくても、意味的に類似している（つまり、共通の意味や文脈を共有している）ことをシステムに認識させるようにしました。これらのより大きな、ハッシュタグに基づいたグループの力と、言葉の関係性の理解を組み合わせることで、システムは議論されているトピックのより鮮明な全体像を構築することができました。

結果は、この新しい手法が従来の技術よりも大幅に効果的であることを示しました。研究者が彼らのシステムを、短いテキストのクラスタリングにおける他の標準的な手法と比較した際、彼らのアプローチは、より一貫性があり論理的に整合したグループを生み出しました。簡単に言えば、コンピュータが特定したトピックは、より明確で混乱が少ないものでした。システムは有意なエラー率の減少を実証し、結果として最大で-0.02の減少を示しました。これは、無関係なトピックを混同したり、会話の主要なテーマを見逃したりする可能性がはるかに低いことを意味します。研究者たちは、ハッシュタグをガイドとして使用し、データを注意深くクリーニングすることで、短いテキストの限界を克服し、数百万の簡潔なメッセージの混沌とした流れを、整理された理解可能な情報のクラスターへと変えられることを発見しました。この研究は、人々が自分自身のコンテンツに自然にラベルを付ける方法を活用することで、コンピュータがソーシャルメディアの騒がしくペースの速い世界を理解できるようになることを示しています。