Semantic Hashtag LDA for Clustering Short Texts: Twitter Use Case

소셜 미디어는 우리가 삶을 공유하는 방식을 변화시켜, 모든 순간을 잠재적인 방송으로 만들었습니다. 트위터와 같은 플랫폼에서 사용자들은 뉴스, 의견 또는 일상의 관찰을 공유하기 위해 종종 단 몇 문장에 불과한 짧은 메시지를 게시합니다. 이러한 게시물은 매우 짧기 때문에 긴 기사나 책에서 발견되는 맥락이 부족한 경우가 많으며, 이로 인해 컴퓨터가 그것이 실제로 무엇에 관한 것인지 이해하는 것을 어렵게 만듭니다. 이 정보의 홍수를 정리하는 데 도움을 주기 위해, 사용자들은 게시물의 주제를 빠르게 요약하는 역할을 하는 샵(#) 기호가 앞에 붙은 특수한 라벨인 해시태그를 자주 추가합니다. 그러나 이러한 라벨은 기계가 아닌 사람에 의해 생성되므로, 동일한 사건이 수십 가지 다른 방식으로 태그되거나 하나의 태그가 완전히 무관한 주제들에 사용될 수도 있습니다. 데이터 과학 분야의 연구자들은 이러한 짧고 혼란스러운 메시지들을 의미 있는 범주로 그룹화하는 과정, 즉 클러스터링(clustering)이라 불리는 작업을 더 나은 방법으로 수행하여 밑바탕에 깔린 이야기와 트렌드를 발견하고 이해할 수 있는 방법을 끊임없이 모색하고 있습니다.

우미아 대학교(Urmia University)와 보젠-볼차노 자유 대학교(Free University of Bozen-Bolzano)의 연구팀은 이러한 과제를 해결하기 위해 짧은 메시지를 분류하는 새로운 방법을 개발하며 이 문제에 달려들었습니다. 그들은 특정 문제에 집중했습니다. 긴 문서는 잘 작동하지만, 표준 컴퓨터 모델들은 짧은 텍스트를 그룹화하려고 할 때 종종 실패하는데, 이는 단일 트윗 하나에 주제를 결정할 만큼 충분한 정보가 들어있지 않기 때문입니다. 연구진은 단일 트윗은 너무 짧을 수 있지만, 동일한 해시태그를 공유하는 트윗들의 집합은 명확한 주제를 드러낼 수 있는 충분한 맥락을 제공할 수 있다는 점을 깨달았습니다. 그들의 목표는 이러한 관련 메시지들을 모으고, 노이즈를 제거하며, 해시태그를 가이드로 삼아 더 크고 정보력이 있는 텍스트 그룹을 만드는 시스템을 구축하는 것이었습니다.

이 아이디어를 테스트하기 위해, 연구팀은 2017년 10월 열흘 동안 약 9백만 개의 트윗을 수집했습니다. 그들은 이 데이터의 상당 부분이 유용하지 않다는 것을 빠르게 깨달았습니다. 데이터의 대다수인 약 81퍼센트가 해시태그를 전혀 포함하지 않아, 그들의 특정 방식으로는 사용이 불가능했습니다. 또한 스팸이나 해시태그만 포함되어 있거나 해시태그가 지나치게 많은 메시지와 같은 저품질 게시물도 처리해야 했습니다. 데이터를 필터링하기 위해, 그들은 이러한 이상치를 제거하는 일련의 규칙을 적용했습니다. 해시태일이 없는 트윗, 해시태그가 10개를 초과하는 트윗, 그리고 실제 텍스트 없이 라벨로만 구성된 트윗들을 버렸습니다. 또한 그들은 "금요일"과 같이 너무 다양한 맥락에서 나타나 특정 주제를 정의하는 데 도움이 되지 않는 일반적인 용어처럼 너무 흔한 해시태그를 식별하고 제거하기 위해 수학적 척도를 사용했습니다. 하지만 특정하고 일시적인 사건을 위해 트렌드가 된 해시태그에 대해서는 예외를 두어, 중요한 시의성 있는 대화들이 유실되지 않도록 보장했습니다. 이러한 엄격한 정제 과정을 거친 후, 그들에게는 684,000개가 넘는 고품질의 트윗 데이터셋이 남았습니다.

그들이 'Semantic Hashtag LDA'라고 명명한 새로운 접근 방식의 핵심은 이 정제된 트윗들을 조직하는 영리한 방법입니다. 각 트윗을 별개의 고립된 문서로 취급하는 대신, 시스템은 동일한 해시태그를 공유하는 모든 트윗을 하나로 묶습니다. 이는 컴퓨터가 분석할 수 있는 훨씬 더 큰 "문서"를 생성하며, 동일한 사건에 대해 이야기하는 서로 다른 사용자들의 단어들을 결합합니다. 연구진은 이 그룹화 과정에 지능적인 층을 추가했습니다. 그들은 시스템이 이러한 그룹 내에서 함께 사용되는 단어들이 비록 동일하지 않더라도 의미론적으로 유사하다는 것, 즉 공통된 의미나 맥락을 공유한다는 것을 인식하도록 가르쳤습니다. 이러한 해시태그 기반의 더 큰 그룹과 단어 간의 관계에 대한 이해를 결합함으로써, 시스템은 논의되고 있는 주제에 대한 훨씬 더 명확한 그림을 그려낼 수 있었습니다.

결과는 이 새로운 방법이 이전의 기술들보다 훨씬 더 효과적임을 보여주었습니다. 연구진이 자신들의 시스템을 짧은 텍스트 클러스터링의 다른 표준적인 방식들과 비교했을 때, 그들의 접근 방식은 훨씬 더 일관되고 논리적으로 정합적인 그룹을 생성했습니다. 간단히 말해, 컴퓨터가 식별한 주제들은 더 뚜렷하고 덜 혼란스러웠습니다. 시스템은 오류율의 유의미한 감소를 성공적으로 입증했는데, 결과는 최대 -0.02까지 감소한 것으로 나타났으며, 이는 무관한 주제를 섞거나 대화의 주요 테마를 놓칠 가능성이 훨씬 낮음을 의미합니다. 연구진은 해시태그를 가이드로 사용하고 데이터를 신중하게 정제함으로써 짧은 텍스트의 한계를 극복하고, 수백만 개의 짧은 메시지로 이루어진 혼란스러운 흐름을 조직적이고 이해 가능한 정보 클러스터로 바꿀 수 있음을 발견했습니다. 이 연구는 사람들이 자신의 콘텐츠에 자연스럽게 라벨을 붙이는 방식을 활용함으로써, 컴퓨터가 소셜 미디어의 노이즈가 많고 빠른 속도의 세상을 이해할 수 있음을 보여줍니다.