Semantic Hashtag LDA for Clustering Short Texts: Twitter Use Case

لقد غيرت وسائل التواصل الاجتماعي الطريقة التي نشارك بها حياتنا، محولةً كل لحظة إلى بث محتمل. ففي منصات مثل تويتر، ينشر المستخدمون رسائل قصيرة، غالباً ما تتكون من بضع جمل فقط، لمشاركة الأخبار أو الآراء أو الملاحظات اليومية. ولأن هذه المنشورات قصيرة جداً، فهي غالباً ما تفتقر إلى السياق الموجود في المقالات الطويلة أو الكتب، مما يجعل من الصعب على الحواسيب فهم موضوعاتها الحقيقية. ولمساعدة تنظيم هذا الفيض من المعلومات، غالباً ما يضيف المستخدمون تسميات خاصة تسمى "الوسوم" (hashtags) — وهي كلمات مسبوقة بعلامة المربع تعمل كملخص سريع لموضوع المنشور. ومع ذلك، فإن هذه التسميات يبتكرها البشر وليس الآلات، مما يعني أن الحدث نفسه قد يتم وسمه بعشرات الطرق المختلفة، أو قد يُستخدم وسم واحد لمواضيع غير مترابطة تماماً. ويبحث الباحثون في مجال علم البيانات باستمرار عن طرق أفضل لتجميع هذه الرسائل القصيرة والفوضوية في فئات ذات معنى، وهي عملية تُعرف باسم "التجميع" (clustering)، حتى يمكن اكتشاف القصص والاتجاهات الكامنة وفهمها.

قام فريق من الباحثين من جامعة أورميا وجامعة بوزن بولزانو الحرة بمعالجة هذا التحدي من خلال تطوير طريقة جديدة لفرز هذه الرسائل القصيرة. لقد ركزوا على مشكلة محددة: النماذج الحاسوبية القياسية، التي تعمل بشكل جيد مع المستندات الطويلة، غالباً ما تفشل عند محاولة تجميع النصوص القصيرة بسبب عدم وجود معلومات كافية في تغريدة واحدة لتحديد موضوعها. وأدرك الباحثون أنه بينما قد تكون التغريدة الواحدة موجزة للغاية، فإن مجموعة من التغريدات التي تشترك في نفس الوسم يمكن أن توفر سياقاً كافياً للكشف عن موضوع واضح. كان هدفهم هو بناء نظام يمكنه جمع هذه الرسائل ذات الصلة، وتنقية الضجيج منها، واستخدام الوسوم كدليل لإنشاء مجموعات أكبر وأكثر غزارة من النصوص المعلوماتية.

ولاختبار فكرتهم، جمع الفريق ما يقرب من تسعة ملايين تغريدة على مدار عشرة أيام في أكتوبر 2017. وأدركوا بسرعة أن ليس كل هذه البيانات مفيدة؛ فقد تبين أن الغالبية العظمى من التغريدات، بنسبة 81 بالمائة تقريباً، لم تحتوي على أي وسوم على الإطلاق، مما يجعل استخدامها مستحيلاً لطريقتهم المحددة. كما تعين عليهم التعامل مع الرسائل المزعجة (spam) والمنشورات منخفضة الجودة، مثل الرسائل التي تحتوي على وسوم فقط أو عدد مفرط منها. ولتصفية البيانات، طبقوا مجموعة من القواعد لإزالة هذه القيم المتطرفة؛ حيث استبعدوا التغريدات التي لا تحتوي على وسوم، وتلك التي تحتوي على أكثر من عشرة وسوم، وأي تغريدة تتكون فقط من تسميات دون نص فعلي. كما استخدموا مقياساً رياضياً لتحديد وإزالة الوسوم الشائعة جداً، مثل المصطلحات العامة مثل "الجمعة"، والتي ظهرت في سياقات مختلفة كثيرة بحيث لم تساعد في تحديد موضوع معين. ومع ذلك، فقد وضعوا استثناءً للوسوم التي كانت رائجة لحدث محدد وقصير الأمد، لضمان عدم فقدان المحادثات المهمة والحساسة للوقت. وبعد عملية التنقية الصارمة هذه، تبقى لديهم مجموعة بيانات تضم أكثر من 684,000 تغريدة عالية الجودة.

يتضمن جوهر نهجهم الجديد، الذي أطلقوا عليه اسم "Semantic Hashtag LDA"، طريقة ذكية لتنظيم هذه التغريدات المنقحة. فبدلاً من معاملة كل تغريدة كمستند منفصل ومعزول، يقوم النظام بتجميع كل التغريدات التي تشترك في نفس الوسم معاً. وهذا يخلق "مستنداً" أكبر بكلما للحاسوب ليقوم بتحليله، حيث يجمع الكلمات من مستخدمين مختلفين كانوا يتحدثون عن نفس الحدث. ثم أضاف الباحثون طبقة من الذكاء إلى هذا التجميع؛ فقد علموا النظام أن الكلمات التي تُستخدم غالباً معاً في هذه المجموعات هي متشابهة دلالياً، مما يعني أنها تشترك في معنى أو سياق مشترك، حتى لو لم تكن متطابقة. ومن خلال الجمع بين قوة هذه المجموعات الكبيرة القائمة على الوسوم وفهم العلاقات بين الكلمات، استطاع النظام بناء صورة أوضح للمواضيع التي تتم مناقشتها.

أظهرت النت la أن هذه الطريقة الجديدة كانت أكثر فعالية بشكل ملحوظ من التقنيات السابقة. فعندما قارن الباحثون نظامهم بالطرق القياسية الأخرى لتجميع النصوص القصيرة، أنتج نهجهم مجموعات أكثر تماسكاً واتساقاً منطقياً. وببساطة، كانت المواضيع التي حددها الحاسوب أكثر تميزاً وأقل ارتباكاً. وقد أثبت النظام بنجاح انخفاضاً كبيراً في معدل الخطأ، حيث أظهرت النتائج انخفاضاً يصل إلى -0.02، مما يعني أنه كان أقل عرضة لخلط المواضيع غير المرتبطة أو تفويت الموضوع الرئيسي للمحادثة. ووجد الباحثون أنه من خلال استخدام الوسوم كدليل وتنقية البيانات بعناية، استطاعوا التغلب على قيود النصوص القصيرة، وتحويل تدفق فوضوي من ملايين الرسائل الموجزة إلى مجموعات منظمة ومفهومة من المعلومات. ويبرهن هذا العمل على أنه من خلال الاستفادة من الطريقة التي يصنف بها الناس محتواهم بشكل طبيعي، يمكن للحواسيب أن تتعلم كيفية فهم عالم وسائل التواصل الاجتماعي الصاخب والمتسارع.