Determination of the Number of Topics Intrinsically: Is It Possible?
تقيم هذه الورقة مختلف الطرق الجوهرية لتقدير عدد المواضيع في نماذج المواضيع عبر مجموعات متعددة من النصوص، وتخلص إلى أن هذه الطرق غير موثوقة لأن العدد الأمثل للمواضيع يعتمد على النموذج والطريقة المستخدمين تحديداً بدلاً من كونه خاصية مطلقة للبيانات.
المؤلفون الأصليون:Victor Bulatov, Vasiliy Alekseev, Konstantin Vorontsov
تخيل مكتبة تحتوي على ملايين الكتب، لكن رفوفها فارغة وعناوينها مفقودة. ولإضفاء معنى على هذه المجموعة، قد يحاول أمين المكتبة تجميع الكتب حسب محتواها، وفرزها في أكوام بناءً على سمات مشتركة. في عالم علوم الحاسوب، هذه هي مهمة "نمذجة المواضيع" (topic model). وهي أدوات إحصائية تمسح كميات هائلة من النصوص للعثور على أنماط خفية، حيث تجمع الكلمات التي تظهر معاً بشكل متكرر فيما نسميه "المواضيع". قد يكون أحد المواضيع عن الرياضة، وآخر عن الطبخ، وآخر عن استكشاف الفضاء. الحاسوب لا يعرف هذه التسميات مسبقاً؛ بل يكتشفها من خلال تحليل النص نفسه.
ومع ذلك، هناك مشكلة جوهرية في هذه العملية: الحاسوب لا يعرف عدد الأكوام التي يجب تكوينها. هل ينشئ عشر مجموعات، أم خمسين، أم مئة؟ هذا الرقم هو إعداد حاسم، أو "معلمة فائقة" (hyperparameter)، يجب على المستخدم اختيارها قبل أن يبدأ الحاسوب عمله. إذا كان الرقم منخفضاً جداً، تصبح المجموعات فوضوية ومربكة، حيث تختلط فيها موضوعات غير مترابطة. وإذا كان مرتفعاً جداً، تصبح المجموعات صغيرة ومتكررة، مما يؤدي إلى تقسيم فكرة واحدة إلى أجزاء عديدة متطابقة تقريباً. لسنوات، حاول الباحثون بناء أدوات تلقائية يمكنها النظر في مجموعة من النصوص وإخبار المستخدم بالعدد المثالي للمواضيع التي يجب اختيارها، آملين في العثور على حقيقة موضوعية واحدة كامنة داخل البيانات.
قرر فريق من الباحثين من معهد موسكو للفيزياء والتكنولوجيا وجامعة لومونوسوف موسكو الحكومية اختبار ما إذا كان مثل هذا الرقم المثالي موجوداً بالفعل. لقد جمعوا مجموعة متنوعة من الأساليب القائمة، بما في ذلك عشرات الصيغ والإجراءات الرياضية المختلفة التي تدعي تحديد العدد الأفضل للمواضيع. طبقوا هذه الأساليب على عدة مجموعات كبيرة من النصوص الواقعية، بدءاً من المقالات الإخبارية والأوراق العلمية وصولاً إلى المنشورات من منتدى برمجي ومجموعة منسقة من مقالات ويكيبيديا الروسية. كما اختبروا هذه الأساليب على أنواع مختلفة من النماذج الحاسوبية، لأن الطريقة التي يُبنى بها النموذج يمكن أن تغير كيفية رؤيته للبيانات.
أجرى الباحثون آلاف التجارب، تاركين النماذج الحاسوبية تتعلم من النص مع قياس النتائج بكل طريقة من الطرق المختلفة. بحثوا عن إشارات واضحة، مثل ذروة حادة أو وادٍ عميق في البيانات، مما قد يشير إلى العدد المثالي للمواضيع. كانوا يأملون في العثور على توافق بين جميع الأساليب المختلفة، بحيث تشير جميعها إلى نفس الرقم لمجموعة معينة من النصوص. بدلاً من ذلك، وجدوا صورة فوضوية. نادراً ما اتفقت الأساليب المختلفة؛ فقد يقترح أحد الأساليب أن مجموعة من المقالات الإخبارية تُفهم بشكل أفضل من خلال عشرة مواضيع، بينما قد يقترح أسلوب آخر، ينظر إلى النص ذاته، ثلاثين موضوعاً. والأكثر إثارة للدهشة، أن الرقم "الأفضل" غالباً ما يتغير اعتماداً على النموذج الحاسوبي المحدد المستخدم لتحليل النص.
كشفت الدراسة أن الأدوات الأكثر شيوعاً وتطوراً لإيجاد العدد الصحيح للمواضيع بعيدة كل البعد عن الموثوقية. فبعض الأساليب، التي تحاول قياس مدى تميز المواضيع عن بعضها البعض، اقترحت باستمرار أرقاماً مرتفعة جداً، مما دفع العدد غالباً إلى الحد الأقصى لما اختبره الباحثون. أما الأساليب الأخرى، التي تنظر إلى مدى قدرة النموذج على التنبؤ بنصوص غير مرئية، فقد أنتجت نتائج مسطحة وثابتة للغاية لدرجة أنها لم تقدم أي توجيه على الإطلاق. وجد الباحثون أن عدد المواضيع ليس خاصية ثابتة وطبيعية للنص نفسه، مثل عدد صفحات الكتاب، بل هو كمية تعتمد بشدة على الأداة المستخدمة لقياسها وعلى النموذج المحدد المستخدم لتحليلها.
وفي ختامهم، يشير المؤلفون إلى أن المجتمع كان يطارد وهماً. إن فكرة وجود رقم واحد "طبيعي" للمواضيع ينتظر الاكتشاف في أي مجموعة بيانات تبدو غير صحيحة. إن عدد المواضيع يشبه إلى حد كبير قرص التحكم الذي يديره المستخدم لضبط مستوى التفاصيل التي يريد رؤيتها، تماماً مثل التكبير أو التصغير في الخريطة. يمكن لخريطة المدينة أن تظهر الشوارع الفردية، أو يمكنها إظهار الطرق السريعة الرئيسية فقط؛ ولا توجد خريطة "حقيقية" بينهما، فهما مجرد رؤى مختلفة لأغراض مختلفة. يجادل الباحثون بأنه بدلاً من محاولة إيجاد رقم مثالي تلقائياً، يجب على الممارسين التركيز على ما يحتاجون فعلياً من النموذج القيام به. يجب أن يتساءلوا عن مدى التفصيل الذي يريدون أن تكون عليه المجموعات، أو ما إذا كانت لديهم أسئلة محددة يريدون من النموذج الإجابة عليها. إن البحث عن حل تلقائي وجوهري لعدد المواضيع أدى، وفقاً لهذه الدراسة، إلى طريق مسدود، مما يشير إلى أن الإجابة لا تكم بانتظار صيغة أفضل، بل في فهم أفضل للهدف البشري وراء التحليل.
ملخص تقني: تحديد عدد المواضيع جوهرياً: هل هو أمر ممكن؟
بيان المشكلة يُعد عدد المواضيع (T) المعلمة الفائقة (hyperparameter) الأساسية في نمذجة المواضيع، ومع ذلك لا يوجد إجماع حول كيفية تحديد قيمتها المثلى. وبينما توجد طرق جوهرية عديدة لتقدير T دون الحاجة إلى تسميات خارجية أو تقييم بشري، إلا أن الأدبيات تفتقر إلى مقارنة شاملة لهذه الممارسات عبر مختلف النماذج والمجموعات النصية (corpora). يستقصي المؤلفون ما إذا كان "العدد الأمثل لـ T" خاصية مطلقة وجوهرية للمجموعة النصية، أم أنه مجرد كمية تعتمد على النموذج. وهم يستبعدون تحديداً الطرق التي تتعلم T تلقائياً (مثل عمليات ديريكليه الهرمية - Hierarchical Dirichlet Processes) ويركزون على نماذج T الثابتة حيث يجب اختيار T عبر مقاييس الجودة.
المنهجية تقيم الدراسة مجموعة واسعة من مقاييس الجودة الجوهرية عبر نماذج مواضيع متعددة ومجموعات نصية متاحة علناً.
نماذج المواضيع: استخدمت التجارب نماذج PLSA، وLDA (مع أولويات متماثلة، وغير متماثلة، وهيورستية)، والنماذج منزوعة الارتباط (TWC-LDA)، والنماذج المتناثرة (فصل المواضيع الخلفية/الخاصة)، والنماذح الخالية من "ثيتا" (TARTM). تم تنفيذ هذه النماذج باستخدام حزمة BigARTM/TopicNet.
المجموعات النصية: تم تحليل سبعة مجموعات بيانات، تشمل WikiRef220، و20NewsGroups، وBrown Corpus، وReuters، وStackOverflow، وPostNauka، ومجموعة بيانات جديدة "ruwiki-good" مشتقة من ويكيبيديا الروسية. وتتفاوت هذه المجموعات في الحجم (من 220 إلى حوالي 900 ألف وثيقة) وفي "الحقيقة الأرضية" (ground truth) أو نطاقات المواضيع المتوقعة.
المقاييس التي تم تقييمها: قيمت الدراسة مقاييس من عدة فئات:
الارتباك (Perplexity): ارتباك الاحتجاز (Hold-out perplexity) ومعدل تغير الارتباك (RPC).
التصميم التجريبي: تم تدريب النماذج مع نطاق لـ T يتراوح من حد أدنى إلى حد أقصى عبر ثلاث عمليات تهيئة عشوائية. تم حساب المقاييس لكل عملية تشغيل. ولتحديد ما إذا كان المقياس يعطي T "مثالياً" موثوقاً، بحث المؤلفون خوارزمياً عن القيم الصغرى/العظمى العالمية البارزة وتحققوا من المتانة عبر بذور العشوائية (random seeds).
النتائج الرئيسية تشير النتائج التجريبية، الملخصة في الجدول 3، إلى أن الطرق الجوهرية غير موثوقة بشكل عام لتحديد رقم واحد مطلق للمواضيع.
الاعتماد على النموذج: يختلف T "الأمثل" بشكل كبير اعتماداً على نموذج المواضيع المحدد وتكوين معلماته الفائقة (مثل الأولويات في LDA). فالقيمة المثلى لنموذج ما غالباً ما تكون دون المثلى لنموذج آخر.
الاختلاف بين المقاييس: غالباً ما تقترح المقايب المختلفة قيم T متفاوتة للغاية. تميل الطرق القائمة على التنوع إلى المبالغة في تقدير T (غالباً ما تقترح قيماً خارج النطاق المختبر)، بينما أظهرت الطرق المعلوماتية (AIC، BIC، MDL) وطرق الاعتلاج (Renyi) أداءً أفضل نسبياً، وإن ظلت غير متسقة.
الحساسية للعشوائية: تنتج العديد من المقاييس قيم T مثلى مختلفة بناءً على بذور التهيئة العشوائية. وبينما تظهر بعض الطرق (مثل الطرق المعلوماتية) استقراراً عبر البذور، تُظهر طرق أخرى (مثل التنوع والتماسك) تبايناً عالياً أو منحنيات صاخبة ذات قيم مثلى محلية متعددة.
أداء المقاييس النوعية:
الارتباك (Perplexity): غالباً ما يكون رتيباً (monotonic) دون وجود قيم صغرى واضحة، مما يناقض الأدبيات السابقة.
الاستقرار (Stability): غالباً ما يكون صاخباً جداً بالنسبة لـ T الصغيرة وغير مناسب للنماذج المتناثرة.
التماسك (Coherence): يعمل عموماً كدالة متناقصة لـ T، مما يؤدي إلى اختيار قيم T صغيرة جداً.
التنوع (Diversity): غالباً ما يفشل في إظهار قيمة عظمى واضحة، بل يستوي بدلاً من ذلك.
أبسط الطرق: من المثير للدهشة أن الأساليب الأبسط (AIC، BIC، MDL، واعتلاج ريني) قدمت النتائج الأكثر اتساقاً، وإن لم تكن مثالية، مقارنة بالمقاييس المعقدة القائمة على البنية.
الأهمية والاستنتاجات يخلص البحث إلى أن مفهوم "العدد الأمثل للمواضيع" كخاصية مطلقة وجوهرية للمجموعة النصية هو على الأرجح أسطورة. وبدلاً من ذلك، أظهرت الدراسة أن عدد المواضيع هو كمية تعتمد على النموذج، تتأثر بالخوارزمية المحددة، ومعلماتها الفائقة، والمقياس المختار للتقييم.
يجادل المؤلفون بأن بحث المجتمع عن عدد "طبيعي" للمواضيع متأصل في البيانات هو موضوع نقاش مستمر. ويقترحون وجوب التعامل مع T كمعلمة فائقة قابلة للضبط بناءً على الأهداف المحددة للتطبيق، بدلاً من كونها حقيقة جوهرية يجب اكتشافها.
التوجهات المقترحة: بدلاً من الاعتماد على المقاييس الجوهرية لإيجاد T "حقيقي"، يقترح المؤلفون:
التعامل مع T كمعلمة فائقة قابلة للضبط.
التركيز على المهام الثانوية (مثل التصنيف) لاختيار T.
تطوير نماذج تكون قوية تجاه التغيرات في T أو قادرة على تعلم هياكل مواضيع هرمية.
تحويل تركيز الممارسين من "إيجاد عدد المواضيع" إلى تحديد درجة التفصيل المطلوبة (على سبيل المثال، "كم عدد الوثائق التي يجب أن يحتوي عليها الموضوع؟") وضمان قابلية تفسير المواضيع.
في نهاية المطاف، تفترض الدراسة أن الهدف من نمذجة المواضيع ليس تحديد T الأمثل، بل تطوير طرق تدريب تنتج مواضيع قابلة للتفسير لقيمة T معينة في غياب المعايير الخارجية.