Hierarchical Compositional Hypergraphs Encode Document Structure for Classification
تقدم هذه الورقة البحثية "الرسم البياني الفائق التركيبي الهرمي" (HCH) الذي يشفر بنية المستند من خلال طبقات مرتبة من الكلمات، والجمل، والفقرات، مبرهنةً على أن دمج هذه الميزات الهيكلية مع نموذج "TF–IDF" القياسي يحقق تحسينات ذات دلالة إحصائية في دقة تصنيف النصوص ومقياس "macro-F1" مقارنة بالنماذج اللغوية المرجعية وحدها.
في المشهد الشاسع لعلوم الحاسوب، هناك صراع مستمر لتعليم الآلات كيفية القراءة. لعقود من الزمن، كانت الطريقة الأكثر موثوقية لمساعدة الحاسوب على فهم وثيقة ما هي عدّ الكلمات. هذه الطريقة، المعروفة باسم "حقيبة الكلمات" (bag of words)، تعامل النص كأنه جرة من الكرات الزجاجية: فهي تعد كم عدد الكرات الحمراء (كلمة "لعبة") أو الزرقاء (كلمة "فريق") الموجودة بالداخل، لكنها تتجاهل الترتيب الذي صُبت به أو كيفية ترتيبها. وبينما تعد هذه الطريقة فعالة بشكل مفاجئ، إلا أنها تغفل عن بنية اللغة البشرية؛ فهي لا تستطيع التمييز بين جملة تقول "الكلب عض الرجل" وجملة تقول "الرجل عض الكلب"، لأن الجرة تحتوي على نفس الكرات تماماً. ولحل هذه المعضلة، اتجه الباحثون إلى هياكل أكثر تعقيداً، محاولين التقاط ليس فقط الكلمات، بل الجمل والفقرات، والطريقة التي تتشابك بها هذه الأجزاء لتشكل كلاً متكاملاً.
اقترح فريق من الباحثين في جامعة semnan في إيران طريقة جديدة لرسم هذه البنية، تعامل الوثيقة ليس كقائمة مسطحة من الكلمات، بل كبناء متعدد الطبقات. وقد أطلقوا على ابتكارهم اسم "المخطط البياني الفائق التركيبي الهرمي" (Hierarchical Compositional Hypergraph). تخيل الوثيقة كبناء؛ الطوب هو الكلمات الفردية، والغرف هي الجمل، والطوابق هي الفقرات، والبناء بأكمله هو الوثيقة نفسها. في نموذجهم، يتم تتبع كل طوبة بمفردها كحدث فريد، ويتم تسجيل الروابط بينها بدقة. وخلافاً للطرق القديمة التي قد تسطح هذه الطبقات في شبكة واحدة فوضوية، يحافظ هذا النهج الجديد على تميز الطبقات. فهو يستخدم روابط خاصة، يطلق عليها الباحثون اسم "الحواف الفائقة" (hyperedges)، لإظهار أي الكلمات تشكل جملة، وأي الجمل تشكل فقرة، وكيف يهم ترتيب هذه العناصر. وهذا يسمح للحاسوب برؤية المخطط الهندسي للنص، وليس مجرد كومة من المواد.
اختبر الباحثون هذه الفكرة على تحدٍ كلاسيكي يُعرف باسم مجموعة بيانات "20 Newsgroups"، وهي مجموعة تضم ما يقرب من 1 9000 رسالة من العالم الحقيقي مصنفة إلى 20 موضوعاً مختلفاً، تتراوح من الرياضة إلى العلوم. قاموا بتجريد النصوص من أي معلومات إضافية قد تمنح الحاسوب ميزة غير عادلة، مثل ترويسات البريد الإلكتروني أو تذييلاته، تاركين النص الصافي فقط. ثم قارنوا مخططهم الهيكلي الجديد بطرق عدّ الكلمات التقليدية. كانت النتائج واضحة: المخطط الهيكلي وحده لم يكن كافياً للتفوق على الطرق التقليدية. فعندما اعتمد الحاسوب فقط على المخطط الهندسي للبناء دون النظر إلى الكلمات المحددة، كان أداؤه أسوأ من عدّادات الكلمات البسيطة. كانت هذه النتيجة حاسمة، لأنها استبعدت فكرة أن الهيكل وحده يمكن أن يحل محل الحاجة إلى فهم المفردات.
ومع ذلك، عندما دمج الباحثون المخطط الهيكلي مع عدّ الكلمات التقليدي، حدث أمر مثير للاهتمام. فالنموذج الهجين، الذي استخدم "ماذا" (الكلمات) و"كيف" (الهيكل)، حقق أداءً أفضل قليلاً من أفضل الطرق التقليدية وحدها. وفي الاختبار النهائي، حقق هذا النهج المدمج دقة تقارب 70 بالمئة، متفوقاً على الطريقة القياسية بهامش صغير ولكن ملموس. وجد الباحثون أن الجزء الأكثر قيمة في هيكلهم الجديد هو ترتيب الكلمات؛ إذ إن معرفة أن كلمة تتبع أخرى داخل الجملة وفرت دفعة كبيرة. وفي المقابل، فإن معرفة أن كلمتين ظهرتا في نفس الفقرة أو في نفس الجملة دون اعتبار لترتيبهما لم تضف سوى القليل من المعلومات الجديدة، حيث أن هذه التفاصيل غالباً ما تداخلت مع ما هو معروف بالفعل.
تخلص الدراسة إلى أنه بينما لا يعد هذا الأسلوب الجديد لرسم خرائط النصوص حلاً سحرياً يحل جميع المشكلات، إلا أنه أداة مفيدة. فهو يعمل كمكمل هادئ للأساليب الحالية، مضيفاً طبقة صغيرة من القدرة التنبؤية عبر احترام الطريقة التي ينظم بها البشر أفكارهم في جمل وفقرات. ويؤكد الباحثون أن هذا ليس بديلاً لنماذج التعلم العميق التي تهيمن حالياً على المجال، ولا هو حل مثالي، بل هو إضافة دقيقة وقابلة للتفسير تثبت أن الانتباه لشكل الوثيقة يمكن أن يساعد الحاسوب على فهمها بشكل أفضل قليلاً. ويقف هذا العمل كإثبات منضبط على أن بنية اللغة تحمل معلومات تفوتها عمليات عدّ الكلمات البسيطة، شريطة أن تكون الطريقة المستخدمة لالتقاطها حريصة على عدم فقدان الهوية الفريدة لكل كلمة في العملية.
ملخص تقني: المخططات الفائقة الهرمية التركيبية تشفر بنية المستندات من أجل التصنيف
بيان المشكلة تواجه طرق تصنيف النصوص الحالية مقايضة بين الدقة الهيكلية والقدرة على الإدارة الحسابية. فالتمثيلات المتفرقة التقليدية (مثل حقيبة الكلمات "Bag-of-Words"، أو TF-IDF) تتجاهل حدود المستند وترتيب الكلمات، حيث تعامل المستندات ذات المجموعات المتعددة المتطابقة من المصطلحات ككيانات متكافئة بغض النظر عن بنية الجملة أو الفقرة. ومن ناحية أخرى، تلتقط التضمينات الكثيفة والنماذج العصبية الهرمية السياق والتدرج، لكنها تفتقر غالبًا إلى كائن رياضي منفصل يسجل صراحةً التسلسل الهرمي التركيبي الملاحظ بالكامل. وبينما تقدم نماذج "رسم الكلمات البياني" (graph-of-words) بديلًا هيكليًا، إلا أنها عادة ما تدمج جميع العلاقات في رسم بياني واحد للظهور المشترك، مما يؤدي إلى فقدان عضوية الجملة/الفقرة والترتيب. علاوة على على ذلك، غالبًا ما تفشل أساليب المخططات الفائقة (hypergraph) الموجودة في التمييز بين ظهور الرموز (tokens) وأنواع الكلمات، مما يؤدي إلى غموض في إعادة البناء.
المنهجية يقترح المؤلفون مخططًا فائقًا تركيبيًا هرميًا (HCH)، وهو مخطط فائق موجه، مرتب، ومرتكز، مصمم لتمثيل بنية المستند على مستوى ظهور الرمز (token occurrence).
تعريف البنية: يُعرف الـ HCH بأنه زوج مرتب (V,E,λ,τ,r).
الرؤوس (V): الرؤوس الأولية هي ظهور الرموز (وليس أنواع الكلمات)، وهي منظمة في طبقات L={0,1,…,K} تمثل الرموز، الجمل، الفقرات، وجذر المستند. ويقوم خريطة النوع τ بتعيين السلاسل اللغوية لظهور الرموز.
الحواف الفائقة (E): تقوم الحواف الفائقة التركيبية المرتبة بربط مجموعات من الرؤوس من الطبقة ℓ إلى رأس أب واحد في الطبقة ℓ+1. يضمن هذا شرط "الأب الفريد" حيث يكون لكل رأس غير أولي حافة داخلة واحدة بالضبط.
الخصائص: يثبت المؤلفون أن الرسم البياني الاتجاهي التركيبي هو رسم بياني موجه غير حلقي (DAG) وشجرة موجهة (arborescence) مرتكزة نحو الجذر. البنية هي عملية فقدان للمعلومات (lossless)؛ حيث يمكن إعادة بناء تسلسل الرموز والحدود الأصلية بشكل فريد، وهي ذات حجم خطي بالنسبة للمستند.
الإسقاط المتفرق للتصنيف: لاستخدام الـ HCH في التصنيف دون إنشاء رسوم بيانية كثيفة ومتدهورة، اشتق المؤلفون خريطة ميزة متفرقة ومصنفة ϕHCH ذات ثلاث قنوات محددة:
ϕS (الجملة): أزواج غير مرتبة من أنواع الكلمات التي تظهر معًا داخل نفس الجملة.
ϕP (الفقرة): أزواج غير مرتبة من أنواع الكلمات التي تظهر معًا داخل نفس الفقرة.
ϕO (الترتيب): تجاور مرتب لأنواع الكلمات داخل الجمل.
يتم تعيين هذه الميزات إلى فضاء متفرق ثابت باستخدام تجزئة الميزات (feature hashing) (إحداثيات غير سالبة بـ 220 هاش) وتحويلها باستخدام TF-IDF تحت الخطي. يتم بعد ذلك دمج هذا المتجه الهيكلي مع متجه TF-IDF المعجمي القياسي (unigrams و bigrams) وتغذية النموذج في آلة ناقلات الدعم (SVM) خطية.
المساهمات الرئيسية
صياغة على مستوى الظهور: تعريف صريح لـ HCH المرتب حيث تكون الرؤوس الأولية هي ظهور الرموز، مما يمنع الغموض بين الكلمات المتكررة ويسمح بإعادة بناء دقيقة للمستند المجزأ.
الضمانات النظرية: إثباتات تؤكد عدم وجود حلقات، وبنية الشجرة المرتكزة، والقدرة على إعادة البناء دون فقدان للمعلومات، وحجم بناء خطي للـ HCH.
الإسقاط المتفرق: استراتيجية إسقاط ثلاثية القنوات تتجنب مشكلة "الكلية على مستوى المستند بأك_له" (حيث تشترك جميع أزواج الكلمات في جذر واحد)، والتي تسببت سابقًا في انهيار هيكلي في التمثيلات الرسومية.
التقييم الصارم: تجربة محكومة التسرب على مجموعة بيانات 20 Newsgroups (باستخدام التقسيم الرسمي القائم على التاريخ) مع إزالة الرؤوس والتذييلات والاقتباسات. تستخدم الدراسة فترات بوتستراب الطبقية، واختبارات McNemar المزدوجة الدقيقة، وتصحيحات Holm لضمان صحة النتائج.
النتائج التجريبية يقيّم البحث نموذج HCH على مجموعة اختبار 20 Newsgroups (7,532 مستندًا) باستخدام تكوين مغلق تم اختياره من تقسيم طبقي لبيانات التدريب.
الأداء المرجعي: حقق خط الأساس (unigram–bigram TF-IDF) دقة قدرها 0.6920 و 0.6802 لـ macro-F1.
أداء HCH المستقل: أدى إسقاط HCH المستخدم بدون الميزات المعجمية إلى أداء ضعيف (0.6467 دقة)، مما يثبت أن الميزات الهيكلية وحدها غير كافية لهذه المهمة.
الأداء الهجين: حقق النموذج المدمج (TF-IDF + HCH) دقة قدرها 0.6995 و 0.6873 لـ macro-F1.
الدلالة الإحصائية: التحسن عن خط الأساس (unigram–bigram) ذو دلالة إحصائية:
زيادة الدقة: +0.0076 (فترة بوتستراب 95%: 0.0021–0.0131).
زيادة macro-F1: +0.0071 (فترة بوتستراب 95%: 0.0013–0.0133).
قيمة McNemar المعدلة بـ Holm هي: 0.0098.
تحليل الاستئصال (Ablation Analysis)
الترتيب أمر بالغ الأهمية: أدى إزالة قناة التجاور المرتب (ϕO) إلى خفض macro-F1 من 0.6873 إلى 0.6845.
التكرار في الهيكل: أدت إزالة قنوات أزواج الجمل أو الفقرات بشكل فردي إلى تحسن طفيف (0.6892 و 0.6897 على التوالي)، مما يشير إلى أن عضوية الجملة والفقرة تشفر أدلة متداخلة وتدخل ضجيجًا ضمن ميزانية الميزات الثابتة.
الأهمية والادعاءات يقدم البحث ادعاءً متواضعًا ودقيقًا: البنية التركيبية الصريحة تعمل كمكمل متواضع وقابل للتفسير للميزات المعجمية، وليس كبديل لها.
لا يدعي HCH تحقيق أداء يفوق النماذج اللغوية الضخمة (SOTA)؛ بل يوضح أن التمثيل الرياضي المنفصل لهرمية المستند يمكن أن يضيف قيمة تنبؤية للنماذج المعجمية القوية.
يبرز البحث أن الفائدة مدفوعة أساسًا بـ التجاور المرتب داخل الجمل، وليس بالتكامل متعدد المستويات المنتظم.
يؤكد المؤلفون أن المكاسب الملحوظة صغيرة (~0.8 نقطة مئوية) ولكنها قوية إحصائيًا، مما يؤكد فائدة الحفاظ على حدود المستند وترتيبه في إطار عمل متفرق وغير عصبي.
القصور يقر المؤلفون بأن الدراسة محدودة بمؤشر مرجعي واحد باللغة الإنجليزية، وتعتمد على اكتشاف الحدود بطريقة استدلالية بدلاً من التحليل اللغوي، ولا تقارن ضد النماذج اللغوية المسبقة التدريب الحديثة. يُقدم العمل كإثبات مفهوم محكم للتمثيل الهيكلي القابل للتفسير.