💬 NLP

KG-HTC: Integrating Knowledge Graphs into LLMs for Effective Zero-shot Hierarchical Text Classification

تقترح الورقة البحثية KG-HTC، وهي طريقة تصنيف نصوص هرمي بنمط التعلم الصفري، تدمج الرسوم البيانية للمعرفة مع النماذج اللغوية الكبيرة عبر التوليد المعزز بالاسترجاع لمعالجة تحديات مثل فضاءات التصنيف الضخمة وتوزيعات الذيل الطويل بفعالية، مما يظهر تحسينات ملحوظة في الأداء مقارنة بالنماذج المرجعية على مجموعات بيانات متعددة.

المؤلفون الأصليون: Qianbo Zang, Christophe Zgrzendek, Igor Tchappi, Afshin Khadangi, Johannes Sedlmeir

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qianbo Zang, Christophe Zgrzendek, Igor Tchappi, Afshin Khadangi, Johannes Sedlmeir

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة تحاول تصنيف كتاب جديد في مكتبة ضخمة متعددة الطوابق. هذه ليست مجرد مكتبة عادية؛ إنها نظام تصنيف نصوص هرمي (Hierarchical Text Classification - HTC).

في المكتبة العادية، قد تضع كتاباً ببساطة في قسم "الخيال". لكن في هذه المكتبة الهرمية، يجب أن تكون دقيقاً. لا يمكنك الاكتفاء بالقول "خيال"، بل يجب أن تقول:

المستوى 1: خيال
المستوى 2: خيال علمي
المستوى 3: سايبربانك (Cyberpunk)
المستوى 4: ديستوبيا (Dystopian)

المشكلة هي أن هذه المكتبة تحتوي على آلاف الفئات، والعديد منها نادر جداً (مثل كتاب عن "نسج السلال تحت الماء في القرن التاسع عشر"). كما أن أمين المكتبة (وهو ذكاء اصطناعي يُسمى نموذج لغوي كبير أو LLM) لم يرَ هذا الكتاب المحدد من قبل وليس لديه دليل تدريب (بيانات مصنفة). وهذا ما يسمى بسيناريو "التعلم من الصفر" (Zero-Shot).

إذا سألت الذكاء الاصطناعي ببساة: "أين يوضع هذا؟"، فغالباً ما يصاب بالارتباك. قد يخمن "خيال" بشكل صحيح ولكنه سيفشل في المستويات الأعمق، أو قد يتشتت بسبب العدد الهائل من الخيارات.

المشكلة: "أمين المكتبة المرتبك"

تشير الورقة البحثية إلى أن أمناء المكتبات من الذكاء الاصطناعي التقليديين يعانون من ثلاثة أمور:

كثرة الخيارات: قائمة الفئات ضخمة جداً.
العناصر النادرة: معظم الفئات لها عدد قليل جداً من الكتب (توزيع طويل الذيل)، لذا لم "يراها" الذكاء الاصطناعي بما يكفي ليعرف أين تنتمي.
غياب التدريب: في العالم الحقيقي، غالباً لا نملك قائمة بـ "الإجابات الصحيحة" لتعليم الذكاء الاصطناعي.

الحل: KG-HTC (نظام "الخريطة الذكية")

قام المؤلفون، زانغ وزملاؤه، ببناء نظام يسمى KG-HTC. فكر في الأمر كأنك تعطي أمين مكتبة الذكاء الاصطناعي خريطة ذكية وديناميكية للمكتبة بدلاً من مجرد قائمة ضخمة من الأسماء.

إليك كيف يعمل، خطوة بخطوة، باستخدام تشبيه بسيط:

1. الرسم البياني للمعرفة (مخطط المكتبة)

أولاً، يأخذون قائمة الفئات بأكملها وينظمونها في رسم بياني للمعرفة (Knowledge Graph). تخيل هذا كشجرة عائلة أو خريطة مترو، حيث كل فئة هي "محطة"، والخطوط التي تربط بينها توضح علاقات الأب والابن (على سبيل المثال، "سايبربانك" متصل بـ "خيال علمي"، والذي بدوره متصل بـ "خيال").

2. نظام RAG (نظام "تسليط الضوء")

عندما تصل مراجعة كتاب جديدة (النص المدخل)، لا يحاول الذكاء الاصطناعي قراءة الخريطة بأكملها دفعة واحدة، فهذا سيكون عبئاً كبيراً. بدلاً من ذلك، يستخدم نهج التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation - RAG).

فكر في الأمر كأنك تسلط كشافاً ضوئياً على الخريطة.

ينظر الذكاء الاصطناعي إلى نص الكتاب (مثلاً، مراجعة عن غسالة أطباق).
يقوم بمسح سريع للخريطة ليجد المحطات القريبة دلالياً من كلمة "غسالة أطباق".
يسحب فقط هذا الجزء الصغير من الخريطة — وهو رسم بياني فرعي (subgraph) — الذي يحتوي على "المنزل"، و"التنظيف"، و"غسل الأطباق".

3. الانتشار التصاعدي (تتبع المسار)

بمجرد حصوله على هذا الجزء الصغير ذي الصلة من الخريطة، يتتبع النظام الخطوط صعوداً من العنصر المحدد إلى الجذر. إنه ينشئ مساراً واضحاً:
غسل الأطباق -> تنظيف المنزل -> مستلزمات المنزل -> المنزل

4. المطالبة (ورقة الغش)

بعد ذلك، يحول الذكاء الاصطناعي هذا المسار إلى جملة بسيطة (مطالبة/Prompt) ويغذي بها النموذج اللغوي الكبير الأساسي. الأمر يشبه تسليم أمين المكتبة ورقة غش تقول: "بناءً على النص، العنصر مرتبط على الأرجح بغسل الأطباق. إليك المسار الكامل من أعلى المكتبة وصولاً إلى غسل الأطباق. يرجى اختيار الفئة النهائية الصحيحة."

لماذا يعمل هذا بشكل أفضل؟

اختبرت الورقة البحثية هذا النظام على ثلاثة مجموعات بيانات من العالم الحقيقي (مراجعات منتجات أمازون، الأوراق العلمية، ومقالات ويكيبيديا).

النتيجة: كان نظام "الخريطة الذكية" (KG-HTC) أفضل بكثير في إيجاد المكان الصحيح من الذكاء الاصطناعي الذي يعمل بمفرده أو الطرق السابقة.
التعمق: كان الفوز الأكبر في المستويات الأعمق من التسلسل الهرمي. بينما تاهت الطرق الأخرى عند محاولة إيجاد فئة "غسل الأطباق" المحددة، ظل نظام KG-HTC على المسار الصحيح لأن لديه الخريطة الهيكلية لتوجيهه.
التشبيه: إنه الفرق بين التخمين في لعبة "20 سؤالاً" عبر الصراخ بكلمات عشوائية، وبين امتلاك مخطط انسيابي يلغي نصف الاحتمالات مع كل سؤال.

الخلاصة

تزعم الورقة أنه من خلال الجمع بين "عقل" النموذج اللغوي الكبير و"هيكل" الرسم البياني للمعرفة، استطاعوا إنشاء نظام يمكنه تصنيف النصوص بدقة في فئات معقدة متعددة المستويات دون الحاجة إلى أي بيانات تدريب مكتوبة مسبقاً.

لقد حلوا مشكلة تشتت الذكاء الاصطناعي في بحر من الخيارات عبر تزويده بخريطة مركزة ومنظمة للمسارات الأكثر صلة، مما يسمح له بالتنقل حتى في أكثر زوايا المكتبة غموضاً بكل ثقة.

ملاحظة: تركز الورقة البحثية حصرياً على تصنيف النصوص (تصنيف المستندات/المراجعات). وهي لا تدعي العمل للتشخيص الطبي، أو الاستخدامات السريرية، أو أي تطبيقات أخرى خارج نطاق تنظيم البيانات النصية.

ملخص تقني: KG-HTC

تعريف المشكلة

يتضمن التصنيف الهرمي للنصوص (HTC) تعيين المستندات إلى تسميات منظمة ضمن تصنيف متعدد المستويات، وهي مهمة بالغة الأهمية في مجالات مثل تصنيف التجارة الإلكترونية وإدارة الأدبيات. وبينما هيمنت الأساليب الخاضعة للإشراف على الأبحاث السابقة، إلا أنها تواجه عوائق كبيرة في التطبيقات الصناعية الواقعية:

ندرة البيانات: إن وسم البيانات يدويًا عبر مستويات هرمية متعددة أمر مكلف للغاية.
مساحات التسمية الكبيرة: غالبًا ما تحتوي التصنيفات على مئات أو آلاف الفئات الورقية (على سبيل المثال، تحتوي مجموعة بيانات أمازون على أكثر من 500 فئة ورقية).
توزيعات الذيل الطويل: غالبًا ما تكون مجموعات البيانات غير متوازنة للغاية، حيث تهيمن فئة صغيرة من الفئات المتكررة بينما تظل غالبية الفئات ممثلة تمثيلاً ناقصًا.

تجعل هذه العوامل الأساليب القياسية الخاضعة للإشراف غير مناسبة للعديد من البيئات الصناعية، مما يستلزم التحول نحو أساليب التعلم من الصفر الصارم (strict zero-shot learning). وتواجه النهج الحالية للتعلم من الصفر، مثل تلك التي تستفيد من التعلم داخل السياق (Halder et al.) أو انتشار التشابه القائم على التضمين (Z-STC, HiLA)، صعوبة في الأداء مع تعمق الهيكل الهرمي، حيث تفشل في التنقل بفعالية عبر مساحات التسمية الكبيرة والمتفرقة.

المنهجية: KG-HTC

يقترح المؤلفون KG-HTC، وهو إطار عمل مبتكر يدمج الرسوم البيانية للمعرفة (KGs) مع النماذج اللغوية الكبيرة (LLMs) لمعالجة تحديات التصنيف الهرمي للنصوص في إعدادات التعلم من الصفر. تتعامل الطريقة مع تصنيف التسميات كـ "رسم بياني موجه غير حلقي" (DAG)، وتستخدم خط معالجة "التوليد المعزز بالاسترجاع" (RAG) لتوفير سياق دلالي مهيكل للنموذج اللغوي الكبير.

يعمل بنية النظام من خلال المراحل التالية:

التخزين والتمثيل:
- يتم تخزين تصنيف التسميات في كل من قاعدة بيانات رسوم بيانية (Neo4j) للحفاظ على علاقات الأب والابن الهرمية، وقاعدة بيانات متجهية (ChromaDB) تحتوي على تضمينات لجميع التسميات.
- يسمح هذا التخزين المزدوج للنظام بالاستفيد من القيود الطوبولوجية لفك الغموض الدلالي.
استرجاع الرسم البياني الفرعي (RAG):
- عند إعطاء نص مدخل $x$ ، يقوم النظام بحساب التضمين الخاص به $\Psi(x)$ .
- لكل مستوى هرمي $l$ ، يحسب النظام تشابه جيب التمام بين المدخل وجميع التسميات في ذلك المستوى.
- يتم استرجاع التسميات المرشحة $Q_l$ بناءً على عتبة تشابه $\tau_l$ .
- تقوم الخوارزمية 1 بالتحقق من التبعيات عبر المستويات: لا يتم الاحتفاظ بالتسمية المرشحة في المستوى $l$ إلا إذا كان تسمية الأب الخاصة بها موجودة في مجموعة المرشحين للمستوى $l-1$ . تعمل هذه العملية على بناء رسم بياني فرعي (أو شجرة فرعية) ذي صلة من الرسم البياني الكامل للمعرفة، مما يؤدي إلى تصفية الضجيج غير ذي الصلة.
بناء المطالبة (Prompt Construction):
- يتم تحويل الرسم البياني الفرعي المسترجع إلى مطالبة مهيكلة باستخدام الخوارزمية 2.
- يقوم النظام بعملية تتبع انتشار للأعلى، حيث يسرد جميع المسارات الصالحة من العقد الورقية إلى الجذر.
- يتم تسلسل هذه المسارات كمتتاليات (مثل: المستوى 1 -> المستوى 2 -> المستوى 3) ودمجها في مطالبة واحدة. يضمن هذا التمثيل القائم على السلاسل فهم النموذج اللغوي الكبير للقيود الهرمية دون الشعور بالإرهاق من كامل التصنيف.
التصنيف على مستوى الطبقة:
- يقوم النموذج اللغوي الكبير بعملية التصنيف بشكل تكراري من المستوى 1 إلى المستوى $L$ .
- بالنسبة للمستوى الأول، يتم تضمين جميع تسميات المستوى الأعلى في المطالبة.
- بالنسبة للمستويات اللاحقة، يتم تقييد مجموعة المرشحين من خلال التسمية المتوقعة للمستوى السابق ( $y_{l-1}$ ) مدمجة مع المرشحين المسترجعين حديثًا ( $Q_l$ ). تقلل هذه الاستراتيجية من انتشار الخطأ وتتعامل مع مساحات التسمية الكبيرة بكفاءة.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

التكامل المبتكر: تقديم KG-HTC، وهي طريقة تدمج الرسوم البيانية للمعرفة في النماذج اللغوية الكبيرة خصيصًا للتصنيف الهرمي للنصوص من الصفر الصارم.
خط استرجاع دلالي: تنفيذ خط معالجة يسترجع ديناميكيًا رسومًا بيانية فرعية ذات صلة دلاليًا بناءً على تشابه جيب التمام ويحولها إلى مطالبات هرمية مهيكلة، مما يمكن النموذج اللغوي الكبير من الاستدلال عبر التصنيفات المعقدة.
التقييم الشامل: تقييم معمق يوضح أن KG-HTC يتفوق على الأساليب السابقة المتقدمة (Z-STC و HiLA) عبر ثلاث مجموعات بيانات مفتوحة المصدر، خاصة في مستويات الهيكل الهرمي الأكثر عمقًا.

النتائج التجريبية

قيم المؤلفون KG-HTC على ثلاث مجموعات بيانات: Amazon Product Reviews (3 مستويات)، Web of Science (WoS) (مستويان)، و DBpedia (3 مستويات). كان المقياس الأساسي هو F1-macro، الذي تم اختياره لمراعاة عدم توازن الفئات.

مكاسب الأداء: تفوق KG-HC بشكل كبير على كل من خط الأساس الضعيف (التصنيف المباشر للنموذج اللغوي الكبير) وخطوط الأساس القوية (Z-STC و HiLA).
- في مجموعة بيانات Amazon، حقق KG-HTC درجة 0.445 لـ F1-macro عند المستوى 3، مقارنة بـ 0.249 لـ HiLA و 0.173 لـ Z-STC.
- في مجموعة بيانات WoS، حقق KG-HTC درجة 0.630 لـ F1-macro عند المستوى 2، متفوقًا على HiLA (0.371) و Z-STC (0.462).
تحليل التدهور: تقدم الورقة مقياس "معدل التدهور المتوسط" لقياس فقدان الأداء مع تعمق التصنيف. أظهر KG-HTC أدنى معدل تدهور (على سبيل المثال، 0.15 في Amazon مقابل 0.43 لـ HiLA)، مما يشير إلى أن الطريقة تحافظ على المتانة حتى في الهياكل الهرمية العميقة والمتفرقة حيث تفشل الطرق الأخرى.
دراسات الاستئصال (Ablation Studies):
- استرجاع الرسم البياني الفرعي: أدى استبدال استرجاع الرسم البياني الفرعي القائم على RAG بالرسم البياني الكامل للمعرفة (Full-KG) إلى انخفاض الأداء في المستويات الأكثر عمقًا، مما يؤكد أن تصفية السياق ذي الصلة أمر بالغ الأهمية للتعامل مع مساحات التسمية الكبيرة.
- تعميم النموذج: نجحت الطريقة في تحسين أداء نموذج لغوي كبير مفتوح المصدر (Qwen2.5-8b) مقارنة بخط الأساس الخاص به، مما يدل على القدرة على التعميم بما يتجاوز النماذج المملوكة مثل GPT-3.5-turbo.

الأهمية والادعاءات

تدعي الورقة أن KG-HTC يعالج بفعالية التحديات الجوهرية للتصنيف الهرمي للنصوص في البيئات الصناعية: نقص البيانات الموسومة، مساحات التسمية الكبيرة، وتوزيعات الذيل الطويل. ومن خلال دمج المعرفة المهيكلة (عبر استرجاع الرسم البياني الفرعي) مع القدرات التوليدية للنماذج اللغوية الكبيرة، تمكن الطريقة من التصنيف الدقيق من الصفر دون الحاجة إلى ضبط دقيق (fine-tuning).

يؤكد المؤلفون أن نهجهم يسمح للنماذج اللغوية الكبيرة بـ "فهم دلالات التسميات في مستويات هرمية مختلفة" من خلال توفير قيود طوبولوجية صريحة. وتشير النتائج إلى أن دمج المعرفة المهيكلة هو مسار قابل للتطبيق للتغلب على قيود أساليب التصنيف الهرمي الحالية من الصفر، لا سيما في السيناريوهات التي تكون فيها توزيعات التسميات غير متوازنة للغاية والتصنيفات عميقة.

القيود: يشير المؤلفون إلى أن الطريقة تفترض توفر تصنيف كامل وصحيح؛ حيث إن عدم الدقة في الرسم البياني للمعرفة الأساسي سيؤدي إلى تدهور الأداء. وقد اقتُرح عمل مستقبلي للتركيز على استخدام النماذج اللغوية الكبيرة لبناء رسوم بيانية للمعرفة أكثر قوة.