ملخص تقني: الاستدلال عبر الرسوم البيانية للمعرفة باستخدام النماذج اللغوية الكبيرة عبر استرجاع المسارات عالي الأبعاد بدون مشفر

1. بيان المشكلة

تتبع أنظمة الإجابة على الأسئلة القائمة على الرسوم البيانية للمعرفة (KGQA) عادةً نموذج "الاسترجاع ثم الاستدلال"، حيث يتم توليد مسارات علاقات مرشحة تربط كيانات الموضوع بالنتائج المحتملة، ثم يتم ترتيبها لاختيار سلسلة الاستدلال الأكثر منطقية. تعاني المنهجيات الحالية المتطورة من عدم كفاءة أساسي في جانبين:

1. عدم التطابق بين المسار والاستعلام: تعتمد العديد من الأنظمة على مشفرات عصبية (مثل Transformers أو GNNs) أو معاملات ربط غير حساسة للترتيب. وغالبًا ما تفشل هذه الأنظمة في التمييز بين تسلسلات العلاقات ذات الاتجاهات أو الترتيبات المختلفة (على سبيل المثال، الخلط بين $r_1 \to r_2$ و $r_2 \to r_1$)، مما يؤدي إلى اختيار مسارات مرتبطة ظاهريًا ولكنها غير متوافقة دلاليًا.
2. تقييم المرشحين بواسطة النماذج اللغوية الكبيرة (LLMs) لكل حالة على حدة: لحل الغموض، تقوم العديد من خطوط المعالجة باستدعاء النماذج اللغوية الكبيرة بشكل متسلسل لتقييم كل مسار مرشح. يؤدي هذا إلى زمن انتقال مرتفع، وتكاليف رمزية (tokens) كبيرة، وحمل زائد على ذاكرة وحدة معالجة الرسومات (GPU)، حيث يتناسب عدد استدعاءات النموذج طرديًا مع حجم مجموعة المرشحين. علاوة على ذلك، فإن هذه العملية المتسلسلة يصعب موازاتها وعرضة لعدم الاستقرار.

تجادل الورقة بأن الحلول الحالية تضحي بالكفاءة والشفافية في سبيل الدقة، مما يستوجب وجود إطار عمل يحافظ على دقة عالية في الاستدلال مع القضاء على العبء الحسابي للترميز العصبي المتكرر وتقييم النماذج اللغوية الكبيرة.

2. المنهجية: PathHD

يقترح المؤلفون PathHD (استرجاع المسارات عالي الأبعاد)، وهو إطار عمل خالٍ من المشفرات يربط بين الحوسبة عالية الأبعاد (HDC) واستدعاء واحد للنموذج اللغوي الكبير. يتكون خط المعالجة من أربع مراحل: التخطيط $\leftarrow$ الترميز $\leftarrow$ الاسترجاع $\leftarrow$ الاستدلال.

2.1 تهيئة المتجهات الفائقة والترميز

يعمل PathHD في فضاء التمثيل الهولوغرافي المختزل المعمم (GHRR).

• تمثيل الرموز: يتم تعيين كل علاقة ذرية (وكيان اختياريًا) إلى متجه فائق $v_x$ ذي $d$-بعد. تُبنى هذه المتجهات كمتجهات كتلية من مصفوفات وحدوية: $v_x = [A(x)_1; \dots; A(x)_D]$، حيث كل كتلة $A(x)_j \in U(m)$.
• الخصائص: يتم أخذ عينات من هذه المتجهات مرة واحدة وتظل ثابتة (بدون معاملات متعلمة). يضمن استخدام المصفوفات الوحدوية أن تكون الرموز شبه متعامدة، مما يركز التشابه مع زيادة الأبعاد.
• ترميز الاستعلام: يتم ترميز الاستعلام إما عن طريق تطبيق نفس ربط GHRR على مخطط علاقات مختار (قائم على التخطيط) أو عن طريق إسقاط تضمين جملة (مثل SBERT) في فضاء HDC عبر خريطة خطية عشوائية ثابتة.

2.2 ربط GHRR وتكوين المسار

لتمثيل مسار علاقة متعدد الخطوات $z = (r_1, \dots, r_\ell)$، يستخدم PathHD معامل ربط كتلي غير تبادلي ($\otimes$):
$$v_z = v_{r_1} \otimes v_{r_2} \otimes \dots \otimes v_{r_\ell}$$
حيث $X \otimes Y = [X_1 Y_1; \dots; X_D Y_D]$.

• الحساسية للترتيب: نظرًا لأن ضرب المصفوفات غير تبادلي ($X_j Y_j \neq Y_j X_j$)، فإن المتجه الفائق الناتج يحافظ على الترتيب المحدد واتجاه تسلسل العلاقات. وهذا يميز المسارات مثل $r_1 \to r_2$ عن $r_2 \to r_1$، مما يعالج مشكلة عدم تطابق المسار والاستعلام.
• فك الارتباط التقريبي: يسم الله هذه البنية لفك الارتباط التقريبي للعلاقات الفردية، مما يدعم قابلية التفسير.

2.3 الاسترجاع عبر التشابه الكتلي

يتم إنشاء المسارات المرشحة من الرسم البياني للمعرفة (KG) وترميزها في متجهات فائقة. يتم الاسترجاع عن طريق حساب تشابه جيب التمام الكتلي (blockwise cosine similarity) بين متجه الاستعلام الفائق $v_q$ ومتجهات المسارات المرشحة $v_z$:
$$\text{sim}(X, Y) = \frac{1}{D} \sum_{j=1}^D \frac{\Re \langle X_j, Y_j \rangle_F}{\|X_j\|_F \|Y_j\|_F}$$

• التقييم: يمكن تطبيق درجة معايرة، تتضمن مصطلح التردد العكسي للوثائق (IDF) لمعاقبة المخططات المتكررة وعقوبة الطول.
• التقليم (Pruning): يتم تقييم جميع المرشحين بالتوازي (بدرجة تعقيد $O(Nd)$)، وتقوم خطوة تقليم Top-K باختيار المسارات الأكثر واعدة. هذا يلغي الحاجة إلى مشفرات عصبية أو تقييم متسلسل للنماذج اللغوية الكبيرة أثناء الاسترجاع.

2.4 الاستدلال بضربة واحدة (One-Shot)

بدلاً من تقييم كل مسار على حدة، يقوم PathHD بعملية تحكيم واحدة من النموذج اللغوي الكبير:

1. يتم تحويل أفضل $K$ مسار إلى عبارات لغوية طبيعية.
2. يتم إرسال مطالبة (prompt) واحدة إلى النموذج اللغوي تحتوي على السؤال الأصلي والمسارات المرشحة الـ $K$ الأفضل.
3. يخرج النموذج اللغوي الإجابة النهائية، ويستشهد بفهرس المسار الداعم، ويقدم تعليلًا موجزًا.
   هذا يفصل بين الاسترجاء والتوليد، مما يضمن تركيز النموذج اللغوي الكبير فقط على المرشحين عالي الجودة.

3. المساهمات الرئيسية

1. مسترجع مدرك للترتيب وخالٍ من المشفرات: يقدم PathHD طريقة لترميز تسلسلات العلاقات في متجهات فائقة باستخدام ربط GHRR غير التبادلي. يسمح هذا بتقييم كامل بالتوازي وبدرجة تعقيد $O(Nd)$ دون الحاجة لمشفرات عصبية متعلمة أو مطالبات لكل مسار، مع الحفاظ على المعلومات الاتجاهية الحرجة.
2. التحكيم بكفاءة بضربة واحدة: يستبدل الإطار عمل عمليات تقييم متعددة للنماذج اللغوية الكبيرة بخطوة تحكيم واحدة لـ Top-K من المسارات المسترجعة. يقلل هذا بشكل كبير من استخدام الرموز (tokens)، وزمن الانتقال، وتكاليف الواجهة البرمجية (API) مع الحفاظ على قابلية التفسير من خلال المسارات المستشهد بها.
3. التحقق الشامل: يقدم المؤلفون تجارب مكثفة على WebQSP وCWQ وGrailQA، مما يظهر دقة تنافسية مع خطوط الأساس القوية. كما يتضمنون دراسات استقصائية (ablation studies) تؤكد تفوق ربط GHRR على المعاملات التبادلية (مثل XOR أو الضرب الدائري) وتحلل تأثير تقليم Top-K.

4. النتائج التجريبية

عند تقييمه على معايير Freebase (WebQSP, CWQ, GrailQA)، أظهر PathHD ما يلي:

• الدقة: يحقق PathHD أعلى دقة Hits@1 على WebQSP (86.2) وGrailQA (92.4 F1 على تقسيم IID)، ويظل منافسًا في CWQ (71.5 Hits@1)، متفوقًا أو مساويًا لوكلاء النماذج اللغوية الكبيرة المعقدين (مثل RoG وKG-Agent) الذين يستخدمون 3 إلى 12 استدعاء للنموذج.
• الكفاءة: من خلال استخدام تقييم الفضاء المتجهي واستدعاء واحد للنموذج اللغوي الكبير، يقلل PathHD زمن الانتقال النهائي بنسبة 40-60% مقارنة بالنماذج الأساسية متعددة الاستدعاءات.
• استخدام الموارد: يقلل آلية الاسترجاع الخالية من المشفر إلى استخدام ذاكرة GPU بمقدار 3-5 أضعاف مقارنة بالطرق التي تتطلب مشفرات عصبية لكل مرشح.
• رؤى الدراسات الاستقصائية (Ablation):
  • معامل الربط: يتفوق GHRR (غير التبادلي) بشكل كبير على عمليات الربط التبادلية (XOR، الضرب العنصري) والمتغيرات الأخرى من HDC (مثل FHRR وHRR)، مما يؤكد ضرورة الحساسية للترتيب.
  • التحكيم: يؤدي استدعاء واحد للنموذج اللغوي الكبير على Top-K مسارات إلى نتائج أفضل من الاختيار المتجهي الصرف، خاصة في حل حالات التعادل الوثيق أو عدم التطابق الدقيق في القيود.
  • التقليم: يوفر اختيار $K=3$ مرشحين أفضل مقايضة بين الدقة وزمن الانتقال.

5. الأهمية والادعاءات

تدعي الورقة أن PathHD تثبت أن التمثيلات الفائقة المصممة بعناية يمكن أن تعمل كركيزة فعالة وغير مدربة للاستدلال في الرسوم البيانية للمعرفة باستخدام النماذج اللغوية الكبيرة.

• تحسين المقايضة: يحقق PathHD توازنًا قويًا بين الدقة والكفاءة وقابلية التفسير. فهو يتجنب "الثمن الباهظ" للمشفرات العصبية واستدعاءات النماذج اللغوية المتكررة مع الحفاظ على استدلال أمين قائم على الرسم البياني للمعرفة.
• القابلية للتوسع: إن التوسع الخطي للحساب مع الأبعاد وإلغاء استدعاءات النماذج اللغوية لكل مرشح يجعل النهج عالي القابلية للتوسع للجموع الكبيرة من المرشحين.
• الأمانة (Faithfulness): من خلال تقديم مسارات صريحة ومستشهد بها كتعليلات، يعزز النظام الشفافية ويسمح بسهولة تحليل الأخطاء مقارنة باستدلال النماذج اللغوية الكبيرة "الصندوق الأسود".

يضع المؤلفون PathHD ليس كتقدم نظري جديد في بنيات الرموز المتجهة (VSA)، بل كتطبيق عملي يوضح أن HDC يمكن أن يحل محل المقيمات العصبية المتعلمة في أنظمة الاستدال لـ KG-LLM، مما يوفر بديلًا فعالًا وشفافًا للاستدلال. ويُقترح كعمل مستقبلي لتطبيق هذا على الرسوم البيانية المتخصصة (مثل الطب الحيوي) والمهام التي تتجاوز الإجابة على الأسئلة.