A Human-in-the-Loop, LLM-Centered Architecture for Knowledge-Graph Question Answering

ملخص تقني: بنية مركزة على النماذج اللغوية الكبيرة وتعتمد على "الإنسان في الحلقة" للإجابة على الأسئلة عبر الرسوم البيانية للمعرفة

بيان المشكلة
بينما تتفوق النماذج اللغوية الكبيرة (LLMs) في فهم اللغة الطبيعية، إلا أنها تواجه قيوداً كبيرة في المجالات كثيفة المعرفة، بما في ذلك الهلوسة، والمعلومات القديمة، والافتقار إلى القابلية للتفسير. تعتمد نهجات استرجاع المعلومات المعزز (RAG) الحالية غالباً على الاسترجاع القائم على النصوص، والذي يعاني من صعوبة في الاستنتاج متعدد الخطوات (multi-hop reasoning) المطلوب لربط الكيانات المرتبطة ببعضها بشكل غير مباشر. وفي المقابل، توفر الرسوم البيانية للمعرفة (KGs) استعلامات دقيقة وقابلة للتفسير، ولكنها تتطلب خبرة في لغات الاستعلام مثل Cypher أو SPARQL. تعاني مسارات عمل (pipelines) نظام RAG القائمة على الرسوم البيانية للمعرفة حالياً من ثلاثة عيوب تصميمية محددة: (1) خطية الثلاثيات (triples) في الرسم البياني تمحو السياق الهيكلي؛ (2) الاسترجاع "الصندوق الأسود" يخفي مسار الاستنتاج؛ و(3) غياب تحكم المستخدم في الحلقة يمنع الصقل التكراري للمطابقات الخاطئة للكيانات أو النطاق. وقد أظهرت أعمال المؤلفين السابقة أنه بينما يمكن للنماذج اللغوية الكبيرة ترجمة الأسئلة إلى استعلامات، فإن عدم القدرة على تصحيح أو تفسير هذه الاستعلامات استلزم إعادة توليد كاملة عند الفشل، مما خلق فجوة بين قصد المستخدم والتنفيذ.

المنهجية
يقترح المؤلفون إطار عمل تفاعلياً ونمطياً حيث تقوم النماذج اللغوية الكبيرة بتوليد وشرح وتعديل استعلامات Cypher بشكل تكراري بناءً على مدخلات المستخدم باللغة الطبيعية. تتكون البنية من أربعة مكونات أساسية:

1. توليد الاستعلام: ترجمة الأسئلة باللغة الطبيعية إلى استعلامات Cypher قابلة للتنفيذ باستخدام مطالبة (prompt) مدركة للمخطط (schema-aware) تقيد المفردات بأنواع العقد والحواف الصالحة.
2. تنفيذ الاستعلام: الاتصال بقاعدة بيانات Neo4j لتنفيذ الاستعلام المولد وإرجاع نتائج مهيكلة.
3. شرح الاستعلام: توليد تفسيرات بشرية مفهومة، خطوة بخطوة، لمنطق الاستعلام، بما في ذلك ملخصات الغرض وفحوصات المعقولية (مثل التنبيه إلى العلاقات المعكوسة أو أنواع العقد غير الصالحة).
4. تعديل الاستعلام: يسمح للمستخدمين بتقديم ملاحظات باللغة الطبيعية لتحديث استعلام موجود بشكل تكراري دون الحاجة لإعادة توليده من البقر، مما يتيح تصحيحات مستهدفة للمرشحات (filters)، أو أنواع الكيانات، أو منطق التتبع.

تم تقييم إطار العمل من خلال ثلاث تجارب متميزة:

• الاختبار المعياري الاصطناعي (Movie KG): اختبار معياري مكون من 90 استعلاماً صُمم لاختبار قدرة النموذج اللغوي الكبير على شرح استعلامات Cypher وكشف الأخطاء المحقونة (مثل العلاقات المقلوبة، أو التسميات غير المنطقية، أو القيود المتناقضة). تم اختبار خمسة نماذج لغوية كبيرة على جودة الشرح وكشف الأخطاء.
• دراسة حالة واقعية 1 (MaRDI KG): رسم بياني لبيانات بحث رياضية يحتوي على حزم برمجية، ومؤلفين، ومنشورات. تم اختبار 14 نموذجاً لغوياً كبيراً على تسعة أسئلة باللغة الطبيعية لتقييم دقة توليد الاستعلام مع ما يصل إلى محاولتين للتعديل.
• دراسة حالة واقعية 2 (Hyena KG): رسم بياني بيولوجي مشتق من بيانات بيئية طويلة الأمد عن الضباع المرقطة. تم اختبار نفس الـ 14 نموذجاً لغوياً كبيراً على خمسة أسئلة صاغها خبراء فيما يتعلق بالقرابة والانتشار، مع السماح أيضاً بالصقل التكراري.

المساهمات الرئيسية

1. إطار عمل تفاعلي: نظام يجمع بين تعبيرية Cypher وسهولة الوصول التي توفرها النماذج اللغوية الكبيرة، مستهدفاً بشكل صريح قيود الشفافية والتحكم في أنظمة KG-RAG الحالية. فهو يتيح للمستخدمين فحص وشرح وتحسين الاستعلامات من خلال التغذية الراجعة الحوارية.
2. التقييم التجريبي: تقييم شامل عبر مجالات اصطناعية وواقعية (الرياضيات والبيولوجيا)، يقيس جودة الشرح، وكشف الأخطاء، ودقة توليد الاستعلام عبر نماذج لغوية كبيرة متعددة.
3. رؤى حول أنماط الفشل: تحديد أنماط فشل شائعة للنماذج اللغوية الكبيرة، مثل إغفال القيود الزمنية في الملخصات، والتباين الكبير في الأداء بين النماذج عند التعامل مع أسئلة معقدة ومستوى الخبراء.

النتائج

• جودة الشرح: في اختبار الأفلام الاصطناعي، حققت النماذج الأعلى أداءً (o1-preview، deepseek-reasoner-api، o3-mini) دقة تزيد عن 70% في توليد ملخصات صحيحة من جملة واحدة. ومع ذلك، كان هناك نمط فشل متكرر عبر النماذج يتمثل في إغفال السنوات المذكورة في الاستعلامات. وفي كشف الأخطاء، تباينت النماذج في توازنها بين الحساسية والنوعية؛ حيث حققت نماذج o1-preview وdeepseek-reasoner-api دقة عالية في كشف العيوب (>85%) مع معدلات إنذار كاذب منخفضة (<10%)، بينما عانت نماذج أخرى مع أنواع معينة من الاضطرابات مثل العلاقات المقلوبة.
• توليد الاستعلام (MaRDI): في الرسم البياني الرياضي، حل نموذج o3-mini وGPT-5.2 جميع المهام التسعة، بينما حلت معظم النماذج الأخرى 7-8 مهام. تم التعامل مع الاستعلامات البسيطة بشكل موثوق، لكن المهام المعقدة مثل تحديد المؤلفين المشتركين عبر الحزم كانت صعبة على العديد من النماذج.
• توليد الاستعلام (Hyena): اتسعت فجوات الأداء بشكل كبير في الرسم البياني البيولوجي. حقق نموذجا o3 وdeepseek-reasoner-api فقط دقة بنسبة 100% (5/5 أسئلة). أما النماذج الأخرى، بما في ذلك تلك التي أدت أداءً جيداً في MaRDI، فقد واجهت صعوبات، حيث حققت بعض نماذج Ollama المستضافة نتيجة 0/5. تباينت الكفاءة، حيث تطلبت بعض النماذج محاولات تعديل متعددة للوصول إلى إجابة صحيحة.

الأهمية والادعاءات
يزعم البحث أن مساهمته الأساسية هي سد الفجوة بين اللغة الطبيعية والاستعلام الرسمي للرسوم البيانية من خلال جعل مسار الاستنتاج صريحاً وقابلاً للتدقيق. ويرى المؤلفون أنه بينما يمكن للنماذج اللغوية الكبيرة توليد استعلامات قابلة للعمل، فإن فائدتها في السيناريوهات الواقعية التي يقودها الخبراء متغيرة للغاية وتعتمد على المجال وتعقيد السؤال. وتوضح الدراسة أن الاختبارات المعيارية الاصطناعية قد لا تستوعب بالكامل صعوبات الأسئلة المستمدة من الخبراء، كما يتضح من انخفاض الأداء في دراسة حالة Hyena.

يخلص المؤلفون بتواضع إلى أن إطار عملهم ينجح في تمكين غير الخبراء من التفاعل مع الرسوم البيانية للمعرفة المعقدة دون تعلم لغات الاستعلام، بشرط أن يدعم النظام الصقل التكراري. ويؤكدون أن العمل المستقبلي يجب أن يركز على تحسين مطالبات الشرح للاحتفاظ بالقيود الزمنية وتطوير أدوات تفاعلية (مثل عرض الفروقات/diff views) لتحسين كفاءة عملية "الإنسان في الحلقة". لا يدعي العمل حل جميع تحديات KG-RAG، ولكنه يوفر نهجاً مهيكلاً للشفافية والتحكم يقلل من خطر الهلوسة ويعزز الثقة في الإجابات القائمة على الرسوم البيانية.