ملخص تقني: تحسين الدقة الواقعية في النماذج اللغوية الكبيرة عبر بناء الرسوم البيانية للمعرفة أثناء الاستنتاج

بيان المشكلة

كثيراً ما تولد النماذج اللغوية الكبيرة (LLMs) إجابات غير متسقة واقعياً بسبب القيود في ذاكرتها البارامترية. وبينما تحاول نماذج التوليد المعزز بالاسترجاع (RAG) التخفيف من ذلك عبر دمج المعرفة الخارجية أثناء الاستنتاج، فإن النهج الحالي يعامل المعرفة المسترجعة كنصوص غير منظمة. هذا النهج القائم على النصوص فقط يعاني من انخفاض دقة الاسترجاع، ويعيق التفكير التركيبي، ويضخم تأثير المعلومات غير ذات الصلة، مما يقوض في النهاية الاتساق الواقعي لمخرجات النماذج اللغوية الكبيرة. علاوة على ذلك، فإن الأساليب التي تعتمد على رسوم بيانية للمعرفة (KGs) ثابتة ومبنية مسبقاً تفتقر إلى القدرة على التكيف في السياقات سريعة التغير ويصعب توسيع نطاقها.

المنهجية

يقترح المؤلفون مسار عمل مبتكر يتكون من أربع مراحل يقوم ببناء وتوسيع الرسوم البيانية للمعرفة ديناميكياً أثناء الاستنتاج، ويدمج كلاً من المعرفة الداخلية للنموذج اللغوي الكبير والمعرفة المسترجعة الخارجية. تتم عملية الصياغة كما يلي:

1. تهيئة الرسم البياني: عند إعطاء سؤال $Q$، يتم توجيه النموذج اللغوي لاستخراج الكيانات والعلاقات ذات الصلة لتشكيل رسم بياني بذرِي ($G_0$). هذا يلتقط الجوهر الأساسي للسؤال.
2. توسيع الرسم البياني: يتم توسيع الرسم البياني البذري بشكل تكراري عبر البحث بالعرض باستخدام المعرفة الداخلية للنموذذج اللغوي. يختار النموذج كيانات من مخزن مؤقت ويولد ثلاثيات جديدة (موضوع-علاقة-مفعول به) لتوسيع الرسم البياني حتى عمق محدد مسبقاً $D$، مما ينتج عنه رسم بياني موسع ($G_1$).
3. الاسترجاع الخارجي: لمعالجة عدم الدقة أو الفجوات في $G_1$، يستخدم النظام آلية استرجاع خارجية (باستخدام ويكيبيديا وبحث جوجل عبر BM25). يختار النموذج اللغوي كيانات أو ثلاثيات محددة من الرسم البياني ويختار بين إجراءين:
   • التصحيح: استبدال الثلاثيات الخاطئة بأخرى دقيقة واقعياً تم العثور عليها في المصادر الخارجية.
   • التوسيع: إضافة ثلاثيات جديدة ذات صلة لسد فجوات المعرفة.
     هذا الصقل التكراري ينتج رسماً بيانياً راسخاً ($G^*$).
4. الإجابة بناءً على الرسم البياني: أخيراً، يولد النموذج اللغوي الإجابة عن طريق الاستعلام في الرسم البياني المنقح ($G^*$). يتم تقييد النموذج بالتفكير فقط فوق الثلاثيات الموجودة في الرسم البياني لتقليل الهلوسة خارج الرسم البياني وضمان أن تكون الاستجابة مرتكزة على سلاسل أدلة قابلة للتحقق.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

• بناء الرسم البياني للمعرفة أثناء الاستنتاج: طريقة مبتكرة لاستخراج الثلاثيات مباشرة من المعرفة الداخلية للنموذج اللغوي وتصميم استراتيجية توسيع تكرارية لتوسيع الرسوم البيانية للمعرفة ديناميكياً أثناء الاستنتاج.
• التكامل الهجين للمعرفة: مسار عمل موحد يجمع بسلاسة بين المعرفة الداخلية للنماذج اللغوية الكبيرة والمعرفة من قواعد البيانات الخارجية. يعوض هذا النهج الهجين الفجوات المتأصلة في كل مصدر، مما يعزز التجذر الواقعي.
• التحقق التجريبي: التقييم المكثف على ثلاثة معايير متنوعة للأسئلة الواقعية (Complex WebQuestions، وHotpotQA، وSimpleQA) يظهر تحسينات مستمرة وكبيرة في دقة الإجابة والاتساق الواقعي عبر مختلف مجموعات البيانات والنماذج الأساسية.

النتائج التجريبية

تم تقييم الطريقة على CWQ وHotpotQA وSimpleQA باستخدام نماذج أساسية متنوعة (بما في ذلك GPT-4o، وDeepseek-V3، وLlama-4-Scout، وQwen2.5).

• مكاسب الأداء: حقق النهج المقترح نتائج رائدة (SOTA) في كل من إعدادات المعرفة الداخلية والخارجية. وتحت إعداد المعرفة الخارجية، أظهرت الطريقة تحسينات جوهرية، لا سيما في مجموعة بيانات SimpleQA الصعبة، مع مكاسب في الدقة تصل إلى 23.0% مقارنة بالنماذج المرجعية.
• تحسينات الاستدعاء: أدى دمج الاسترجاع الخارجي إلى زيادة كبيرة في استدعاء الحقائق الصحيحة التي تظهر في عملية التفكير. على سبيل المثال، في SimpleQA، ارتفع استدعاء Llama-4-Scout من 13.0% (داخلي فقط) إلى 37.5% (مع الاسترجاع الخارجي).
• التعميم: أثبتت الط طريقة متانتها عبر أحجام مختلفة من النماذج. ومن الملاحظ أن النماذج الأصغر (مثل Llama-4-Scout) المزودة بهذه الطريقة يمكنها التفوق على أو مضاهاة نماذج أكبر بكثير (مثل DeepSeek-V3) عند استخدام الاسترجاع الخارجي، مما يشير إلى أن الطريقة تخفف بفعالية من قيود الذاكرة البارامترية الداخلية.
• رؤى دراسة الاستئصال (Ablation): كشف التحليل عن وجود مقايضة حيث تؤدي زيادة تعقيد التفكير (المزيد من القفزات/Hops) إلى زيادة حجم الرسم البياني ولكن مع انخفاض الدقة، حيث يواجه النموذج صعوبة في تحديد المسار الصحيح بين المرشحين الموسعين. ومع ذلك، أظهرت النماذج الأكبر عموماً دقة واستدعاءً أعلى، مع تقلص الفجوة في الأداء بين النماذج عند إدخال المعرفة الخارجية.

الأهمية

تطرح الورقة فرضية مفادها أن بناء الرسم البياني للمعرفة أثناء الاستنتاج هو اتجاه واعد لتعزيز الواقعية في النماذج اللغوية الكبيرة بطريقة منظمة، وقابلة للتفسير، وقابلة للتوسع. ومن خلال الانتقال لما وراء استرجاع النصوص غير المنظمة، يتيح الإطار المقترح للنماذج اللغوية الكبيرة الوصول إلى المعرفة الواقعية ودمجها بشكل منهجي. إن القدرة على بناء وصقل الرسوم البيانية ديناميكياً تسمح بالتكيف في الوقت الفعلي مع فجوات المعرفة، مما يوفر حلاً جاهزاً للاستخدام (plug-and-play) يحسن الموثوقية دون الحاجة إلى عمليات تنسيق يدوي مكثفة أو رسوم بيانية ثابتة مبنية مسبقاً. ويؤكد المؤلفون أنه بينما تظل هناك قيود تتعلق بانتشار الهلوسة والوصول الأمثل للرسم البياني، فإن هذا النهج يمثل خطوة هامة نحو ذكاء اصطناعي أكثر موثوقية في المجالات عالية المخاطر.