SAKE: Structured Agentic Knowledge Extrapolation for Complex LLM Reasoning via Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "SAKE: الاستقراء الهيكلي للمعرفة الوكيلة للتعامل مع الاستدلال المعقد للنماذج اللغوية الكبيرة عبر التعلم التعزيزي."

1. تعريف المشكلة

تتناول الورقة تحدي استقراء المعرفة (Knowledge Extrapolation): وهو القدرة على استنتاج معلومات جديدة من خلال دمج وتوسيع المعرفة الموجودة والمتاحة صراحةً. هذا الأمر بالغ الأهمية في المجالات المتخصصة (مثل الطب الحيوي) حيث يكون استرداد قاعدة معرفية خارجية كاملة أمراً غير عملي.

• الفجوة: غالباً ما تفشل النماذج اللغوية الكبيرة (LLMs) في المهام كثيفة المعرفة بسبب:
  • المعرفة البارامترية: الأوزان المدربة مسبقاً غير كافية للحقائق المتخصصة.
  • قيود الاسترداد: يفترض نظام التوليد المعزز بالاسترداد (RAG) القياسي أن الإجابة موجودة في السياق المسترد. إذا كانت الرسوم البيانية للمعرفة (KG) غير مكتملة، فلن يتمكن النموذج من الإجابة.
  • التعقيد: تعتمد أطر العمل الوكيلية الحالية (مثل GraphRAG وToG) على توجيهات (prompting) معقدة متعددة الخطوات يصعب على النماذج الصغيرة (3B–7B بارامتر) اتباعها بموثوقية، مما يؤدي إلى الهلوسة أو ارتفاع تكلفة الرموز (tokens).
• الهدف: تمكين النماذج الصغيرة ذات الأوزان المفتوحة من استرداد المعرفة المهيكلة ذاتياً، وتحديد الأنماط الهيكلية، واستقراء حقائق جديدة عبر القياس (analogy) للإجابة على الأسئلة التي تفتقد الإجابة المباشرة من الرسم البياني للمعرفة (KG).

2. المنهجية: إطار عمل SAKE

SAKE (الاستقراء الهيكلي للمعرفة الوكيلية) هو إطار عمل للتعلم التعزيزي المعزز بالأدوات (Tool-augmented RL). يقوم بتدريب النماذج اللغوية الكبيرة لأداء مسار استدلال متعدد الخطوات دون الحاجة إلى الضبط الدقيق الخاضع للإشراف (SFT).

المكونات الأساسية

1. بيئة معززة بالأدوات:
   يتفاعل النموذج مع الرسم البياني للمعرفة (KG) عبر أداتين خارجيتين حتميتين:

   • الأداة 1 (بناء مجموعة الكيانات): تربط الكيانات المستخرجة من الاستعلام بالرسم البياني للمعرفة وتسترد مفاهيم "شقيقة" متشابهة دلالياً (لتكوين مجموعات كيانات). هذا يسد الفجوة بين مصطلحات الاستعلام ومفردات الرسم البياني للمعرفة.
   • الأداة 2 (استرداد الثلاثيات عبر المجموعات): تسترد الثلاثيات (triplets) من الرسم البياني للمعرفة التي تربط الكيانات عبر مجموعات مختلفة مختارة، مما يوفر دليلاً هيكلياً للاستدلال.

2. مسار وكيل ثلاثي الخطوات:
   يولد النموذج مساراً يتخلله استدعاءات للأدوات:

   • الخطوة 1 (الاستخراج): يستخرج النموذج الكيانات الرئيسية من الاستعلام (على سبيل المثال، أمراض أو جزيئات محددة) ويقوم بتفعيل الأداة 1.
   • الخطوة 2 (التصفية): يتلقى النموذج مجموعات الكيانات، ويقيم مدى صلتها، ويقوم بتصفية المجموعات غير ذات الصلة، ثم يطلق الأداة 2 لاسترداد الثلاثيات العابرة للمجموعات.
   • الخطوة 3 (الاستدلال الترابطي): يحلل النموذج الثلاثيات المستردة. إذا لم تكن الإجابة موجودة مباشرة، فإنه يقوم بـ استقراء المعرفة عن طريق استبدال المفاهيم المتشابهة دلالياً من مجموعات الكيانات في أنماط الثلاثيات الموجودة (على سبيل المثال، تحويل النمط (هرمون، يعالج، اضطراب_نفسي) إلى (ميلاتونين، يعالج، أرق)).

3. هدف التدريب (GRPO):

   • الخوارزمية: يستخدم إطار العمل خوارزمية تحسين المجموعة النسبي (Group Relative Policy Optimization - GRPO) ضمن إطار عمل VERL.
   • التحسين الشامل (End-to-End): يتم تحسين المسار بأكمله (الاستخراج، التصفية، الاستدلال) بشكل مشترك. مخرجات الأدوات حتمية ويتم حجبها من حساب الخسارة (loss)، لكن مكافأة النتيجة النهائية هي التي توجه القرارات في المراحل السابقة.
   • مكافأة المنهج (Curriculum Reward): وظيفة مكافأة ثلاثية المراحل توجه التدريب:
     1. مرحلة التنسيق (Format Phase): تكافئ الوسم الهيكلي الصحيح (لضمان تشغيل المسار).
     2. مرحلة الانتقال (Transition Phase): تكافئ كلاً من التنسيق ودقة الإجابة.
     3. مرحلة الدقة (Accuracy Phase): تكافئ دقة الإجابة فقط (حيث يصبح الالتزام بالتنسيق عادةً).

3. المساهمات الرئيسية

• استقراء المعرفة القابل للتعلم: يثبت أن القدرة على استقراء المعرفة المفقودة عبر القياس هي سلوك يمكن تعلمه بالكامل عبر التعلم التعزيزي (RL) بواسطة نماذج صغيرة (3B/7B)، بدلاً من الحاجة إلى هندسة أوامر معقدة أو عدد ضخم من البارامترات.
• سياسة وكيل موحدة: يوحد الاسترداد والاستدلال في سياسة واحدة. على عكس الأعمال السابقة التي تفصل بين الاسترداد والاستدلال أو تعتمد على بيانات محسوبة مسبقاً، يتعلم SAKE ماذا يسترد وكيف يستدل عليه ديناميكياً.
• الكفاءة: يحقق أداءً يضاهي أحدث التقنيات (SOTA) في تمريرة استدلال واحدة، مما يقلل بشكل كبير من استخدام الرموز مقارنة بالأطر الوكيلية المتكررة.
• لا يتطلب ضبطاً دقيقًا (SFT): يتم تدريب النموذج مباشرة من نموذج تعليمات أساسي باستخدام التعلم التعزيزي فقط، مما يثبت أن السلوك الوكيلي متعدد الخطوات يمكن أن ينبثق محضاً من الاستكشاف المدفوع بالمكافأة.

4. النتائج التجريبية

قيم المؤلفون SAKE على رسمين بيانيين للمعرفة متميزين:

• الطب الحيوي: UMLS (135 عقدة، 5.9 ألف ثلاثية) على PubMedQA وBioASQ وProcessBank.
• المعرفة العامة (Commonsense): ConceptNet (844 ألف عقدة، 2.1 مليون ثلاثية) على CommonsenseQA.

النتائج الرئيسية:

• الأداء: تفوق نموذج Qwen2.5-7B المزود بـ SAKE على GPT-3.5-Turbo المقترن بأحدث الأطر الوكيلية (GIVE):
  • الطب الحيوي: 75.4% مقابل 70.1% (المتوسط المرجح).
  • المعرفة العامة: 81.3% مقابل 74.7%.
• القابلية للتوسع: حسن SAKE الأداء باستمرار عبر كل من نماذج 3B و7B، بينما أظهرت الخطوط المرجعية الأخرى (مثل SFT أو GRPO القياسي) مكاسب غير مستقرة أو تراجعاً عند أحجام مختلفة.
• الكفاءة: قلل SAKE من استخدام الرموز بنسبة >90% مقارنة بالأطر المتكررة مثل ToG وGIVE (على سبيل المثال، ~800 رمز مقابل ~14,000 رمز لكل سؤال).
• دراسات الاستبعاد (Ablation Studies):
  • تصفية المجموعات: أدى حذف هذه الخطوة إلى تقليل الدقة بنسبة ~2.5–5.0%، مما يؤكد الحاجة لتصفية الضجيج قبل الاسترداد.
  • الاسترداد الوكيلي: تفوق الاسترداد المتعلم على الاسترداد المحسوب مسبقاً بنسبة ~5–7%، مما يثبت قيمة الاستخراج المتكيف مع الاستعلام.
  • استقراء المعرفة: تسبب حذف خطوة الاستقراء في أكبر انخفاض (يصل إلى 15.4% في BioASQ)، مما يؤكد أن القدرة على بناء ثلاثيات جديدة أمر ضروري للرسوم البيانية للمعرفة غير المكتملة.

5. الأهمية

يمثل SAKE تحولاً جذرياً في نشر النماذج اللغوية الكبيرة في المجالات المتخصصة:

1. دمقرطة الاستدلال: يثبت أن النماذج الصغيرة ذات الأوزان المفتوحة يمكنها تحقيق قدرات استدلال كان يُعتقد سابقاً أنها تتطلب نماذج ضخمة أو استراتيجيات توجيه معقدة متعددة الخطوات.
2. التعامل مع عدم الاكتمال: يقدم حلاً قوياً للمجالات التي تكون فيها قواعد المعرفة بطبيعتها غير مكتملة، متجاوزاً مجرد الاسترداد البسيط إلى الاستدلال الترابطي.
3. فعالية التكلفة: من خلال تقليل استخدام الرموز بأكثر من 90% وتطلب تمريرة استدلال واحدة فقط، يجعل SAKE الاستدلال الوكيلي المتقدم مجدياً اقتصادياً للتطبيقات الواقعية.

الكود متاح على: https://anonymous.4open.science/r/SAKE-7585.