Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الرسوم البيانية للمعرفة هي نماذج مكافأة ضمنية: الإشارات المشتقة من المسارات تمكّن الاستدلال التركيبي."

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) أداءً يقترب من مستوى الخبراء في المجالات المهيكلة مثل الرياضيات والبرمجة، لكنها تعاني من صعوبة في الاستدلاء التركيبي متعدد الخطوات (multi-hop reasoning) في المجالات العلمية المتخصصة (مثل الطب). وتشمل القيود الحالية ما يلي:

• الافتقار إلى التعميم التركيبي: تعتمد النماذج غالبًا على مطابقة الأنماط أو الحفظ بدلاً من الجمع الموثوق بين الحقائق البديهية لحل المشكلات المعقدة وغير المرئية.
• عيوب تصميم المكافأة: تعمل طرق التدريب اللاحقة الحالية (مثل RLHF و DPO) على تحسين المخرجات النهائية لتتوافق مع التفضيلات البشرية أو الإجابات الخبيرة، وغالبًا ما تتجاهل عملية الاستدلال نفسها. يؤدي هذا إلى "اختراق المكافأة" (reward hacking)، حيث تنتج النماذج إجابات فصيحة ولكنها هشة منطقيًا.
• قابلية التوسع في الإشراف على العمليات: بينما يعد مكافأة الخطوات المتوسطة (الإشراف على العملية) فعالاً في الرياضيات، فإن تنسيق مسارات استدلال تتطلب ملاحظات خبراء للمجالات العلمية المعقدة أمر باهظ التكلفة ويصعب توسيعه.

التحدي الجوهري هو: كيف يمكننا بناء أنظمة قابلة للتوسع تعزز الاستدلال التركيبي المرتكز على الحقائق في المهام متعددة الخطوات دون الاعتماد على ملاحظات بشرية مكلفة؟

2. المنهجية

يقترح المؤلفون نموذج تعلم من الأسفل إلى الأعلى (bottom-up learning paradigm) حيث يتم ترسيخ النماذج في حقائق المجال البديهية وتركيبها لحل المهام المعقدة. يتضمن الحل خط إنتاج مكون من ثلاث مراحل: النموذج الأساسي $\to$ الضبط الدقيق الموجه (SFT/LoRA) $\to$ التعلم التعزيزي (RL/GRPO)، باستخدام الرسوم البيانية للمعرفة (KGs) كـ نماذج مكافأة ضمنية.

أ. بناء البيانات والترسيخ

• المصدر: نظام اللغة الطبية الموحد (UMLS) للرسوم البيانية للمعرفة.
• التوليد: يتم توليد أسئلة الاستدلال متعدد الخطوات (1-3 خطوات للتدريب) عبر تتبع المسارات في الرسم البيائي للمعرفة. يُقرن كل سؤال بـ مسار الحقيقة الأرضية (GT Path) (وهو تسلسل من الثلاثيات $(head, relation, tail)$) ومسار استدلال.
• الفصل: يضمن الفصل الصارم بين مجموعات التدريب (1-3 خطوات) والاختبار (2-5 خطوات) تقييم القدرة على التعميم في حالة "الصفر المعرفة" (zero-shot).

ب. خط تدريب النموذج

1. الضبط الدقيق الموجه (SFT):

   • يتم ضبط نموذج أساسي (Qwen3) باستخدام تقنية التكيف منخفض الرتبة (LoRA) على مجموعة بيانات ضخمة من أزواج (السؤال/الجواب) المرتكزة على الرسم البياني (19,660 مثالاً).
   • الهدف: غرس المعرفة الأساسية للمجال وتعليم النموذج إنتاج مسارات استدلال مهيكلة.
   • النتيجة: يوفر الـ SFT وحده قاعدة معرفية، ولكنه يفتقر إلى القدرة على تركيب الحقائق للمهام المعقدة غير المرئية.

2. التعلم التعزيزي (RL) باستخدام GRPO:

   • يخضع النموذج لعملية تحسين السياسة النسبية للمجموعات (GRPO) على مجموعة فرعية أصغر وعالية الجودة (5,000 مثال).
   • رؤية جوهرية: يفشل الـ RL وحده (Zero-RL) على النموذج الأساسي في تحقيق خبرة عميقة في المجال؛ لذا فإن الـ SFT مطلوب كبداية دافئة (warm start).

ج. الابتكار الجوهري: المكافآت المشتقة من مسارات الرسم البياني

بدلاً من الاعتماد على التغذية الراجعة البشرية أو التشابه مع النصوص الخبيرة، تقدم الورقة دالة مكافأة مركبة مشتقة مباشرة من بنية الرسم البياني للمعرفة:
$$R_{total}(y) = R_{bin}(\hat{a}, a^*) + R_{path}(r, P)$$

• الصحة الثنائية ($R_{bin}$): تكافئ الإجابة النهائية. تستخدم التعزيز السلبي (معاقبة الإجابات الخاطئة بشدة، $\beta > \alpha$) لتشجيع استكشاف المسارات الصحيحة.
• مكافأة محاذاة المسار ($R_{path}$): وهي المساهمة المبتكرة. تقيس مدى تغطية مسار الاستدلال الخاص بالنموذج مقابل مسار الحقيقة الأرضية (GT path) في الرسم البياني.
  • تقوم بتجزئة (tokenize) مسار الاستدلال وتتحقق من وجود الكيانات (entities) من مسار الحقيقة الأرضية.
  • الصيغة: $R_{path} = \min(\gamma_1 \cdot \text{coverage} + \gamma_2 \cdot \mathbb{I}(\text{hits} \ge 2), R_{max})$.
  • الآلية: تعمل هذه كـ نموذج مكافأة ضمني، حيث تتحقق من أن النموذج يقوم بتركيب الحقائق البديهية الصحيحة منطقياً بدلاً من مجرد تخمين الإجابة النهائية. وهي توفر إشرافاً على العملية قابلاً للتحقق وقابلاً للتوسع.

3. المساهمات الرئيسية

1. الرسوم البيانية للمعرفة كنماذج مكافأة ضمنية: تثبت الورقة أن الرسوم البيانية للمعرفة يمكن أن تحل محل الملاحظين البشريين كمشرفين على المكافأة. من خلال محاذاة استدلال النموذج مع مسارات الرسم البياني، يفرض النظام التركيب المنطقي دون الحاجة إلى ملاحظات بشرية مكلفة.
2. التعميم التركيبي: يُمكّن هذا النهج نموذجاً تم تدريبه على مسارات قصيرة (1-3 خطوات) من التعميم بفعالية على استعلامات غير مرئية طويلة (4-5 خطوات)، مما يثبت أنه يتعلم "منطق التركيب" وليس مجرد حفظ السلاسل.
3. التوسع الفعال: يتفوق نموذج بـ 14 مليار معلمة (parameter) تم تدريبه بهذا الخط على نماذج أكبر بكثير (مثل GPT-5.2 و Gemini 3 Pro) ونماذج متخصصة مستخلصة (32B) في مهام الاستدلال الطبي المعقدة.
4. المتانة: يظهر النموذج مرونة عالية ضد الاضطرابات العدائية (مثل تغيير ترتيب الخيارات)، مما يشير إلى اعتماده على المحتوى المنطقي بدلاً من الإشارات السطحية.

4. النتائج

أُجريت التجارب على مجموعة اختبار ICD-Bench (3,675 سؤالاً طبياً) باستخدام نموذج Qwen3 14B.

• التعميم على التعقيد غير المرئي:

  • في المهام ذات 5 خطوات (غير مرئية أثناء التدريب)، حقق نموذج (SFT+RL) دقة بلغت 89.33%.
  • تفوق على خط الأساس (SFT-only) بنسبة 11.1% في مهام الـ 5 خطوات، وبنسبة 7.5% في مهام الـ 4 خطوات.
  • اتسعت الفجوة في الأداء مع زيادة طول الخطوات، مما يؤكد حدوث تعلم تركيبي حقيقي.

• مستويات الصعوبة:

  • في أصعب المهام (المستوى 5)، انهار النموذج الأساسي إلى دقة تقارب 20%.
  • حقق نموذج (SFT+RL) دقة 56.75%، وهو ما يعادل ثلاثة أضعاف أداء النموذج الأساسي تقريباً، وتفوق بشكل كبير على نهج (SFT-only) الذي حقق 48.93%.

• المقارنة مع النماذج الرائدة (Frontier Models):

  • تفوق نموذج (SFT+RL) بـ 14 مليار معلمة على GPT-5.2 و Gemini 3 Pro في استعلامات الـ 4 والـ 5 خطوات.
  • بينما استقر أداء النماذج الرائدة أو تراجع مع زيادة التعقيد، أظهر النموذج المقترح تدرجاً تركيبياً إيجابياً.

• اختبارات المتانة:

  • تحت اختبارات الضغط الخاصة بـ تغيير ترتيب الخيارات (option shuffling)، أظهر النموذج انخفاضاً طفيفاً جداً في الأداء (~1.17%)، بينما تعاني النماذج الرائدة عادةً من انخفاض بنسبة 4-6%.

5. الأهمية

يشير هذا العمل إلى تحول في النموذج الفكري لبناء الأنظمة الذكية في المجالات المتخصصة:

• من التوسع بالقوة الغاشمة إلى التجذر الهيكلي: يتحدى العمل فكرة أن النماذج الأكبر وحدها هي التي تحل مشكلات الاستدلال. بدلاً من ذلك، فإن تجذير النماذج في معرفة مهيكلة (KGs) واستخدام المكافآت المشتقة من المسارات هو مسار أكثر كفاءة للوصول إلى الذكاء الفائق في مجالات محددة.
• الإشراف القابل للتوسع على العمليات: يقدم حلاً لعنق زجاجة "الإشراف على العملية" عبر أتمتة توليد المكافآت عبر الرسوم البيانية للمعرفة، مما يجعل التدريب على الاستدلال عالي الجودة ممكناً في المجالات التي تندر فيها ملاحظات الخبراء.
• الموثوقية: من خلال فرض المحاذاة مع الحقائق البديهية القابلة للتحقق، يقلل هذا النهج من الهلوسة ويحسن الموثوقية في المجالات عالية المخاطر مثل الطب، منتقلًا من "وهم الجاهزية" إلى الكفاءة الحقيقية في المجال.

في الختام، تثبت الورقة أن الرسوم البيانية للمعرفة يمكن أن تعمل كنماذج مكافأة ضمنية قوية، مما يمكّن النماذج الأصغر من إتقان الاستدلال التركيبي المعقد الذي يستعصي حالياً على الأنظمة الأكبر والأكثر عمومية.