💬 NLP

Explore-on-Graph: Incentivizing Autonomous Exploration of Large Language Models on Knowledge Graphs with Path-refined Reward Modeling

تقترح هذه الورقة البحثية إطار عمل "الاستكشاف على الرسم البياني" (Explore-on-Graph - EoG)، وهو إطار عمل مبتكر يسخر التعلم المعزز مع نمذجة مكافأة مُحسّنة بالمسارات لتحفيز النماذج اللغوية الكبيرة على استكشاف مسارات استدلال متنوعة ذاتياً على الرسوم البيانية للمعرفة، مما يتغلب على قيود الأساليب السابقة ويحقق أداءً رائدًا في معايير الأسئلة والأجوبة القائمة على الرسوم البيانية للمعرفة (KGQA).

المؤلفون الأصليون: Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

🕵️‍♂️ المشكلة: "السائح الحذر" مقابل "المستكشف المغامر"

تخيل أن لديك روبوتًا فائق الذكاء (نموذج لغوي كبير، أو LLM) يحب الإجابة على الأسئلة. وللتأكد من أنه لا يختلق معلومات من خياله (الهلوسة)، قمت بإعطائه خريطة مفصلة وعملاقة للعالم تسمى "رسم بياني للمعرفة" (Knowledge Graph). هذه الخريطة تربط الحقائق ببعضها مثل: "أبل" ← "هي شركة" ← "ستيف جوبز" ← "يعيش في كاليفورنيا".

الطريقة القديمة (القائمة على القواعد والتقليد):
كانت الأساليب السابقة تشبه إعطاء الروبوت نص دليل سياحي صارم.

القائمة على القواعد: "يمكنك السير فقط على هذه المسارات الممهدة المحددة. إذا خطوت على العشب، فستقع في مشكلة".
القائمة على التقليد: "راقب كيف أسير في هذا المسار ثلاث مرات، ثم قلدني بدقة".

الخلل: هذه الروبوتات بارعة في اتباع النص، ولكن إذا تطلب السؤال مسارًا لم تره من قبل (مثل ممر مخفي عبر الغابة)، فإنها تتعثر أو تخطئ في التخمين. إنها تخشى ترك المسار الممهد. إنها تفتقر إلى القدرة على التعميم.

🚀 الحل: "الاستكشاف على الرسم البياني" (Explore-on-Graph - EoG)

يقترح المؤلفون إطار عمل جديدًا يسمى "الاستكشاف على الرسم البياني" (EoG). بدلًا من كونه دليلًا سياحيًا صارمًا، هم يحولون الروبوت إلى مستكشف مغامر يُكافأ على إيجاد الكنز (الإجابة الصحيحة)، حتى لو تطلب الأمر اتخاذ طريق غريب وغير معروف.

يفعلون ذلك عبر مرحلتين رئيسيتين:

المرحلة 1: "المدرسة" (الضبط الدقيق تحت الإشراف)

قبل إرسال الروبوت إلى البرية، يضعونه في فصل دراسي.

ماذا يحدث: يعرضون للروبوت آلاف الأمثلة حول كيفية حل المشكلات باستخدام الخريطة، ويعلمونه كيفية التفكير خطوة بخوة (سلسلة الأفكام - Chain of Thought).
التشبيه: هذا يشبه تعليم طالب كيفية قراءة خريطة واستخدام بوصلة قبل إرساله في رحلة سير منفردة. يتعلمون الأساسيات حتى لا يضيعوا فورًا.

المرحلة 2: "اللعبة" (التعلم التعزيزي)

هذا هو الجزء السحري. يتم الآن إرسال الروبوت لاستكشاف الخريطة بمفرده، ولكن مع نظام تسجيل نقاط خاص.

1. مكافأة "الكنز" (مكافأة النتيجة)

كيف تعمل: إذا وجد الروبوت الإجابة الصحيحة في نهاية رحلته، فإنه يحصل على نجمة ذهبية كبيرة. وإذا ضل طريقه أو وجد إجابة خاطئة، فلا يحصل على شيء.
التشبيه: يشبه لعبة فيديو حيث تحصل فقط على النقاط عند الوصول إلى الزعيم النهائي. هذا يعلم الروبوت ما الذي يجب أن يهدف إليه.

2. مكافأة "المسار" (السر الخفي)

المشكلة: أحيانًا، قد يحالف الروبوت الحظ ويخمن الإجابة الصحيحة باتخاذ مسار مجنون وغير منطي. أو قد يتجول في دوائر لساعات قبل العثور على الإجابة. هذا غير فعال.
الحل: أضاف المؤلفون مكافأة ثانية: مكافأة المسار.
كيف تعمل: يقوم النظام بفحص رحلة الروبوت. هل مر عبر الأحياء الصحيحة؟ هل ربط بين النقاط الصحيحة بشكل منطقي؟ حتى لو كانت الإجابة صحيحة، إذا كان المسار فوضويًا أو فاته خطوات رئيسية، يحصل الروبوت على مكافأة أصغر.
التشبيه: تخيل نظام GPS.
- الطريقة القديمة: "لقد وصلت! عمل جيد." (حتى لو قدت سيارتك عبر مستنقع وعلقَت سيارتك).
- طريقة EoG: "لقد وصلت! عمل جيد. لكنك اتخذت طريقًا فرعيًا عبر مستنقع. في المرة القادلة، حاول اتخاذ الطريق المناظر الذي يبدو منطقيًا بالفعل".
- هذا يشجع الروبوت على إيجاد مسارات فعالة ومنطقية وذات معنى، وليس مجرد تخمينات محظوظة.

🌟 لماذا هذا مهم: قوة "خارج التوزيع" (Out-of-Distribution)

الانتصار الأكبر لـ EoG هو التعامل مع مشكلات "خارج التوزيع" (O.O.D.).

السيناريو: تخيل أن الروبوت قد رأى فقط خرائط لمدينة نيويورك. إذا سألته عن زقاق مخفي في طوكيو، فإن الروبوت "القائم على القواعد" سيتجمد لأنه لم يرَ هذا الشارع من قبل.
روبوت EoG: نظرًا لأنه تم تدريبه على الاستكشاف والتحقق من المسارات بدلاً من مجرد حفظ الطرق، يمكنه النظر إلى خريطة طوكيو، وفهم المنطق، وقول: "مهلاً، رغم أنني لم أكن هنا من قبل، يمكنني استنتاج أن هذا الشارع يتصل بذاك بناءً على قواعد المدينة".

🏆 النتائج: هزيمة العمالقة

اختبرت الورقة البحثية هذا النظام على خمسة "متاهات" (مجموعات بيانات) وقارنته مع:

روبوتات مفتوحة المصدر ذكية أخرى.
أكثر الروبوتات قوة وتكلفة (مثل GPT-5 و Gemini 2.5 Pro).

النتيجة: الروبوت المبني على EoG، والذي تم بناؤه باستخدام نماذج أصغر ومفتوحة المصدر، هزم العمالقة. لقد حل الألغاز المعقدة بشكل أفضل من النماذج الباهظة الثمن، مما يثبت أن منح الروبوت القدرة على الاستكشاف أقوى من مجرد إعطائه دماغًا أكبر.

🧠 ملخص في جملة واحدة

يعلم EoG الذكاء الاصطناسي التوقف عن نسخ الخرائط القديمة بشكل أعمى والبدء في التصرف كمستكشف شجاع، حيث يكافئه ليس فقط على إيجاد الكنز، بل على اتخاذ المسار الأكثر ذكاءً ومنطقية للوصول إليه.

المرحلة 2: التعلم المعزز (RL) مع مكافآت مسار مُحسّنة

الهدف: تحفيز اكتشاف مسارات استدلال جديدة وتحسين كفاءة الاستكشاف.
الخوارزمية: يستخدم المؤلفون تحسين السياسة النسبي المجموعاتي (GRPO).
آلية المكافأة: على عكس التعلم المعزز القياسي الذي يكافئ فقط الإجابة النهائية، يقدم EoG نظام مكافأة مسار مُحسّن (Path-Refined Reward):
1. مكافأة النتيجة ( $R_{outcome}$ ): تعتمد على صحة الإجابة النهائية، وتُقاس عبر درجة F1 على مستوى الكيان (الدقة والاستدعاء مقابل الكيانات الحقيقية). وهذا يضمن عثور النموذج على الإجابة الصحيحة.
2. مكافأة المسار ( $R_{path}$ ): إشارة مساعدة تقيم جودة مسار الاستدلال نفسه.
  - بالنسبة لمجموعات البيانات التي تفتقر إلى مسارات استدلال صريحة، يقوم خط إنتاج "البحث والتحقق" (BFS + تحقق LLM) ببناء مسارات حقيقية ( $r_g$ ).
  - تحسب المكافأة نسبة الثلاثيات (الموضوع، العلاقة، الكائن) الحقيقية التي تم صياغتها بنجاح في نص الاستدلال الذي ولّده النموذج.
3. المكافأة المشتركة: المكافأة النهائية هي مجموع مرجح: $R_{joint} = R_{outcome} + \alpha R_{path}$ .
الأهمية: توجه مكافأة المسار النموذج بعيدًا عن الاستكشاف العبثي وتشجعه على إجراء انتقال دلالي ومعنوي وفعال عبر الرسم البياني، بدلاً من مجرد التخمين للإجابة.

3. المساهمات الرئيسية

إطار عمل الاستكشاف الذاتي: يعد EoG أول إطار عمل يحفز صراحةً نماذج LLM على استكشاف أنماط استدلال خارج التوزيع (O.O.D.) على الرسوم البيانية للمعرفة (KGs) عبر التعلم المعزز، متجاوزًا قيود التعلم بالتقليد.
نمذجة مكافأة المسار المُحسّنة: إن تقديم إشارة مكافأة قائمة على المسار يحسن بشكل كبير من كفاءة وعمق عملية الاستكشاف، مما يقلل من "الجهود العبثية" حيث يتجول النموذج في الرسم البياني دون اتجاه منطقي.
أداء رائد (SOTA): حققت الطريقة نتائج متفوقة على خمسة معايير رئيسية لأسئلة وأجوبة الرسوم البيانية للمعرفة (KGQA)، متفوقة على كل من النماذج مفتوحة المصدر والنماذج القوية مغلقة المصدر (بما في ذلك GPT-5 وGemini 2.5 Pro).
القوة في مواجهة O.O.D.: أظهر إطار العمل قدرات تعميم قوية، حيث حافظ على أداء عالٍ في مجموعات البيانات وأنماط الاستدلال التي لم يسبق له رؤيتها أثناء التدريب.

4. النتائج التجريبية

قيم المؤلفون EoG على خمس مجموعات بيانات معيارية: WebQSP، CWQ، GrailQA، QALD10-en، و2WikiMultihopQA.

الأداء: حقق EoG (المبني على Llama-3.1-8B وQwen2.5-7B) نتائج رائدة (SOTA).
- في CWQ، حقق EoG درجة Hit@1 بلغت 82.6 وF1 بلغت 73.9، متفوقًا على GPT-5 (Hit@1 74.1، F1 67.6) وGemini 2.5 Pro.
- في WebQSP، حقق EoG درجة Hit@1 بلغت 92.8، متفوقًا على GPT-5 (86.1).
دراسات الاستئصال (Ablation Studies):
- أدى إزالة مكافأة المسار إلى تدهور الأداء بشكل ملحوظ، مما يؤكد ضرورتها للاستكشاف الفعال.
- أدت إزالة مرحلة RL (الاعتماد على SFT فقط) إلى انخفاض كبير في الأداء، مما يثبت أن RL هو المحرك الأساسي للقدرات المعززة للنموذج.
- أدت إزالة SFT إلى أداء دون المستوى، مما يشير إلى أن SFT ضروري لعملية "البداية الباردة" لعملية الاستكشاف.
الاستدلال المعقد: أظهر EoG قوة خاصة في السيناريوهات المعقدة (مثل أنماط التفضيل، و $\ge$ 3 خطوات/hops)، حيث تفوق على النماذج المرجعية مثل GCR وDoG بفارق كبير.
كفاءة الاستكشاف: حقق EoG تغطية استدلال أعلى (العثور على المزيد من الثلاثيات الحقيقية) مع الحفاظ على كفاءة استكشاف مماثلة لنماذج SFT، مما يثبت أنه يجد المسارات الصحيحة دون بحث مفرط وضائع.

5. الأهمية

التعميم: يعالج EoG عقبة حرجة في KGQA: عدم قدرة النماذج الحالية على التعامل مع أنماط الاستدلال خارج توزيع تدريبها. من خلال تعلم الاستكشاف بدلاً من مجرد التقليد، يصبح النموذج أكثر قوة في السيناريوهات الواقعية حيث تتغير توزيعات البيانات.
الكفاءة: توضح آلية المكافأة المسار المُحسّنة أن دمج التغذية الراجعة الهيكلية (صحة المسار) جنباً إلى جنب مع التغذية الراجعة للنتيجة (صحة الإجابة) يؤدي إلى تعلم واستدلال أكثر كفاءة.
فعالية التكلفة: رغم استخدام RL، فإن إطار العمل فعال حاسوبياً. أفاد المؤلفون أن تحقيق أداء SOTA تطلب خطوات تدريب قليلة نسبياً (على سبيل المثال، 36 خطوة لـ WebQSP) وساعات GPU متوسطة، مما يجعله نهجاً عملياً لتعزيز نماذج LLM مفتوحة المصدر لتنافس العمالقة مغلقي المصدر.

في الختام، يمثل Explore-on-Graph تحولاً جذرياً من الاستدلال الساكن المقيد بالقواعد إلى الاستكشاف الديناميكي الذاتي، مما يدفع بحالة التقدم في مجال الإجابة على أسئلة الرسوم البيانية للمعرفة (KGQA) إلى الأمام بشكل كبير.