AutoGraph-R1: End-to-End Reinforcement Learning for Knowledge Graph Construction

إليك ملخص تقني مفصل لورقة AutoGraph-R1: التعلم المعزز من طرف إلى طرف لبناء الرسوم البيانية للمعرفة (Knowledge Graph Construction).

1. بيان المشكلة

تتناول الورقة فجوة جوهرية في أنظمة التوليد المعزز بالاسترجاع (RAG) الحالية التي تستخدم الرسوم البيانية للمعرفة (KGs).

• الفجوة: عملية بناء الرسوم البيانية تقليديًا منفصلة عن المهام اللاحقة. حيث تُبنى الرسوم البيانية باستخدام مقاييس ذاتية (مثل الدقة، والاستدعاء، والتغطية) أو قواعد استدلالية ثابتة، بافتراض أن الرسم البياني "الجيد" هو مفيد بشكل عالمي.
• الخلل: قد يكون الرسم البياني المكتمل حقائقياً أو السليم هيكلياً في عزله، ولكنه قد يكون ضعيفاً وظيفياً لمهام استدلال محددة. على سبيل المثال، السعي وراء الاكتمال الشامل غالباً ما يؤدي إلى إدخال ضوضاء أو كسر مسارات الاستدلال الحرجة، مما يؤدي إلى أداء دون المستوى في الإجابة على الأسئلة (QA).
• العائق التقني: تتضمن عملية بناء الرسم البياني توليد ثلاثيات منفصلة (موضوع، علاقة، كائن)، وهي عملية غير قابلة للاشتقاق (non-differentiable). لذلك، لا يمكن لعمليات التحسين القائمة على التدرج القياسي (gradient-based optimization) تمرير إشارات الأداء من مهمة لاحقة (مثل دقة الإجابة على الأسئلة) إلى مولد الرسم البياني.

2. المنهجية: AutoGraph-R1

يقترح المؤلفون AutoGraph-R1، وهو أول إطار عمل يستخدم التعلم المعزز (Reinforcement Learning - RL) لتحسين بناء الرسوم البيانية للمعرفة مباشرة من أجل أداء المهمة اللاحقة.

الإطار الجوهري

يعامل النظام توليد الرسم البياني كمشكلة تعلم سياسة (policy learning)، حيث يتعلم مُنشئ يعتمد على النماذج اللغوية الكبيرة (LLM) بناء رسوم بيانية تزيد من أداء نظام RAG اللاحق.

• نموذج السياسة ($\pi_{KG}^\theta$): نموذج لغوي كبير (مثل Qwen2.5) يأخذ مجموعة من المستندات ويولد رسماً بيانياً للمعرفة.
• خادم RAG المجمد (Frozen RAG Server): وحدة استرجاع وتوليد إجابات ثابتة ($\pi_{ans}$) تستخدم الرسم البياني المولد للإجابة على الاستفسارات.
• إشارة المكافأة (Reward Signal): يعمل أداء نظام RAG على استفسار معين كمكافأة، مما يوجه مُنشئ الرسم البياني.

تصميم المكافأة الواعية بالمهمة

للتغلب على مشكلة ندرة وعدم استقرار استخدام دقة الإجابة النهائية (F1) كمكافأة، صمم المؤلفون وظيفتي مكافأة محددتين بناءً على دور الرسم البياني:

1. مكافأة حمل المعرفة ($R_C$):

   • السيناريو: يعمل الرسم البياني كقاعدة معرفة قائمة بذاتها (مثل مسترجعات المعرفة الرسومية مثل ToG أو SubgraphRAG).
   • الآلية: يقوم مُقيّم خارجي (LLM) بتقييم ما إذا كانت الإجابة الذهبية ($y$) قابلة للاستنتاج من الرسم البياني الفرعي المسترجع بناءً على الاستفسار ($q$).
   • المكافأة: ثنائية (1 إذا كانت قابلة للاستنتاج، 0 خلاف ذلك). هذا يجبر النموذج على بناء رسوم بيانية ذات مسارات استدلال كاملة.

2. مكافأة فهرسة المعرفة ($R_I$):

   • السيناريو: يعمل الرسم البياني كفهرس لاسترجاع نصوص المستندات الأصلية (مثل HippoRAG).
   • الآلية: تقيس التداخل بين أفضل $k$ من النصوص المسترجعة والنصوص الداعمة الذهبية ($D_{gold}$).
   • المكافأة: $R_I = \frac{|Top\text{-}k(G, q) \cap D_{gold}|}{|D_{gold}|}$. هذا يحسن اتصال الرسم البياني لتوجيه المسترجعات نحو النصوص ذات الصلة.

خوارزمية التحسين

يستخدم الإطار تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO):

• لماذا GRPO؟ إنه فعال من حيث الذاكرة مقارنة بـ PPO لأنه يلغي الحاجة إلى نموذج قيمة (value model) منفصل عبر استخدام أساس مكافأة نسبي مشتق من مجموعة من مخرجات الرسم البياني التي تم أخذ عينات منها.
• العملية: تولد السياسة عدة مرشحات للرسوم البيانية لاستفسار ما. يتم تطبيع المكافآت داخل المجموعة لحساب الميزة (advantage)، مما يؤدي لتحديث السياسة لتفضيل الرسوم البيانية التي تحقق فائدة لاحقة أعلى.
• استراتيجية التدريب: يكون المسترجع (retriever) مجمدًا أثناء التدريب. يضمن ذلك أن يتعلم مُنشئ الرسم البياني التكيف خصيصاً مع الانحيازات الاستقرائية لاستراتيجية الاسترجاع المختارة (على سبيل المثال، التحسين من أجل درجات PPR مقابل عبور الرسم البياني الفرعي).

3. المساهمات الرئيسية

1. التعلم المعزز من طرف إلى طرف لبناء الرسوم البيانية للمعرفة: يقدم أول إطار عمل لإغلاق الحلقة بين بناء الرسم البياني والمنفعة اللاحقة، مما ينقل النموذج من بناء رسوم بيانية "جيدة ذاتياً" إلى رسوم بيانية "مفيدة بشكل ملموس".
2. وظائف مكافأة واعية بالمهمة: يقترح مكافآت مبتكرة ($R_C$ و $R_I$) توفر إشارات مباشرة ومستقرة لجدوى الرسم البياني، متجنبة الضوضاء المرتبطة بدرجات F1 الخام.
3. التكيف الهيكلي: يثبت أن الإطار يمكنه تغيير طوبولوجيا الرسم البياني ديناميكياً:
   • بالنسبة لـ حاملي المعرفة (Knowledge Carriers)، فإنه يزيد من تنوع العلاقات والاكتمال لدعم الاستدلال متعدد الخطوات.
   • بالنسبة لـ فهارس المعرفة (Knowledge Indices)، فإنه يزيد من الدقة ويقلل الضوضاء لإنشاء فهارس أكثر نقاءً وعالية الإشارة.
4. التحقق التجريبي: تجارب واسعة النطاق تظهر أن النماذج الأصغر التي تم ضبطها بالتعلم المعزز (3B/7B بارامتر) يمكن أن تتفوق على النماذج الأكبر بكثير (70B+) في مهام RAG اللاحقة.

4. النتائج التجريبية

قيم المؤلفون AutoGraph-R1 على خمسة اختبارات QA (HotpotQA, Musique, 2WikiMultihopQA, Natural Questions, PopQA) باستخدام نماذج Qwen2.5 (3B/7B) و Llama-3.2.

• مكاسب الأداء:
  • استرجاع المعرفة الرسومية: حقق متوسط زيادة في F1 قدره +4.39 (Qwen-3B) و +2.97 (Qwen-7B) مقارنة بالنماذج المرجعية (zero-shot).
  • استرجاء النصوص القائم على الرسم البياني: حقق متوسط زيادة في F1 قدره +2.09 (Qwen-3B) و +1.48 (Qwen-7B)، مع تحسن ملحوظ في استدعاء النصوص (Passage Recall@5) (على سبيل المثال، +4.35 نقطة لـ Qwen-3B في HippoRAG).
• الجودة الذاتية: على عكس المخاوف من أن التحسين من أجل المنفعة يضحي بالدقة، أظهرت الرسوم البيانية التي تم ضبطها بالتعلم المعزز درجات F1 ذاتية أعلى (الدقة/الاستدعاء) مقارنة بالنماذج المرجعية.
• دراسات الاستئصال (Ablation Studies):
  • تصميم المكافأة: أدى استخدام درجة F1 النهائية للإجابة مباشرة كمكافأة إلى تدريب غير مستقر وتدهور في الأداء، مما يؤكد ضرورة المكافآت المقترحة الخاصة بالمهمة.
  • التعلم المعزز مقابل الضبط الدقيق غير المتصل (Offline Fine-tuning): تفوق التعلم المعزز على السياسة (On-policy RL) باستمرار على الضبط الدقيق القائم على ترتيب المكافأة (RAFT)، مما يشير إلى أن الاستكشاف النشط أمر بالغ الأهمية لاكتشاف استراتيجيات هيكلية قوية.
• الكفاءة: غالباً ما تتفوق النماذج الأصغر (3B/7B) التي تم ضبطها باستخدام AutoGraph-R1 على نماذج 70B+ في مهام RAG.

5. الأهمية والأثر

• تحول في النموذج: يتحدى هذا العمل خط الإنتاج التقليدي "ابنِ ثم استخدم" في أبحاث الرسوم البيانية للمعرفة. فهو يثبت أن هيكل الرسم البياني يجب أن يكون خاصية ناشئة عن متطلبات المهمة اللاحقة، وليس مجرد تمثيل ثابت للحقائق.
• القابلية للتوسع: باستخدام GRPO وتجميد المسترجع، فإن الطريقة قابلة للتنفيذ حاسوبياً للتدريب على أجهزة أكاديمية (2x H100 GPUs)، مما يجعل تحسين الرسوم البيانية المتقدم متاحاً.
• القدرة على التعميم: يعمل النهج عبر بنيات مختلفة من النماذج اللغوية الكبيرة (Qwen, Llama) ونماذج الاسترجاع المختلفة، مما يشير إلى حل عالمي لتحسين تمثيل المعرفة في أنظمة RAG.
• القيود: يعتمد الإطار حالياً على بيانات تدريب مرتبطة بنصوص (استفسار، إجابة ذهبية، سياق)، مما قد يحد من إمكانية التطبيق في البيئات ذات الموارد المنخفضة التي تفتقر إلى المستندات المرتبطة. كما أنه يربط هيكل الرسم البياني بمسترجع ثابت، مما قد يقلل من القدرة على الانتقال إلى بنيات استرجاع مختلفة.

في الختام، نجح AutoGraph-R1 في سد الفجوة بين تمثيل المعرفة والتطبيق، مثبتاً أن التعلم المعزز أداة قوية لبناء رسوم بيانية للمعرفة مُحسّنة وظيفياً لمهام الاستدلال المعقدة.