TRN-R1-Zero: Text-rich Network Reasoning via LLMs with Reinforcement Learning Only

إليك ملخص تقني مفصل لورقة البحث بعنوان "TRN-R1-Zero: الشبكات الغنية بالنصوص عبر الاستنتاج من خلال النماذج اللغوية الكبيرة باستخدام التعلم التعزيزي فقط".

1. بيان المشكلة

الشبكات الغنية بالنصوص (TRNs) هي رسوم بيانية (Graphs) تحتوي عُقدها على بيانات نصية (مثل الأوراق العلمية، منشورات وسائل التواصل الاجتماعي، أو أوصاف المنتجات)، وتمثل الحواف فيها علاقات دلالية أو وظيفية (مثل الاستشهادات، الروابط التشعبية، أو عمليات الشراء المشتركة).

• التحدي: يعد إجراء تصنيف العُقد دون تدريب مسبق (Zero-shot node classification) على هذه الشبكات أمراً صعباً، لأن النماذج يجب أن تدمج في آن واحد بين الدلالات النصية والبنى العلاقاتية للرسم البياني دون إشراف خاص بالمهمة.
• محددات الطرق الحالية:
  • الأساليب القائمة على الترميز (Encoder-based): تعامل النماذج اللغوية الكبيرة (LLMs) كمجرد مستخرجات للميزات، مما يفشل في استغلال قدرات الاستنتاج الصريح.
  • الأساليب التوليدية/الاستنتاجية: غالباً ما تعتمد على الضبط الدقيق الخاضع للإشراف (SFT) باستخدام بيانات "سلسلة الأفكام" (CoT) المستخلصة من نماذج لغوية استنتاجية (LRMs) أكبر وأكثر خارجية. وهذا يحد من القدرة على التعميم، ويزيد التكلفة الحسابية، ويخلق تبعية لنماذج "معلمة" خارجية.
• الهدف: تطوير إطار عمل يمكّن النماذج اللغوية الكبيرة الأساسية من إجراء استنتاج علاقي صريح على الشبكات الغنية بالنصوص في بيئة zero-shot، دون الحاجة إلى الضبط الدقيق الخاضع للإشراف (SFT)، أو استخلاص المعرفة (Distillation)، أو نماذج استنتاجية خارجية.

2. المنهجية: TRN-R1-Zero

يقترح المؤلفون TRN-R1-Zero، وهو إطار عمل لما بعد التدريب يقوم بتحسين النموذج اللغوي الكبير الأساسي عبر التعلم التعزيزي (RL) فقط. الابتكار الجوهري هو هدف تحسين السياسة المعتمد على المجموعات والوعي بالجيران (Neighbour-aware Group Relative Policy Optimisation - GRPO).

أ. تصنيف العُقد (Zero-Shot) كعملية توليد رموز (Token Generation)

تتم إعادة صياغة المهمة كمسألة تنبؤ بالرمز التالي (next-token prediction). يتضمن نص المطالبة (Prompt) ما يلي:

1. نص العُقدة المستهدفة: محتوى العُقدة المراد تصنيفها.
2. أخذ عينات من الجوار (Neighbourhood Sampling): رسوم بيانية فرعية يتم أخذ عينات منها عشوائياً (بتقييد العرض والعمق) للتحكم في طول المدخلات والعمل كتعزيز للبيانات.
3. التصنيفات المرشحة: أوصاف الفئات المحتملة.
   يُطلب من النموذج إخراج مسار استنتاجي (مونولوج داخلي) يتبعه رمز الإجابة.

ب. هدف السياسة الواعي بالجيران

تعامل أهداف التعلم التعزيزي القياسية (مثل PPO أو GRPO) جميع عينات التدريب بالتساوي. يقدم TRN-R1-Zero مقياس كسب الهامش (Margin Gain Metric) لضبط المكافآت ديناميكياً بناءً على مدى إفادة سياق الرسم البياني.

1. حساب كسب الهامش ($\Delta_i$):

   • يقوم مشفر نصي مجمد بحساب التضمينات (Embeddings) للعُقدة المستهدفة والتصنيفات.
   • يتم تطبيق مجمع Simple Graph Convolution (SGC) خفيف الوزن على العُقدة وجيرانها لتوليد تضمين مجمع.
   • يُعرف كسب الهامش بأنه الفرق بين هامش التصنيف مع الجيران وبدون الجيران:
     $$\Delta_i = m_i(\tilde{\ell}) - m_i(\ell)$$
     حيث $m_i$ هو الهامش بين لوجيت (logit) الفئة الصحيحة وأعلى لوجيت للفئة غير الصحيحة.
   • التفسير:
     • $\Delta_i > 0$: الجيران يوفرون سياقاً مفيداً.
     • $\Delta_i < 0$: الجيران يعملون كمشتتات.
     • $|\Delta_i|$: مقدار التأثير.

2. إعادة تشكيل المكافأة (Reward Reshaping):
   يتم تعديل المكافأة الأساسية ($R_{base}$)، التي تتحقق من التنسيق والدقة، عبر ضربها في عامل أسي من كسب الهامش المطلق:
   $$R_i = \exp(\alpha \cdot |\Delta_i|) \cdot R_{base}$$

   • تعمل هذه الآلية على تضخيم المكافآت للعينات التي تغير فيها الجوار حدود القرار بشكل كبير (سواء إيجاباً أو سلباً)، مما يجبر النموذج على تعلم كيفية استخدام (أو تصفية) السياق العلاقي بفعالية.

ج. مسار التدريب

• النموذج الأساسي: يبدأ بنموذج لغوي كبير مضبوط للتعليمات (مثل Qwen2.5-7B).
• التحسين: يستخدم Dr.GRPO (وهو متغير من GRPO يزيل مقام الانحراف المعياري لتحسين تشكيل المكافأة) مدمجاً مع عقوبة تباعد KL لمنع الانهيار.
• لا يوجد SFT: لا يتم ضبط النموذج دقيقياً أبداً على بيانات CoT مصنفة؛ بل يتعلم الاستنتاج عبر حلقة التعلم التعزيزي فقط.

3. المساهمات الرئيسية

1. مسار يعتمد على RL فقط: أول إطار عمل يحقق تصنيف العُقد (Zero-shot) على الشبكات الغنية بالنصوص باستخدام التعلم التعزيزي فقط، مما يلغي الحاجة إلى استخلاص المعرفة من نماذج استنتاجية (LRMs) أكبر أو بيانات CoT خاضعة للإشراف.
2. آلية مكافأة واعية بالجيران: تقدم مقياس كسب الهامش المبتكر الذي يحدد بدقة مساهمة بنية الرسم البياني في الاستنتاج، ويقوم بتغيير حجم المكافآت ديناميكياً لتوجيه النموذج نحو الاستدلال العلاقي الفعال.
3. التعميم عبر المهام: تثبت أن التدريب الصارم على مهام مستوى العُقدة (node-level) يُمكّن من الاستنتاج (Zero-shot) في مهام مستوى الحافة (edge-level) ومستوى الرسم البياني (graph-level)، مما يثبت أن النموذج يتعلم مبادئ استنتاج علاقية قابلة للنقل.

4. النتائج التجريبية

أُجريت التجارب على تسعة مجموعات بيانات عبر أربعة مجالات: الاستشهاد (Cora, Citeseer)، الروابط التشعبية (WikiCS)، الاجتماعي (Instagram)، والشراء المشترك (Photo, History).

• تصنيف العُقد (Zero-Shot):
  • حقق TRN-R1-Zero (بـ 7 مليارات معلمة) أعلى متوسط دقة (Accuracy) وF1-Macro عبر جميع مجموعات البيانات، متفوقاً على نماذج أكبر (GPT-4o, Qwen2.5-14B) ونماذج التأسيس الرسومية المتخصصة (ZeroG, LLaGA).
  • تفوق بشكل ملحوظ على Graph-R1 (وهو نموذج استنتاجي متطور تم تدريبه باستخدام SFT واستخلاص المعرفة)، رغم أن Graph-R1 أكبر (14B) وتم تدريبه باستخدام إشراف أكثر تعقيداً.
• التعميم على مهام الحافة/الرسم البياني:
  • بدون أي تدريب على مستوى الحافة، حقق TRN-R1-Zero مكاسب جوهرية في مهام التنبؤ بالروابط (مثل +16.10% في WikiCS-Link)، متجاوزاً Graph-R1.
• الكفاءة:
  • أنتج TRN-R1-Zero (7B) مسارات استنتاج أقصر بكثير (متوسط ~150 رمزاً) مقارنة بـ Graph-R1 (14B، متوسط ~930 رمزاً) مع تحقيق دقة أعلى.
  • يشير هذا إلى أن عملية RL تعزز الاستنتاج الموجز والفعال بدلاً من الإسهاب في "التفكير".
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة توسيع المكافأة الواعية بالجيران إلى عدم استقرار التدريب وانخفاض الأداء.
  • تعمم الأسلوب بشكل جيد عبر مختلف هياكل النماذج (Llama-3, Qwen, من مقاييس 3B إلى 14B).

5. الأهمية والخاتمة

يمثل TRN-R1-Zero تحولاً جذرياً في الاستنتاج القائم على الرسوم البيانية:

• فك الارتباط عن استخلاص المعرفة: يثبت أن النماذج اللغوية الكبيرة الأساسية يمكنها تعلم الاستنتاج العلاقي المعقد مباشرة من البيئة (الرسم البياني) عبر التعلم التعزيزي، مما يلغي التبعية لنماذج "المعلمة" الضخمة والمكلفة.
• الاستنتاج الذاتي: من خلال تحسين المكافأة بناءً على تأثير الجيران، يتعلم النموذج ذاتياً متى وكيف يستخدم بنية الرسم البياني، بدلاً من مجرد حفظ الأنماط من بيانات CoT.
• القابلية للتوسع: النهج فعال للغاية، حيث يحقق نتائج متفوقة باستخدام نماذج أصغر وأوقات استنتاج أقصر، مما يجعله قابلاً للتطبيق في الواقع العملي حيث تكون الموارد الحسابية محدودة.

الكود متاح للجمهور، مما يسهل المزيد من الأبحاث في الاستنتاج الرسومي القائم على التعلم التعزيزي دون أعباء الضبط الدقيق الخاضع للإشراف.