ملخص تقني: SPARK (التعلم الذاتي عبر اللعب غير المتماثل للمكافأة من الرسوم البيانية للمعرفة)

1. بيان المشكلة

أثبت التعلم التعزيزي القائم على اللعب الذاتي (Self-play reinforcement learning) نجاحاً في المجالات ذات الهياكل القابلة للتحقق رسمياً، مثل الرياضيات والبرمجة، حيث يعتمد توليد المسائل وحساب المكافأة على قواعد صريحة. ومع ذلك، فإن توسيع هذا النموذج ليشمل الأدبيات العلمية يمثل تحدياً كبيراً. يتطلب الفهم العلمي استدلالاً علاقاتياً عبر عناصر متعددة الوسائط (نصوص، أشكال، جداول، معادلات) وعبر مستندات متعددة.

عندما يتم تحويل الأدبيات العلمية إلى نص مسطح (Flat text)، يتم تدمير البنية العلاقاتية. وهذا يخلق عقبتين أساسيتين أمام اللعب الذاتي القائم على المتون المسطحة:

1. توليد المسائل: تقتصر مساحة الأسئلة القابلة للتوليد على استخراج الحقائق السطحية. إن التوليد التلقائي لأسئلة الاستدلال العلاقاتي هو أمر غير ممكن بنيوياً دون تمثيل صريح لكيفية اتصال العناصر متعددة الوسائط والمفاهيم عبر المستندات.
2. حساب المكافأة: بدون بنية صريحة للحقيقة الأرضية (Ground-truth)، يصعب التمييز بين الاستدلال السليم بنيوياً والإجابات التي تبدو منطقية ولكنها خاطئة. تصبح إشارات المكافأة غير موثوقة عندما تكون الإجابات مبعثرة عبر نصوص غير منظمة.

2. المنهجية: إطار عمل SPARK

يعالج SPARK هذه العقبات من خلال بناء رسم بياني للمعرفة (KG) موحد من المستندات العلمية واستخدامه كعمود فقري هيكلي لحلقة اللعب الذاتي. يتكون الإطار من مرحلتين:

المرحلة 1: البناء التلقائي للرسم البياني للمعرفة متعدد الوسائط

يقوم النظام ببناء رسم بياني للمعرفة ($G = (V, E)$) عبر خط معالجة ثلاثي المراحل دون ترميز يدوي:

• المرحلة 1 (الرسم البياني الهيكلي): يستعيد الهيكل الفيزيائي (مثل احتواء القسم للفقرة، وتجاور الشكل مع التسمية التوضيحية) عبر التحليل القائم على القواعد.
• المرحلة 2 (رسم المراجع): يستخرج الروابط عبر الوسائط التي قصدها المؤلف (مثل "كما هو موضح في الشكل 3") باستخدام مطابقة أنماط التعبيرات المنتظمة لربط الادعاءات النصية بالعناصر المرئية.
• المرحلة 3 (رسم العلاقات الدلالية): يستخدم نموذج لغة ورؤية (VLM) لتصنيف العلاقات الدلالية (مثل يدعم، يناقض، يُشتق من) بين وحدات المحتوى بناءً على تشابه التضمين (Embedding similarity).
• الاتحاد عبر المستندات: يربط عقد المفاهيم عبر الأوراق البحثية المختلفة باستخدام حافة نفس المفهوم (SAME_CONCEPT) إذا تجاوز تشابه التضمين عتبة معينة. وهذا يتيح مسارات استدلال متعددة القفزات تمتد عبر مستندات متعددة.

المرحلة 2: حلقة اللعب الذاتي المرتكزة على الرسم البياني للمعرفة

يقوم نموذج لغة ورؤية صغير واحد ($\pi_\theta$) بالتبادل بين دورين تحت عدم تماثل المعلومات:

• المقترح (Proposer): لديه إمكانية الوصول إلى الرسم البياني للمعرفة (KG). يقوم بأخذ عينة من مسار استدلال $P$ من الرسم البياني ويولد سؤال استدلال علاقاتي $q$ وإجابة ذهبية $a^*$ (مشتقة من العقدة النهائية للمسار).
• الحلال (Solver): ليس لديه وصول إلى الرسم البياني للمعرفة أو المسار $P$. يتلقى فقط السؤال $q$ ويجب عليه توليد إجابة $\hat{a}$.

دالة المكافأة

تستخدم دالة الهدف إشارة مكافأة $R_G$ يتم التحقق منها عبر الرسم البياني للمعرفة، والتي تتفكك إلى ثلاثة مكونات، مما يضمن أن المكافأة مرتكزة في بنية الرسم البياني بدلاً من مجرد مطابقة الإجابة:

1. $R_{answer}$: يقيس الصحة الدلالية بين الإجابة المولدة والإجابة الذهبية.
2. $R_{path}$ (أمانة المسار): يتحقق من أن مسار الاستدلال المستخدم لتوليد السؤال يتكون من حواف صالحة في الرسم البياني للمعرفة. هذا المصطلح فريد لـ SPARK ويضمن أن السؤال مرتكز في علاقات ذات معنى بنيوي.
3. $R_{consistency}$ (الاتساق الحقائقي): يتحقق من أن القيم العددية والمفاهيم الرئيسية في الإجابة تطابق الحقائق المخزنة في عقد الرسم البياني على طول مسار الاستدلال، مما يعاقب الهلوسة.

يتم تحديث النموذج عبر تحسين تدرج السياسة (باستخدام LoRA)، حيث توجه أزواج الإجابات ذات المكافأة العالية والمنخفضة عملية التعلم. بالإضافة إلى ذلك، يخضع الرسم البياني للمعرفة لعملية صقل: تُضاف الحواف المفقودة إذا نجح "الحلال" في المسارات الضمنية، وتُحذف الحواف الزائفة إذا أدت إلى إجابات خاطئة.

3. المساهمات الرئيسية

1. إطار لعب ذاتي مرتكز على الرسم البياني للمعرفة: يستفيد SPARK من رسم بياني ثابت للمعرفة لتحقيق شرطين لنجاح اللعب الذاتي في الأدبيات العلمية في آن واحد: التوليد التلقائي لمسائل الاستدلال العلاقاتي عالية الجودة وحساب مكافأة قابل للتحقق. كما يقدم مكافأة أمانة المسار ($R_{path}$) التي تستهدف مباشرة الاستدلال متعدد القفزات، وهو ما لا تستطيع الطرق القائمة على المتون المسطحة الإشراف عليه.
2. خط معالجة ثلاثي المراحل لبناء الرسم البياني للمعرفة متعدد الوسائط: خط معالجة يستخرج تلقائياً العلاقات الهيكلية، والمرجعية، والدلالية من المستندات العلمية الخام (النصوص، الأشكال، الجداول، المعادلات) لبناء رسم بيائي موحد للمعرفة. ويتضمن آلية "اتحاد عبر المستندات" لتمكين الاستدلال عبر حدود الأوراق البحثية.
3. معيار اختبار للأسئلة متعددة القفزات عبر المستندات: مجموعة بيانات جديدة تضم 450 سؤالاً مشتقة من 50 ورقة بحثية من arXiv، مصممة لقياس قدرات الاستدلال العلاقاتي متعدد القفزات عبر المستندات التي لا تستطيع المعايير الحالية (مثل ScienceQA وDocVQA) تقييمها.

4. النتائج التجريبية

قام المؤلفون بتقييم SPARK باستخدام نموذج Qwen3-VL-4B كنموذج أساسي مقابل خطوط الأساس التي تشمل النماذج العادية، والنماذج التي تعتمد على التعلم تحت الإشراف (SFT) فقط، وخط أساس اللعب الذاتي للمتون المسطحة (SPIN بدون مكافآت الرسم البياني للمعرفة).

• المعايير العامة: تفوق SPARK باستمرار على خطوط أساس اللعب الذاتي للمتون المسطحة في ScienceQA وDocVQA وChartQA. تشير النتائج إلى أن التحسن يعزى إلى التدريب المرتكز على الرسم البياني للمعرفة وليس فقط لقدرة النموذج الأساسي.
• الأسئلة متعددة القفزات عبر المستندات: أظهر SPARK فجوة أداء متزايدة مع زيادة عدد القفزات (من قفزة واحدة إلى 3 قفزات) على مجموعة البيانات التي تم إنشاؤها ذاتياً.
  • أظهرت النماذج العادية انخفاضاً حاداً في الأداء مع زيادة عدد القفزات.
  • تدهور أداء SPARK بشكل تدريجي أكثر، مما يشير إلى أن التأسيس بهيكل الرسم البياني للمعرفة يعزز تحديداً الاستدلال العلاقاتي متعدد القفزات بما يتجاى مجرد استخراج الحقائق السطحية.
  • أظهر SPARK تحسناً ملحوظاً في Path F1، مما يؤكد أن النموذج يتعلم عبور مسارات العلاقات المقصودة في الرسم البياني، بينما لم يفعل خط الأساس للمتون المسطحة ذلك.
• دراسة الاستئصال (Ablation Study): أدى حذف المكافآت القائمة على الرسم البياني للمعرفة ($R_{path}$ و $R_{consistency}$) إلى أداء مشابه لـ SFT/DPO، مما يؤكد أن المزايا الهيكلية للعب الذاتي لا تتحقق بدون إشارة مكافأة الرسم البياني للمعرفة. وقد وُجد أن $R_{path}$ هو المحرك الرئيسي للدقة عبر المستندات وأمانة المسار.

5. الأهمية والادعاءات

يزعم البحث أن SPARK يعالج العوائق الأساسية لتوسيع نطاق اللعب الذاتي في المجالات التي تفتقر إلى الهياكل القابلة للتحقق رسمياً. ومن خلال التعامل مع المستندات ليس كنصوص مسطحة بل كبيئات علاقاتية مهيكلة، يُمكّن SPARK شكلاً من أشكال التحسين الذاتي لا يمكن للطرق القائمة على المتون المسطحة تحقيقه.

الرؤية الجوهرية هي أن الرسم البياني للمعرفة (KG) الذي يتم بناؤه تلقائياً يستعيد الشرطين الضروريين للعب الذاتي: مصدر لتوليد المسائل العلاقاتية وأساس لمكافآت قابلة للتحقق. ومن خلال عدم تماثل المعلومات بين "المقترح" (المدرك للرسم البياني) و"الحلال" (غير المدرك للرسم البياني)، يستوعب النموذج داخلياً ليس فقط الحقائق، بل البنية العلاقاتية التي تربط المفاهيم والمنهجيات والنتائج التجريبية عبر متن من النصوص. ويفترض المؤلفون أن هذا النهج يفتح توجهاً جديداً لتدريب نماذج الاستدلال العلمي الخالية من التوسيم (Annotation-free)، مع مبادئ قابلة للتطبيق في أي مجال يحتوي على معرفة علاقاتية مهيكلة ضمنية (مثل الوثائق القانونية أو الطبية).