💬 NLP

Text-to-SPARQL Generation with Reinforcement Learning: A GRPO-based Approach on DBLP

تُثبت هذه الورقة أن تطبيق تحسين السياسة النسبي للمجموعات (GRPO) على نموذج لغوي صغير مضبوط التعليمات يُمكّن من توليد فعال لـ Text-to-SPARQL بنمط الصفر (zero-shot) على مجموعة بيانات DBLP-QuAD عبر الاستفادة من المكافآت القائمة على التنفيذ، محققاً تحسينات جوهرية مقارنة بالنماذج المرجعية للصفر (zero-shot baselines) وقدرة تنافسية على التعميم رغم تفوق ضبط DoRA الخاضع للإشراف عليه.

المؤلفون الأصليون: Jann Pfeifer, Debayan Banerjee, Ricardo Usbeck

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jann Pfeifer, Debayan Banerjee, Ricardo Usbeck

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة ومنظمة للغاية من الأوراق الأكاديمية (الرسم البيق المعرفي DBLP). هذه المكتبة معقدة للغاية، بحيث إن طرح سؤال بسيط على أمين المكتبة مثل "من كتب أوراقاً عن الذكاء الاصطناعي في عام 2020؟" يتطلب منك التحدث بلغة صعبة جداً مخصصة للحواسيب فقط تسمى SPARQL. إذا أخطأت في القواعد، سيتجاهلك أمين المكتبة.

معظم البرامج الحاسوبية التي تحاول ترجمة سؤالك باللغة الإنجليزية إلى هذه اللغة الحاسوبية هي إما:

أدمغة عملاقة: ضخمة، ومكلفة، وتحتاج إلى تعليمها بآلاف الأمثلة المثالية (الاستعلامات الذهبية - Gold Queries) لكي تعمل بشكل جيد.
مخمنون جاهلون: نماذج صغيرة ورخيصة تقوم بمجرد التخمين دون تدريب، وتخطئ في معظم الأوقات.

يسأل هذا البحث سؤالاً بسيطاً: هل يمكننا تعليم "دماغ" صغير ورخيص ترجمة هذه الأسئلة بشكل صحيح بمجرد تركه يحاول، ويفشل، ويتعلم من النتائج، دون إظهار الإجابات المثالية له؟

إليك كيف فعلوا ذلك، باستخدام طريقة تسمى GRPO (تحسين السياسة النسبي للمجموعات).

التشبيه: نهج "الاختبار الجماعي"

فكر في نموذج الذكاء الاصطناعي كطالب يؤدي اختباراً.

الطريقة القديمة (التعلم الخاضع للإشراف/DoRA):
يعطي المعلم الطالب السؤال و نموذج الإجابة المثالي. يقوم الطالب بحفظ النموذج. هذا يعمل بشكل رائع، لكنك تحتاج إلى معلم يمتلك نموذج الإجابة لكل سؤال.

الطريقة الجديدة (GRPO مع التعلم التعزيزي):
المعلم لا يملك نموذج الإجابة. بدلاً من ذلك، يطلب المعلم من الطالب كتابة أربعة إجابات مختلفة لنفس السؤال في وقت واحد.

يأخذ المعلم جميع الإجابات الأربع ويقوم بتشغيلها عبر نظام مكتبة الحواسيب.
إذا تسببت إجابة ما في تعطل النظام أو أعادت قائمة كتب خاطئة، فإنها تحصل على "درجة سيئة".
إذا نجحت إجابة ما ووجدت الكتب الصحيحة، فإنها تحصل على "درجة جيدة".
ثم يخبر المعلم الطالب: "انظر، الإجابة رقم 3 كانت الأفضل من بين محاولاتك الأربع. في المرة القادمة، حاول أن تكتب مثل الإجابة رقم 3."

يتعلم الطالب من خلال مقارنة تخميناته الخاصة ببعضها البعض وبالنتائج الواقعية، بدلاً من نسخ ملاحظات المعلم.

"التلميحات" (التلميحات الرمزية)

لجعل المهمة عادلة، لم يكتفِ الباحثون بإعطاء الذكاء الاصطناعي السؤال فقط، بل أعطوه ورقة غش.

السؤال: "من كتب عن الذكاء الاصطناعي؟"
ورقة الغش: "بالمناسبة، 'الذكاء الاصطناعي' يشير إلى هذا الكود البرمدي المحدد (URI)، و'كتب' تشير إلى هذه العلاقة المحددة (URI)."

هذا يزيل الجزء الصعب المتعلق بتخمين معنى الكلمات ويركز على كيفية بناء هيكل الجملة للذكاء الاصطناعي.

ماذا وجدوا؟

اختبروا طريقة "الاختبار الجماعي" هذه على نموذج ذكاء اصطناعي صغير (Qwen3-1.7B) وقارنوه بطالبين آخرين:

الطالب غير المدرب: يخمن عشوائياً فقط. (نتائج سيئة للغاية).
الحافظ (DoRA): درس نماذج الإجابات. (الأفضل نتائج).
طالب "الاختبار الجماعي" (GRPO): تعلم عن طريق التجربة والخطأ.

النتائج:

الطالب غير المدرب فشل في كل شيء تقريباً.
الحافظ كان البطل، حيث حصل على حوالي 69% من الإجابات صحيحة تماماً.
طالب "الاختبار الجماعي" كان البطل المفاجئ. فبدون رؤية نماذج الإجابات أبداً، تعلم الحصول على 47% من الإجابات صحيحة.

النتائج الرئيسية:

إنها تنجح: يمكنك تعليم ذكاء اصطناعي صغير التحدث بلغة "المكتبة الحاسوبية" بمجرد جعله يتدرب والتحقق مما إذا كان قد وجد الكتب الصحيحة، حتى دون وجود معلم يمسك بنموذج الإجابة.
"ورقة الغش" تفرق: جاءت أكبر دفعة من خلال مكافأة تتحقق مما إذا كان الذكاء الاصطناعي قد استخدم بالفعل تلميحات "ورقة الغش" (الكيانات والعلاقات المحددة) المقدمة في المطالبة.
فخ "نموذج الإجابة": من المثير للاهتمام، عندما أعطوا طالب "الاختبار الجماعي" تلميحاً حول شكل الإجابة المثالية (Gold Query Shaping)، فقد ساء أداؤه قليلاً في العثور على الكتب الصحيحة. يبدو أن الذكاء الاصطناعي أصبح شديد التركيز على نسخ شكل الإجابة المثالية بدلاً من إيجاد الإجابة الصحيحة.
التعميم: كان طالب "الاختبار الجماعي" في الواقع أفضل في التعامل مع أنواع جديدة وغريبة من الأسئلة لم يسبق له رؤيتها مقارنة بـ "الحافظ"، الذي بدا وكأنه حفظ الأنماط المحددة التي درسها فقط.

الخلاصة

يثبت هذا البحث أنه بالنسبة لنماذج الذكاء الاصطناعي الصغيرة والزهيدة، فإن التعلم من النتيجة (هل وجد الكتب الصحيحة؟) هو استراتيجية قوية عندما لا تملك نماذج إجابات مثالية. قد لا تكون بجودة وجود معلم يمتلك نموذج الإجابة، لكنها تحسن هائل عن مجرد التخمين، وقد تكون أفضل طريقة لتدريب النماذج الصغيرة لمهام معقدة في المستقبل.

القيود: افترضت الدراسة أن الذكاء الاصطناعي يعرف بالفعل أي "كتاب" أو "مؤلف" يتحدث عنه المستخدم (الربط المثالي). في العالم الحقيقي، غالباً ما يكون تحديد ما يعنيه المستخدم هو الجزء الأصعب، وهو ما لم تتطرق إليه هذه الدراسة. أيضاً، كانت طريقة "الاختبار الجماعي" بطيئة لأن الكمبيوتر كان عليه تشغيل الاستعلامات بشكل متكرر لتقييمها.

ملخص تقني: توليد لغة SPARQL من النصوص باستخدام التعلم التعزيزي

بيان المشكلة

يهدف الإجابة على أسئلة الرسوم البيانية للمعرفة (KGQA) إلى ترجمة الأسئلة باللغة الطبيعية إلى استعلامات SPARQL قابلة للتنفيذ. وبينما تعتمد النهج الحالية غالبًا على النماذج اللغوية الكبيرة (LLMs) أو الإشراف الكامل عبر تعليقات الاستعلام الذهبية (gold query annotations)، هناك حاجة لتحديد ما إذا كانت النماذج الأصغر، المضبوطة بالتعليمات، يمكنها تحقيق أداء تنافسي في المجال الأكادني باستخدام التعلم التعزيزي القائم على النتيجة (outcome-based RL). وتحديداً، يبحث هذا العمل فيما إذا كان يمكن تدريب نموذج صغير مفتوح الأوزان عبر خوارزمية GRPO (تحسين السياسة النسبي للمجموعات - Group-Relative Policy Optimization) للقيام بتوليد (Text-to-SPARQL) بنمط "الصفر محاولة" (zero-shot) على معيار DBLP-QuAD، وكيف يقارن ذلك بالضبط الدقيق الخاضع للإشراف عندما لا تتوفر استعلامات ذهبية للتدقيق على مستوى الرمز (token-level supervision).

المنهجية

صياغة المهمة والمدخلات

تعامل الدراسة مهمة (Text-to-SPARQL) كمسألة قرار أحادية الخطوة على مجموعة بيانات DBLP-QuAD (10,000 زوج من السؤال والاستعلام). والافتراض المركزي هو الربط المثالي للكيانات والعلاقات: تتضمن المطالبات (prompts) معرفات (URIs) للكيانات والعلاقات تم حلها مسبقاً، جنباً إلى جنب مع بيانات وصفية غنية بالمخطط (labels, domains, ranges). هذا يعزل مهمة التوليد عن تحديات فك اللبس والربط التي تميز أنظمة KGQA الشاملة.

المدخل عبارة عن مطالبة حوارية مكونة من جزأين:

رسالة النظام (System Message): تفرض بروتوكول مخرجات صارم يتطلب لغة SPARQL صحيحة بنيوياً، ومعرفات (URIs) كاملة، وأنواع استعلام محددة (SELECT DISTINCT أو ASK). كما تفرض التفكير خطوة بخطوة داخل وسوم <thought> يتبعها الاستعلام النهائي.
رسالة المستخدم (User Message): تحتوي على السؤال باللغة الطبيعية، ومعرفات الكيانات المرتبطة مع تسمياتها، ومعرفات العلاقات المرتبطة مع سياق المخطط.

نهج التدريب: GRPO

يطبق المؤلفون خوارزمية GRPO على نموذج Qwen3-1.7B. وخلافاً لخوارزمية PPO، تقوم GRPO بتقدير المزايا من مجموعات من المسارات التي تم أخذ عينات منها دون الحاجة إلى دالة قيمة صريحة، مما يقلل من العبء على الذاكرة.

أخذ العينات (Sampling): لكل مطالبة، تأخذ السياسة عينة من مجموعة مكونة من $G=4$ من الاستعلامات المرشحة.
الهدف (Objective): يتم تحديث السياسة لزيادة احتمالية الاستعلامات ذات المكافأة الأعلى ضمن المجموعة مع البقاء قريبة من سياسة مرجعية ثابتة عبر تنظيم KL (KL regularization).

تصميم المكافأة

دالة المكافأة هي مزيج خطي موزون هيكلياً من ستة مكونات، تعطي الأولوية للتغذية الراجعة من التنفيذ:
$R = 3R_{exec} + 2R_{sim} + 1R_{struct} + 0.5R_{format} + 1R_{len} + 1R_{len-ratio}$

التغذية الراجعة للتنفيذ ( $R_{exec}$ ): هي الإشارة الأساسية. تقوم بتنفيذ الاستعلام المولد ضد نقطة نهاية (endpoint) ثابتة لـ DBLP وتحسب درجة F1 مقابل مجموعة الإجابات الذهبية. تفشل عمليات التنفيذ وتؤدي إلى عقوبة ثابتة.
التغطية الهيكلية ( $R_{struct}$ ): تكافئ تضمين جميع معرفات (URIs) للكيانات والعلاقات المطلوبة والموجودة في المطالبة.
التنسيق ( $R_{format}$ ): يضمن التزام المخرجات بالبروتوكول (مثل وجود وسوم الإغلاق).
الطول ( $R_{len}$ ): يعاقب المخرجات التي تقترب من الحد الأقصى لطول التوليد لتقليل حالات القطع (truncation).
تشكيل الاستعلام الذهبي (اختياري): تم اختبار متغيرين:
- التشابه ( $R_{sim}$ ): مقياس BLEU على مستوى الجملة بين الاستعلام المولد والاستعلام الذهبي.
- نسبة الطول ( $R_{len-ratio}$ ): ينظم تعقيد الاستعلام بناءً على الاختلافات في عدد الرموز (tokens).
- ملاحظة: يعكس المتغير "بدون تشكيل الاستعلام الذهبي" سيناريو الإشراف الضعيف حيث تتوفر الأسئلة والإجابات الذهبية فقط، وليس الاستعلامات الذهبية نفسها.

خطوط الأساس (Baselines)

تتم مقارنة متغيرات GRPO مقابل:

الأساس (Zero-shot Base): نموذج Qwen3-1.7B غير المعدل مع وبدون استخدام التفكير المتسلسل (CoT) في المطالبات.
الضبط الدقيق الخاضع للإشراف (DoRA): نموذج تم ضبطه بكفاءة في المعلمات باستخدام محولات DoRA وفقدان التقاطع المحوري (cross-entropy loss) باستخدام الاستهدافات الذهبية لـ SPARQL.

النتائج الرئيسية

الأداء العام

الأساس (Zero-shot): كان أداؤه ضعيفاً (EMAcc 0.07, F1 0.14). أدى استخدام التفكير المتسلسل (CoT) إلى تحسين طفيف في الدقة (0.11) ولكنه قلل بشكل كبير من قابلية التنفيذ (ExAcc 0.23) بسبب انتهاكات البروتوكول.
الضبط الدقيق (DoRA): حقق أعلى أداء إجمالي (EMAcc 0.69, ExAcc 0.91, F1 0.78)، مما يؤكد قوة الإشراف على مستوى الرمز.
GRPO (بدون استعلامات ذهبية): حقق تحسناً جوهرياً عن الـ Zero-shot (EMAcc 0.47, ExAcc 0.83, F1 0.48) ولكنه ظل دون خط الأساس الخاضع للإشراف.
GRPO (مع استعلامات ذهبية): حسن قابلية التنفيذ قليلاً (0.85) ولكنه قلل من دقة مستوى الإجابة (0.44) ودرجة F1 (0.45) مقارنة بالمتغير الذي لا يحتوي على استعلامات ذهبية.

التعميم والفئات

القوالب المحجوبة (Held-out Templates): أظهرت GRPO قدرة فائقة على التعميم على قوالب الاستعلام غير المرئية (GenAcc 0.53) مقارم بـ DoRA (GenAcc 0.40). أظهر النموذج الخاضع للإشراف انخفاضاً أكبر في الأداء على البيانات المحجوبة، مما يشير إلى الاعتماد على قوالب تدريب محددة.
فئات الأسئلة: أدى كل من GRPO و DoRA أداءً جيداً في الأنماط المحلية (حقيقة واحدة، فك اللبس). ومع ذلك، عانى كلاهما مع الأنماط التركيبية المعقدة، خاصة الاتحاد (Union/Disjunction)، التفضيل/المقارنة (Superlative/Comparative)، و تعدد المقاصد (Multi-intent).
الأسئلة الزمنية: حسنت GRPO الأداء بشكل ملحوظ مقارنة بالـ Zero-shot (TempAcc 0.52 مقابل 0.09) لكنها لم تغلق الفجوة مع DoRA (0.69).

استقصاء المكافآت (Ablations)

التغذية الراجعة للتنفيذ: استحوذت على معظم مكاسب الأداء.
التغطية الهيكلية: قدمت أهم تحسن إضافي في صحة الإجابة وأداء المجموعات الفرعية.
تشكيل الاستعلام الذهبي: أدت إضافة مصطلحات التشابه ونسبة الطول إلى زيادة قابلية التنفيذ قليلاً ولكنها أدت إلى تدهور دقة مستوى الإجابة والتعميم، مما يشير إلى وجود صراع بين إعادة إنتاج الأشكال السطحية وتحقيق الصحة الدلالية.

الأهمية والادعاءات

يدعي البحث أن التعلم التعزيزي القائم على النتيجة هو استراتيجية تدريب قابلة للتطبيق للنماذج الصغيرة عندما لا تتوفر الاستعلامات الذهبية للتدقيق على مستوى الرمز.

قابلية النماذج الصغيرة: تثبت الدراسة أن نموذج بـ 1.7 مليار معلمة، عند اقترانه بـ GRPO والمكافآت القائمة على التنفيذ، يمكنه سد جزء كبير من الفجوة بين المطالبات (zero-shot) والضبط الدقيق الخاضع للإشراف.
التعميم مقابل الإشراف: بينما يحقق الضبط الدقيق الخاضع للإشراف (DoRA) دقة إجمالية أعلى، تُظهر GRPO تعميماً أفضل على القوالب المحجوبة. يشير هذا إلى أن التحسين القائم على النتيجة يكافئ الصحة الدلالية بشكل مستقل عن الشكل السطحي الدقيق للاستعلام، بينما قد يفرط الإشراف على مستوى الرمز في ملاءمة هياكل القوالب المحددة.
محدودية التشكيل: لم يؤدِ تضمين مصطلحات تشكيل الاستعلام الذهبي إلى تحسين أداء مستوى الإجابة، بل قد يؤدي إلى أهداف متضاربة. ويخلص المؤلفون إلى أن التغذية الراجعة للتنفيذ والقيود الهيكلية هي المحركات المهيمنة للنجاح في هذا السياق.
تحليل الأخطاء: تميل إخفاقات GRPO إلى أن تكون هيكلية (بنيوية، انتهاكات المخطط، التعامل مع UNION)، بينما تكون إخفاقات DoRA غالباً عبارة عن عدم تطابق دلالي دقيق ضمن استعلامات جيدة الصياغة.

يحافظ المؤلفون على موقف متواضع، مشيرين إلى أن الدراسة تفترض الربط المثالي (مما يزيل مصدراً رئيسياً للخطأ في أنظمة KGQA الواقعية) وتقتصر على معيار واحد وعائلة نماذج واحدة. ويخلصون إلى أنه بينما تعد GRPO بديلاً قوياً لسيناريوهات الإشراف الضعيف، إلا أنها لا تعوض بعد الضبط الدقيق الخاضع للإشراف عندما تتوفر الأهداف الذهبية.