← أحدث الأبحاث
💬 NLP

Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models

تقدم هذه الورقة البحثية RuleWorld، وهو معيار واسع النطاق لتقييم الاستدلال الإجرائي على مستوى الخطوات، وتقترح DynaRule، وهو إطار عمل شامل (end-to-end) يحسن بشكل كبير أداء النماذج اللغوية الكبيرة في مهام الاستدلال المعقدة متعددة الخطوات من خلال الحقن الديناميكي وإعادة الانتباه إلى القواعد داخل ذاكرة التخزين المؤقت (KV cache).

المؤلفون الأصليون: Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

نُشر 2026-08-25
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء جيل جديد من الذكاء الاصطناعي، وهي قادرة على كتابة القصص، وحل المسائل الرياضية، وترجمة اللغات بطلاقة مذهلة. وهي تعمل من خلال امتصاص كميات هائلة من النصوص، وتعلم الأنماط الإحصائية لكيفية ترابط الكلمات معاً لتكوين المعنى. لسنوات، اختبر الباحثون هذه النماذج في قدرتها على استرجاع الحقائق، مثل معرفة أن باريس هي عاصمة فرنسا. ولكن هناك نوع آخر من المعرفة هو لا يقل أهمية بالنسبة للتفكير في العالم الحقيقي: المعرفة الإجرائية. لا يتعلق هذا الأمر بمعرفة "ما" هو صحيح، بل بمعرفة "كيفية" التصرف أو التفكير بناءً على مجموعة من التعليمات. تخيل محامياً يجب عليه تطبيق مجموعة محددة ومعقدة من القوانين على قضية جديدة، أو طبيباً يتبع بروتوكولاً مفصلاً لتشخيص حالة نادرة. في هذه الحالات، لا تكون الإجابة مخزنة في الذاكرة؛ بل يجب العثور عليها، واختيارها، وتطبيقها خطوة بخطوة من كتاب قواعد خارجي ضخم. والسؤال الذي يواجه المجال هو ما إذا كانت هذه النماذج القوية قادرة حقاً على تعلم القيام بذلك، أم أنها ببساطة تتظاهر بفهم القواعد بينما تعتمد على تخميناتها الداخلية.

وللإجابة على ذلك، أنشأ فريق من الباحثين ساحة اختبار ضخمة تسمى RuleWorld. فبدلاً من إعطاء النماذج عدداً قليلاً من القواعد لحل لغز واحد، بنوا مكتبة تحتوي على ما يقرب من خمسة ملايين قاعدة مجردة. هذه القواعد غريبة ومنفصلة عن الحياة اليومية عن عمد، مثل "إذا دخل مخلوق إلى غابة، فإنه يشتعل ناراً"، لضمان عدم قدرة النماذج على استخدام معرفتها الداخلية. كُتبت هذه القواعد بطريقتين: كبيانات منطقية رسمية وكجمل باللغة الإنجليزية العادية. ثم صمم الباحثون ثلاثة أنواع من التحديات لاختبار النماذج. كان النوع الأول بسيطاً: العثور على قاعدة واحدة للإجابة على سؤال. والثاني أكثر تعقيداً: الإجابة على عدة أسئلة في وقت واحد، يتطلب كل منها قواعد مختلفة. أما الثالث فكان الأصعب: حل سلسلة من المشكلات حيث تصبح إجابة الخطوة الأولى هي نقطة البداية للخطوة التالية، مما يتطلب من النموذج تتبع تقدمه عبر تسلسل طويل من الخطوات المنطقية.

وعندما اختبروا النماذج الحالية على هذا المعيار الجديد، كانت النتائج صارخة. حتى النماذج الأكثر تقدماً واجهت صعوبة عندما زاد عدد القواعد المتاحة. فعندما أُجبرت على الاختيار من بين آلاف القواعد، غالباً ما كانت تلتقط القواعد الخاطية أو تضيع في منتصف سلسلة متعددة الخطوات. كما أن الطرق القياسية التي تحاول مساعدة النماذج عبر البحث عن النص ذي الصلة قبل الإجابة ثبت ضعفها؛ إذ كانت تجد القاعدة الصحيحة للخطوة الأولى لكنها تفشل في تحديث بحثها للخطوة الثانية، مما يؤدي إلى سلسلة من الأخطاء. كانت النماذج تحاول جوهرياً استيعاب كتاب القواعد بأكمله في رؤوسها في آن واحد، وهي مهمة أرهقت قدرتها على التركيز على ما يهم في كل لحظة محددة.

ولحل هذه المشكلة، طور الباحثون نظاماً جديداً يسمى DynaRule. فبدلاً من معاملة القواعد كقائمة ثابتة تُقرأ مرة واحدة، يعلم DynaRule النموذج أن يعامل القواعد كمورد ديناميكي يمكنه الوصول إليه وتحديثه أثناء التفكير. يعمل النظام من خلال دمج القواعد مباشرة في بنية الذاكرة الداخلية للنموذج، وهي عملية تسمة النموذج بالوصول إليها دون إبطاء السرعة. والأهم من ذلك، يتم تدريب النموذج على التعرف على الوقت الذي يحتاج فيه إلى تغيير مساره. فهو يتعلم إصدار إشارة داخلية خاصة، وهي أمر "بحث" ذهني، كلما انتهى من خطوة استنتاجية واحتاج إلى العثة القاعدة التالية. وعندما تنطلق هذه الإشارة، يقوم النموذج فوراً بإعادة تقييم مكتبة القواعد بأكملها، مستبعداً القواعد التي استخدمها سابقاً ومركزاً انتباهه على المجموعة الجديدة من القواعد المطلوبة للخطوة الحالية. وهذا يحول عملية العثور على القاعدة من بحث لمرة واحدة إلى عملية مستمرة وقابلة للتعلم تتطور مع سلسلة الاستنتاج.

كانت نتائج هذا النهج كبيرة. ففي معيار RuleWorld، تفوق DynaRule باستمرار على جميع الأساليب الأخرى، بما في ذلك تلك التي تستخدم أدوات بحث خارجية قوية. وعند مواجهة مجموعة تضم عشرة آلاف قاعدة، حافظ النظام الجديد على مستوى عالٍ من الدقة، حيث حدد القاعدة الصحيحة بنسبة تزيد عن خمسة وثمانين بالمائة في المحاولة الأولى، بينما شهدت الأساليب الأخرى انهياراً في أدائها. وفي المهام التي تتطلب خطوات متعددة، رفع DynaRule متوسط الدقة بنحو عشرين نقطة مقارنة بأفضل البدائل الموجودة. لقد أثبت النظام أنه من خلال تعليم النموذج كيفية إدارة انتباهه بنشاط تجاه مجموعة كبيرة من التعليمات، يمكنه التنقل بموثوقية في المشاهد المنطقية المعقدة. ووجد الباحثون أن النموذج لم يقم بمجرد حفظ القواعد؛ بل تعلم طريقة عامة لتحديد مواقعها وتطبيقها، حتى عند اختباره على قواعد لم يسبق له رؤيتها من قبل. وهذا يشير إلى أن الفجوة بين معرفة النموذج الداخلية الواسعة وقدرته على اتباع التعليمات الخارجية يمكن جسرها، بشرما إذا أُعطي النموذج وسيلة لتحديث تركيزه ديناميكياً مع تطور المهمة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →