💻 computer science

Procedural Knowledge at Scale Improves Reasoning

تقدم الورقة البحثية "ذاكرة الاستنتاج" (Reasoning Memory)، وهو إطار عمل للجيل المعزز بالاسترجاع يعمل على توسيع نطاق أداء الاستنتاج عبر تفكيك 32 مليون مسار استنتاجي إلى مدخلات معرفية إجرائية قابلة لإعادة الاستخدام، مما يمكّن النماذج من استرجاع وتطبيق الروتينات الفرعية ذات الصلة أثناء الاستدلال للتفوق على النماذج المرجعية الحالية لتوسيع النطاق أثناء الاختبار والجيل المعزز بالاسترجاع (RAG) عبر اختبارات معايير الرياضيات والعلوم والبرمجة.

المؤلفون الأصليون: Di Wu, Devendra Singh Sachan, Wen-tau Yih, Mingda Chen

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Di Wu, Devendra Singh Sachan, Wen-tau Yih, Mingda Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو تحدٍ برمجي شائك. تجلس وتبدأ في تشغيل عقلك. تجرب بعض الأشياء، تصطدم بحائط مسدود، تتراجع، ثم تحاول مجددًا، وفي النهاية، قد تنجح في الحل. هكذا تعمل نماذج الذكاء الاصطناعي الحالية "للتفكير المنطقي" (Reasoning): إنها تفكر بجد، خطوة بخطوة، في الوقت الفعلي.

ولكن إليك المشكلة: إنها تعيد اختراع العجلة في كل مرة.

إذا طلبت من ذكاء اصطناعي حل مسألة هندسية اليوم، فسيستنتج الخطوات من الصفر. إذا سألته مسألة هندسية مماثلة غدًا، فسيتعين عليه استنتاج تلك الخطوات نفسها مرة أخرى. إنه ينسى الاستراتيجية التي استخدمها بالأمس. الأمر يشبه طالبًا عبقريًا لا يدون ملاحظات أبدًا، ويضطر لإعادة تعلم كيفية الضرب في كل مرة يرى فيها مسألة رياضية.

تقدم هذه الورقة البحثية حلاً يسمى "ذاكرة التفكير المنطقي" (Reasoning Memory). فكر في الأمر كأنك تمنح الذكاء الاصطناعي دفتر ملاحظات شخصي ومنظم للغاية يمكنه التصفح فيه أثناء تفكيره.

الفكرة الكبرى: "كيف" مقابل "ماذا"

معظم أدوات المساعدة بالذكاء الاصطناعي (مثل محركات البحث) بارعة في إعطائك الحقائق.

أنت تسأل: "ما هي صيغة مساحة المثلث؟"
الذكاء الاصطناعي يقول: "هي نصف القاعدة في الارتفاع."

لكن بالنسبة لمهام التفكير المنطقي الصعبة، الحقائق ليست كافية. أنت بحاجة إلى المعرفة الإجرائية — أي دليل "كيفية القيام بالأمر".

أنت تسأل: "لدي مثلث غريب بأضلاع 13، 14، و15. كيف أبدأ حتى في حل هذا؟"
الذكاء الاصطناعي التقليدي: "دعني أفكر..." (وقد يعلق أو يتوه).
ذكاء اصطناعي بذاكرة التفكير المنطقي: "أوه! أتذكر مسألة مشابهة. الخدعة هي استخدام صيغة هيرون أولاً. إليك الخطة خطوة بخطوة التي استخدمتها في المرة الماضية."

كيف يعمل الأمر: تشبيه "كتاب الوصفات"

قام الباحثون ببناء مكتبة ضخمة من 32 مليون "وصفة مصغرة".

التجميع (بناء مستودع البيانات):
لقد أخذوا آلاف الساعات من "سجلات تفكير" الذكاء الاصطناعي (حيث كان الذكاء الاصطناعي يحل المسائل ويكتب أفكاره). لم يقوموا فقط بحفظ القصة كاملة؛ بل قاموا بتقطيعها.

تخيل فيلمًا طويلًا لطباخ يطهو وجبة معقدة.
بدلاً من حفظ الفيلم بأكمله، قاموا بقص مقاطع محددة فقط: "كيفية تقطيع البصل"، "كيفية تشويح قطعة لحم"، "كيفية صنع الصلصة".
حولوا هذه المقاطع إلى مكتبة من 32 مليون "سؤال فرعي" و"إجراء فرعي" (خطوات الوصفة).

البحث (الاسترجاع أثناء التفكير):
عندما يواجه الذكاء الاصطناعي مسألة جديدة وصعبة، فإنه لا يكتفي بالتحديق فيها. بل يوقف تفكيره ويسأل نفسه سؤالاً بسيطًا: "ما نوع المسألة المصغرة التي أنا عالق فيها الآن؟"

مثال: "أحتاج إلى معرفة كيفية تحويل هذا النظام العددي الغريب."
يقوم فورًا بتصفح دفتر ملاحظاته المكون من 32 مليون صفحة ويجد "الوصفة" المناسبة لتحويل الأنظمة العددية.

التعزيز (التوسع):
بعد ذلك، يقرأ الذكاء الاصطناعي تلك الوصفة ويستخدمها كدليل. هو لا ينسخ الإجابة فحسب؛ بل يستخدم الوصفة كـ سقالة ذهنية لبناء حله الخاص.

إذا كان لديه الكثير من الوقت (قدرة حوسبية)، فيمكنه تجربة ثلاث أو أربع وصفات مختلفة في وقت واحد، ليرى أي واحدة تعمل بشكل أفضل، ثم يختار الفائز. وهذا ما يسمى "التوسع" (Scaling).

لماذا يعد هذا أمرًا مهمًا؟

اختبرت الورقة البحثية هذا على اختبارات صعبة في الرياضيات والعلوم والبرمجة (مثل مسابقة AIME الرياضية أو مقابلات البرمجة).

الطريقة القديمة (مجرد التفكير لفترة أطول): إذا قلت للذكاء الاصطناعي "فكر بجهد أكبر" دون مساعدة، فإنه غالبًا ما يدور في حلقات مفرغة، ويصاب بالارتباك ويرتكب الأخطاء. الأمر يشبه محاولة حل متاهة عن طريق الجري في دوائر بسرعة أكبر.
الطريقة الجديدة (ذاكرة التفكير المنطقي): من خلال استحضار "الوصفة" الصحيحة من دفتر ملاحظاته، يحل الذكاء الاصطناعي المتاهة بشكل أسرع وأكثر دقة.
- النتيجة: أصبح الذكاء الاصطناعي أفضل بنسبة تصل إلى 19% في حل المسائل مقارنةً عندما لم يكن لديه مساعدة.
- المقارنة: لقد تفوق على الطرق الأخرى التي حاولت تزويد الذكاء الاصطناعي بـ "حقائق" (مثل مقالات ويكيبيديا) أو "قصص كاملة" (حلول سابقة كاملة). كانت تلك الطرق فوضوية للغاية، بينما كانت "الوصفات المصغرة" هي الخيار الأمثل.

الخلاصة

تظهر هذه الورقة البحثية أن مستقبل الذكاء الاصطناعي الذكي لا يقتصر فقط على جعل "الدماغ" أكبر أو السماح له بالتفكير لفترة أطول. بل يتعلق بـ تعليمه كيفية التعلم من تجاربه الماضية.

من خلال تحويل النجاحات الماضية إلى مكتبة قابلة للبحث من خطوات "كيفية القيام بالأمر"، يمكننا مساعدة نماذج الذكاء الاصطناعي على التوقف عن إعادة اختراع العجلة والبدسة في البناء على أسس من الاستراتيجيات المثبتة. إنه الفرق بين طالب يعاني بمفرده وطالب لديه معلم عبقري يهمس في أذنه بالاستراتيجية الصحيحة في اللحظة التي يحتاجها فيها تمامًا.

إليك ملخص تقني مفصل لورقة البحث "Procedural Knowledge at Scale Improves Reasoning" (المعرفة الإجرائية على نطاق واسع تحسن الاستنتاج) من إعداد Wu وآخرون.

1. بيان المشكلة

تعمل طرق توسيع وقت الاختبار (test-time scaling) الحالية للنماذج اللغوية الكبيرة (LLMs) على تحسين أداء الاستنتاج من خلال تخصيص قدر أكبر من الحوسبة لكل حالة (على سبيل المثال، توليد سلاسل تفكير أطول أو أخذ عينات من مسارات متعددة). ومع ذلك، تعاني هذه الطرق من قصورين حرجين:

العزلة (Isolation): فهي تتعامل مع كل حالة مشكلة بشكل منعزل، وتفشل في إعادة استخدام المعرفة من مسارات الاستنتاج السابقة.
عدم استغلال المعرفة الإجرائية (Underutilization of Procedural Knowledge): تركز أنظمة التوليد المعزز بالاسترجاع (RAG) الحالية بشكل أساسي على استرجاع المعرفة الواقعية (التعريفات، الصيغ) أو مسارات الاستنتاج الكاملة. وهي تفشل في استرجاع المعرفة الإجرائية بشكل صريح: وهي الاستراتيجيات عالية المستوى حول كيفية إعادة صياغة المشكلة، أو تفكيكها إلى أسئلة فرعية، أو اختيار نهج معين، أو التحقق/التراجع.
عدم المواءمة (Misalignment): غالبًا ما يوفر نظام RAG القياسي القائم على المستندات سياقًا خلفيًا عامًا لا يتوافق بدقة مع الحالة الاستنتاجية الحالية للنموذج، مما يؤدي إلى مكاسب محدودة أو حتى تدهور في أداء نماذج الاستنتاج.

2. المنهجية: ذاكرة الاستنتاج (Reasoning Memory)

يقترح المؤلفون "ذاكرة الاستنتاج" (Reasoning Memory)، وهو إطار عمل RAG مصمم لاسترجاع وإعادة استخدام المعرفة الإجرائية بشكل صريح وعلى نطاق واسع أثناء الاستدلال. يتكون إطار العمل من ثلاث مراحل رئيسية:

أ. بناء مستودع المعرفة الإجرائية

بدلاً من فهرسة المستندات الخام أو المسارات الكاملة، قام المؤلفون بتفكيك مجموعات بيانات الاستنتاج الموجودة إلى وحدات ذرية قابلة لإعادة الاستخدام.

المصدر: استخدموا مجموعة بيانات Nemotron V1 (التي تحتوي على مسارات الرياضيات والعلوم والبرمجة) لبناء مستودع يضم 32 مليون مدخل.
التفكيك: تمت معالجة كل مسار استنتاج بواسطة نموذج معلم (QwQ-32B) لاستخراج:
1. الأسئلة الفرعية (Subquestions - SQ): أوصاف ذاتية الاحتواء للأهداف الوسيطة (مثل: "كيف يتم تحويل رقم من القاعدة $b$ إلى النظام العشري؟").
2. الروتينات الفرعية (Subroutines - SR): تلميحات إجرائية موجزة وعالية المستوى تصف الاستراتيجية لحل السؤال الفرعي، مع تجريد الأرقام المحددة أو الحسابات المحلية.
النتيجة: مستودع ضخم من أزواج $(SQ, SR)$ التي تعمل كأولويات إجرائية مدمجة.

ب. الاسترجاع النشط داخل الفكر (In-Thought Active Retrieval)

في وقت الاستدلال، يتم توجيه النموذج لاسترجاع الإجراءات ذات الصلة ضمن مسار الاستنتاج الخاص به.

التعبير اللفظي للاستعلام (Query Verbalization): يحفز "توجيه لفظي" خفيف الوزن (thought-hijacking prompt) النموذج على التعبير عن سؤاله الفرعي الحالي كاستعلام بلغة طبيعية (مثل: "دعني أصيغ استعلام بحث لمشكلة أساسية مشابهة...").
الاسترجاء (Retrieval): يُستخدم الاستعلام الذي ولّده النموذج لاسترجاع أفضل $k$ من الروتينات الفرعية المطابقة من المستودع باستخدام مسترجع كثيف (ReasonIR-8B).
الحقن (Injection): يتم حقن الروتينات الفرعية المسترجعة مباشرة في تدفق الاستنتاج كـ "تلميحات" (مثال: [hint] إليك إجراء لحل مشكلة...). يعمل هذا كأولوية ضمنية توجه خطوات الاستنتاج اللاحقة للنموذج.

ج. توسيع وقت الاختبار مع التنوع (Test-Time Scaling with Diversity)

يقوم إطار العمل بتوسيع حسابات الاستدلال من خلال استكشاف مسارات استنتاج متعددة تحت روتينات فرعية مسترجعة متنوعة.

أخذ العينات (Sampling): بالنظر إلى ميزانية قدرها $m$ من العينات و $k$ من الروتينات الفرعية المسترجعة، يقوم النموذج بتوليد $\lfloor m/k \rfloor$ من المسارات لكل روتين فرعي.
التصفية (Filtering): تُستخدم استدلالات (heuristic) قائمة على طول النص وعدم اليقين لتصفية المرشحين. المنطق هو أن الاستنتاج الواثق يميل إلى إنتاج مسارات أقصر وأكثر مباشرة، بينما يؤدي الاستنتاج غير الواثق إلى الكثير من التراجع (backtracking) والمسارات الطويلة بشكل مفرط.
الاختيار (Selection): يحتفظ النظام بأفضل $n$ من المسارات ذات الثقة الأعلى (الأقصر من حيث الطول الطبيعي) للإجابة النهائية.

3. المساهمات الرئيسية

المعرفة الإجرائية على نطاق واسع: إنشاء مستودع من 32 مليون مدخل من أزواج الأسئلة الفرعية والروتينات الفرعية المفككة، مما ينقل التركيز من استرجاع الحقائق إلى التوجيه الاستراتيجي.
آلية الاسترجاع داخل الفكر: طريقة مبتكرة لدمج الاسترجاع مباشرة في عملية "تفكير" النموذج عبر التعبير اللفظي للاستعلام، مما يضمن توافق المعرفة المسترجعة بدقة مع الحالة الاستنتاجية الحالية.
التوسع القائم على التنوع أولاً: استراتيجية تخصص ميزانية الحوسبة عبر إجراءات فرعية مسترجعة متنوعة بدلاً من تعميق مسار واحد، مما يثبت أن استكشاف استراتيجيات مختلفة أكثر فعالية من مجرد التفكير لفترة ألي أطول في مسار واحد.
التحقق التجريبي: تقييم شامل يظهر أن الاسترجاع الإجرائي يتفوق على استرجاع المستندات، واسترجاع المسارات الكاملة، والنهج القائمة على القوالب.

4. النتائج التجريبية

تم تقييم الطريقة على اختبارات استنتاج رائدة في الرياضيات (AIME 2024/2025, MATH500)، والعلوم (GPQA-Diamond)، والبرمجة (LiveCodeBench) باستخدام ثلاثة نماذج استنتاج مفتوحة الأوزان (DeepSeek-R1-Distill-Llama-8B, OpenThinker3-7B, Qwen3-32B).

مكاسب الأداء:
- تتفوق Reasoning Memory باستمرار على No RAG بنسبة تصل إلى 19.2% (على سبيل المثال، +19.0% في الرياضيات، +28.9% في البرمجة مع ميزانيات أكبر).
- تتفوق على أقوى خط أساس موازٍ في الحوسبة (توسيع الطول بدون استرجاع) بنسبة 7.9% في المتوسط.
- تتفوق بشكل كبير على Document RAG التقليدي (الذي غالبًا ما يؤدي إلى تدهور أداء نماذج الاستنتاج) وعلى Trajectory RAG.
سلوك التوسع (Scaling Behavior):
- يتحسن الأداء بشكل مطرد مع زيادة ميزانيات الاستدلال ( $m$ ).
- استراتيجية "التنوع أولاً" (استخدام العديد من الروتينات الفرعية المسترجعة المختلفة) تحقق توسعًا أفضل من استراتيجية "الكثافة أولاً" (تركيز الحوسبة على عدد قليل من الروتينات الفرعية).
تكوين مستودع البيانات:
- المستودعات الأكبر والأكثر تنوعًا تحقق نتائج أفضل.
- انتقال المعرفة عبر المجالات (Cross-domain transfer) فعال؛ حيث أن الروتينات الفرعية الخاصة بالبرمجة فقط أو العلوم فقط غالبًا ما تحسن الأداء في مهام الرياضيات، مما يشير إلى أن الاستراتيجيات الإجرائية مستقلة عن المجال.
دراسات الاستئصال (Ablation Studies):
- التفكيك أمر حاسم: إزالة تفكيك الأسئلة الفرعية (الفهرسة باستخدام الأسئلة الكاملة) تسبب انخفاضًا كبيرًا في الأداء، مما يثبت أن المطابقة الإجرائية الدقيقة ضرورية.
- توليد الاستعلام: تتفوق الاستعلامات التي يتم التعبير عنها لفظيًا ذاتيًا على استخدام نص المشكلة الأصلي كاستعلام، لأنها تلتقط بدقة عنق الزجاجة الاستنتاجي المحدد.
- حجم النموذج: يمكن أن يكون نموذج توليد المستودع أصغر (Qwen3-8B) مع حد أدنى من الخسارة في الأداء، مما يشير إلى أن المعرفة تكمكمن في المسارات المصدرية.

5. الأهمية والخلاصة

تغير هذه الورقة البحثية بشكل جذري نموذج توسيع وقت الاختبار لنماذج الاستنتاج. فهي تثبت أن العائق في الاستنتاج المعقد ليس نقص الحقائق، بل نقص التوجيه الإجرائي حول كيفية مقاربة المشكلة.

الكفاءة: من خلال إعادة استخدام المعرفة الإجرائية المهيكلة، يمكن للنماذج حل المشكلات بكفاءة أكبر دون الحاجة إلى "إعادة اكتشاف" الاستراتيجيات من الصفر.
العمومية: النهج مستقل عن النموذج ويعمل عبر مختلف بنيات الاستنتاج والمجالات.
الاتجاه المستقبلي: تؤسس هذه الورقة اتجاهًا جديدًا لمجتمع RAG: الانتقال من مجرد استرجاع الحقائق إلى بناء أنظمة تراكم، وتسترجع، وتعيد استخدام استراتيجيات الاستنتاج وسير العمل بمرور الوقت.

باختصار، تثبت Reasoning Memory أن تزويد نماذج الاستنتاج بمكتبة ضخمة ومنظمة من استراتيجيات "كيفية القيام بالأمر" يعزز بشكل كبير قدرتها على حل مشكلات الرياضيات والعلوم والبرمجة المعقدة، متفوقة على كل من الاسترجاع القياسي وتوسيع وقت الاختبار بالقوة الغاشمة.