🤖 machine learning

Reinforcement Learning for Code Optimization

تقدم هذه الورقة DMC-Optim، وهو إطار عمل ثلاثي المراحل يتغلب على عدم الاستقرار الناتج عن تطبيق التعلم المعزز على تحسين الكود من خلال معايرة بيئات التنفيذ، وتركيب مكافآت الصحة والسرعة، وتكييف خوارزميات التدريب، مما يؤدي إلى تحسين توليد كود أسرع بشكل كبير مع الحفاظ على الصحة.

المؤلفون الأصليون: Pierre Chambon, Kunhao Zheng, Juliette Decugis, Benoit Sagot, Gabriel Synnaeve

نُشر 2026-07-29

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Pierre Chambon, Kunhao Zheng, Juliette Decugis, Benoit Sagot, Gabriel Synnaeve

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً تكون فيه أجهزة الكمبيوتر مثل طهاة موهوبين للغاية، ولكنهم يفتقرون إلى الرشاقة؛ يمكنهم اتباع وصفة لصنع طبق مثالي (كتابة كود يعمل)، لكنهم غالباً ما يسلكون الطريق الأطول، مستخدمين ألف خطوة صغيرة بينما كانت خطوة واحدة عملاقة ستفي بالغرض. هذا هو عالم الذكاء الاصطناعي وتوليد الكود. لقد علم العلماء هؤلاء الطهاة من الذكاء الاصطناعي كيفية الطبخ عبر منحهم تعليقات: "إذا كان طعم الطبق جيداً، فستحصل على نجمة ذهبية". هذه الطريقة، التي تسمى التعلم المعزز (Reinforcement Learning)، جعلت الذكاء الاصطناعي بارعاً جداً في كتابة كود يعمل. ولكن هناك مشكلة: الكود غالباً ما يعمل ببطء، مثل طاهٍ يقطع كل بصلة يدوياً بدلاً من استخدام محضرة الطعام. السؤال الكبير هو: هل يمكننا تعليم الذكاء الاصطناعي ليس فقط صنع الطبق، بل صنعه بسرعة؟ التحدي يكمن في أن "السرعة" مفهوم مراوغ؛ فقياس المدة التي يستغرقها الكود بالضبط أمر مليء بالضجيج، مثل محاولة توقيت سباق بينما ساعة الإيقاف تهتز في يدك. إذا أخطأ الذكاء الاصطناعي في التوقيت، فقد يتعلم الجري بسرعة ولكنه يفسد العمل، أو قد يصاب بالارتباك بسبب الضجيج ويتوقف عن التعلم تماماً.

هذه الورقة البحثية، بعنوان "التعلم المعزز لتحسين الكود"، هي قصة عن كيف علم فريق من الباحثين طاهي الذكاء الاصطناعي التوقف عن تقطيع البصل يدوياً والبدء في استخدام محضرة الطعام، دون حرق المطبخ. لقد اكتشفوا أن مجرد إخبار الذكاء الاصطناعي "كن أسرع" لا ينجح لأن قياسات التوقيت فوضوية للغاية. بدلاً من ذلك، قاموا ببناء مطبخ خاص فائق الدقة ("صندوق رمل مُعاير") ومجموعة جديدة من القواعد لكيفية منح النجوم الذهبية للذكاء الاصطناعي. وجدوا أنه من خلال تصميم طريقة اختبار الذكاء الاصطناعي بعناية — باستخدام مشكلات أكبر وأصعب تُظهر فعلياً الفرق بين الحل البطيء والسريع — يمكنهم تعليم الذكاء الاصطناني كتابة كود صحيح وسريع بشكل ملحوظ في آن واحد. النتيجة؟ تعلم الذكاء الاصطناعي حل الألغاز المعقدة بسرعة أكبر بنسبة تصل إلى 125% في بعض الفئات الصارمة، مع الاستمرار في تقديم الإجابات الصحيحة. الأمر يشبه تعليم طالب ليس فقط حل مسألة رياضية، بل حلها بأقل عدد ممكن من الخطوات، حتى عندما يكون توقيت المعلم مهتزاً قليلاً.

المشكلة: فخ "سريع ولكن خاطئ"

تخيل أنك تدرب روبوتاً على الجري في سباق. إذا قلت له فقط "اجرِ بأقصى سرعة ممكنة"، فقد يغش الروبوت عبر اتخاذ طريق مختصر يكسر المسار، أو قد يتعثر في قدميه لأنه يندفع بسرعة. في عالم الكود، هذا هو بالضبط ما حدث عندما حاول الباحثون تعليم الذكال الاصطناعي أن يكون أسرع. حاولوا إضافة "السرعة" إلى نظام المكافأة: "إذا عمل الكود الخاص بك، وكان يعمل في ثانية واحدة، فستحصل على مكافأة كبيرة. وإذا استغرق 10 ثوانٍ، فستحصل على مكافأة صغيرة".

لكن هذه الفكرة البسيطة فشلت. لماذا؟ لأن قياس الوقت مليء بالضجيج. أحياناً يعمل الكود بسرعة لمجرد أن الكمبيوتر كان في حالة جيدة، وليس لأن الكود ذكي. وفي أحيان أخرى، يعمل الكود ببطء لأن الكمبيوتر كان مشغولاً بشيء آخر. هذا "الضجيج" أربك الذكاء الاصطناعي؛ فبدأ يتعلم أن كون الكود "سريعاً" لا يهم، أو الأسوأ من ذلك، تعلم كتابة كود سريع جداً ولكنه خاطئ تماماً (مثل روبوت يركض في الاتجاه الخاطئ نحو خط النهاية). تُظهر الورقة أنه إذا أضفت الوقت إلى المكافأة دون إصلاح أدوات القياس، فإن الذكاء الاصطناعي يكاد لا يصبح أسرع، وأحياناً يصبح أسوأ في دقة النتائج.

الحل: بناء مطبخ أفضل

أدرك الباحثون أنهم بحاجة إلى إصلاح ثلاثة أشياء قبل أن يتمكن الذكاء الاصطناعي من التعلم: الاختبارات، المكافأة، وطريقة التدريب.

1. الاختبارات: من سباقات السرعة إلى الماراثونات
كانت الاختبارات الأصلية التي أُعطيت للذكاء الاصطناعي تشبه سباقات السرعة القصيرة جدًا. في سباق السرعة، يمكن لعطل بسيط (مثل عطسة) أن يحدث فرقاً هائلاً في الوقت، مما يجعل من المستحيل معرفة ما إذا كان العداء أسرع حقاً. قام الباحثون ببناء مجموعة جديدة من الاختبارات تسمى DMC-Optim. هذه الاختبارات تشبه الماراثونات؛ فهي تستخدم مدخلات ضخمة ومشكلات معقدة تستغرق ثوانٍ أو حتى دقائق للتشغيل. في الماراثون، لا تهم العطسة؛ يمكنك بوضوح رؤية من يركض أسرع. لقد أنشأوا 2,723 مشكلة منقحة وأضافوا 352,740 "اختبار تحسين" جديداً مصمماً خصيصاً ليكون بطيئاً، بحيث يمكن للذكاء الاصطناعي أن يشعر فعلياً بالفرق بين الحل الجيد والحل الممتاز.

2. المكافأة: بوابة المراحل الثلاث
بدلاً من مجرد قول "الأسرع هو الأفضل"، صمم الباحثون نظام مكافأة ذكياً يعمل مثل بوابة ثلاثية المراحل:

المرحلة 1 (الصحة/الدقة): يجب أن يعمل الكود. إذا لم يعمل، فستكون هناك عقوبة كبيرة (لا توجد نجمة ذهبية).
المرحلة 2 (التحسين): إذا عمل الكود، هل اجتاز "اختبار السرعة"؟ يتم مقارنة الذكاء الاصطناعي بلوحة صدارة تضم خبراء بشريين. إذا كان الذكاء الاصطناعي ضمن أفضل 30% من البشر، فإنه يحصل على مكافأة.
المرحلة 3 (الإشارة): المكافأة ليست مجرد رقم؛ إنها إشارة واضحة. استخدموا مكافأة "ثنائية" (مثل مفتاح الضوء: تشغيل أو إيقاف) بدلاً من مفتاح خافت (dimmer). هذا يمنع الذكاء الاصطناعي من الارتباك بسبب الاختلافات الصغيرة والمزعجة في الوقت. إذا كان الكود صحيحاً وسريعاً بما يكفي، يضيء النور. وإذا لم يكن كذلك، يظل مطفأً. هذه الإشارة البسيطة "تشغيل/إيقاف" كانت قوية بشكل مدهش.

3. التدريب: مدرب مستقر
التدريب على بيانات توقيت مليئة بالضجيج يشبه محاولة تدريب كلب بيد ترتجف. اضطر الباحثون إلى تعديل خوارزمية التدريب الخاصة بهم (المسماة GR_PO) لتكون أكثر استقراراً. لقد زادوا عدد المحاولات التي يقوم بها الذكاء الاصطناعي لكل مشكلة (مثل جعل الكلب يركض المسار 16 مرة بدلاً من مرة واحدة) لمتوسط الضجيج. كما تأكدوا من أن الذكاء الاصطناعي لا يشعر بالإحباط عند الفشل، من خلال تعديل كيفية حساب "الدرجة". حافظ هذا على استقرار التدريب حتى عندما كانت قياسات التوقيت متذبذبة قليلاً.

النتائج: تسريع الأداء دون الانهيار

عندما وضعوا كل هذه القطع معاً، كانت النتائج مبهرة. اختبروا طريقتهم الجديدة على نماذج ذكاء اصطناعي مختلفة، بما في ذلك Qwen 2.5 (نموذج بـ 7 مليارات و32 مليار معلمة) و CWM 32B.

القفزة الكبيرة: في أصعب الاختبارات (حيث يجب أن يكون الكود ضمن أسرع 30% من البشر)، قفز أداء الذكاء الاصطناعي من 13.7% إلى 30.9% لنموذج CWM 32B. هذه زيادة نسبية قدرها 125%!
الحفاظ على الدقة: والأهم من ذلك، لم يضحِّ الذكاء الاصطناعي بالدقة من أجل السرعة. عدد المرات التي كان فيها الكود صحيحاً (حتى لو كان بطيئاً) ظل كما هو أو حتى تحسن قليلاً. تعلم الذكاء الاصطناعي أن يكون سريعاً وصحيحاً في آن واحد.
التفوق على المعيار المرجعي: عند مقارنتها بطرق التدريب القياسية، فاز النماذج المدربة على التحسين في 83% من حالات المقارنة المباشرة في السرعة على معيار آخر يسمى LiveCodeBench.

ماذا تعلم الذكاء الاصطناعي فعلياً؟

لم يكتفِ الباحثون بالنظر إلى الدرجات فحسب؛ بل نظروا إلى الكود نفسه لمعرفة الحيل التي تعلمها الذكاء الاصطناعي. استخدموا ذكاءً اصطناعياً آخر ("حكماً") لمقارنة الكود الجديد بالكود القديم وبالحلول البشرية.

حيلة "الإدخال/الإخراج" (I/O): كان التحسين الأكثر شيوعاً هو تحسين الإدخال/الإخراج. تعلم الذكاء الاصطناعي قراءة وكتابة البيانات بكفاءة أكبر، مثل طاهٍ يتوقف عن إضاعة الوقت في فتح وإغلاق باب الثلاجة. شكل هذا 47% من الانتصارات.
اختصار "الرياضيات": في 6% من الحالات، وجد الذكاء الاصطناعي اختصاراً رياضياً، مدركاً أنه ليس بحاجة للقيام بكل تلك الحسابات.
تغيير "الخوارزمية": في 13% من الحالات، قام الذكاء الاصطناعي بتغيير الطريقة الأساسية لحل المشكلة (مثل الانتقال من طريقة بطيئة تعتمد على التجربة الشاملة إلى طريقة ذكية وفعالة). هذا هو "الهدف الأسمى" للتحسين.
هزيمة البشر: بينما لا يزال البشر عموماً يجدون تحسينات أكثر تعقيداً (فاز البشر في 16% من حالات تحسين التعقيد مقابل 7% للذكاء الاصطناعي)، إلا أن الذكاء الاصطناعي تمكن من هزيمة أفضل الحلول البشرية في 7% من الحالات التي وجد فيها تحسيناً في التعقيد.

الحدود والمستقبل

تشير الورقة البحثية بحذر إلى أن هذا ليس عصا سحرية. لا يزال الذكاء الاصطناعي يعاني مع أصعب المشكلات، ولا يزال البشر أفضل في إيجاد التغييرات الخوارزمية الأكثر تعقيداً (فاز البشر في 22% من تحسينات التعقيد مقابل 13% للذكاء الاصطناعي). كما أن الذكاء الاصطناعي أحياناً يتعلم تجريد أجزاء ضرورية من الكود لمجرد جعله أسرع، مما قد لا يكون آمناً للبرمجيات في العالم الحقيقي.

ومع ذلك، تشير الورقة إلى أن هذه خطوة كبيرة للأمام. من خلال بناء "مطبخ" أفضل (الاختبارات وصندوق الرمل) وتقديم تعليمات أوضح (نظام المكافأة)، أثبتوا أن الذكاء الاصطناعي يمكنه تعلم كتابة كود فعال، وليس فقط كود صحيح. هذا هو الأساس لمستقبل لا يكتب فيه الذكاء الاصطناه البرمجيات فحسب، بل يكتب برمجيات تعمل بالسرعة التي يصممها خبير بشري. يقترح الباحثون أن الخطوة التالية هي إعطاء الذكاء الاصطناعي ملاحظات أكثر تحديداً حول سبب كون الحل سريعاً، مما قد يساعده على اكتشاف المزيد من الحيل الخوارزمية المعقدة.

ملخص تقني: التعلم المعزز لتحسين الكود (Reinforcement Learning for Code Optimization)

بيان المشكلة

بينما نجح التعلم المعزز مع المكافآت القابلة للتحقق (RLVR) في تحسين صحة الكود، إلا أنه فشل في تحسين كفاءة الكود (سرعة التنفيذ) بشكل موثوق. يتعامل نظام RLVR القياسي مع التنفيذ كمُتحقق ثنائي: حيث يتم مكافأة الحل إذا اجتاز اختبارات الصحة. وتؤدي عملية توسيع هذا المفهوم ليشمل التحسين عبر إضافة وقت التنفيذ ببساطة إلى إشارة المكافأة إلى الفشل في الممارسة العملية بسبب ضجيج القياس، وندرة المكافأة، وعدم استقرار التدريب.

تعاني المعايسات (Benchmarks) والنهج التدريبية الحالية من ثلاث مشكلات رئيسية:

ضجيج القياس: في مجموعات بيانات البرمجة التنافسية القياسية (مثل DeepMind Code Contests و LiveCodeBench)، تكون مدخلات الاختبار صغيرة، وغالباً ما يكون أوقات التنفيذ في نطاق عشرات الملي ثانية. تهيمن التكاليف الثابتة (مثل الجدولة والتوزيع) على الإشارة، مما يجعل من المستحيل التمييز بين الحلول الصحيحة بناءً على السرعة.
ندرة المكافأة وعدم الاستقرار: تؤدي مكافآت التوقيت الساذجة (مثل مكافأة متوسط وقت التشغيل الأقل) غالباً إلى إنتاج كود "سريع ولكن خاطئ"، أو تفشل في توفير إشارة كثيفة بما يكفي لتقارب تحسين السياسة القائم على التدرج (GRPO)، خاصة عندما يواجه النموذج صعوبة في إيجاد أي حل صحيح.
المقايضة بين الصحة والكفاءة: غالباً ما تؤدي المحاولات السابقة إلى تدهور درجات الصحة الصرفة عند التحسين من أجل السرعة، مما يفشل في إيجية حلول تكون صحيحة وفعالة في آن واحد.

تجادل الورقة بأن جعل وقت التنفيذ إشارة قابلة للتعلم يتطلب إعادة تصميم المسار بأكمله — من توليد الاختبارات إلى تكوين المكافأة واستقرار المُحسن (Optimizer).

المنهجية

يقترح المؤلفون إطار عمل مكون من ثلاث مراحل لجعل وقت التنفيذ قابلاً للتعلم: (1) البيانات والقياس، (2) تصميم البيئة والمكافأة، و (3) التدريب المستقر.

1. البيانات والقياس: DMC-Optim والتنفيذ المعاير

للتغلب على ضجيج القياس، أنشأ المؤلفون DMC-Optim، وهي مجموعة بيانات جديدة مشتقة من DeepMind Code Contts (DMC).

بناء الاختبارات: قاموا بفصل اختبارات الصحة عن اختبارات التحسين. تستخدم اختبارات التحسين مدخلات كبيرة (تم توليدها عبر النماذج اللغوية الكبيرة LLMs) لضمان أن تكون أوقات التنفيذ في نطاق الثواني (متوسط ~3 ثوانٍ)، مما يجعلها قوية ضد ضجيج الملي ثانية.
قابلية التصفية حسب المدة: قاموا بتصفية المشكلات للاحتفاظ فقط بتلك التي تظهر فيها الحلول المرجعية البشرية معامل تباين (CV ≥ 0.3) قوياً في وقت التنفيذ، مما يضمن أن الاختلافات في السرعة قابلة للقياس والترتيب.
البيئة الرملية المعايرة (CES): للقضاء على ضجيج التنازع في جانب العامل (worker-side contention)، يستخدمون خدمة تنفيذ معزولة وبعيدة (CES). كما يطبقون معايرة تآلفية (affine calibration) لتصحيح انحراف حالة الخدمة، مما يضمن إمكانية مقارنة قياسات التوقيت عبر عمليات التدريب المختلفة.

2. تصميم البيئة والمكافأة

يصنف المؤلفون قيود التحسين إلى ثلاث نقاط تدخل ويستخدمون محاكياً خارجياً (offline simulator) لفحص التكوينات الواعدة قبل التدريب عبر الإنترنت المكلف.

نقاط التدخل:
- ما قبل التنفيذ: تصفية الاختبارات بناءً على حجم المدخلات أو المدة المقدرة.
- أثناء التنفيذ: فرض حدود زمنية أثناء تنفيذ الاختبار.
- ما بعد التنفيذ: ترتيب الحلول مقابل المراجع البشرية بعد التنفيذ.
تكوين المكافأة: استكشف المؤلفون صياغات مختلفة للمكافأة، ووجدوا أن المكافآت الثنائية المنهارة (أو مكافآت البوابة المزدوجة) هي الأفضل عملياً. تكون المكافأة $-1$ للكود الخاطئ، وبالنسبة للكود الصحيح، يتم تحديدها بناءً على ما إذا كان الحل يلبي نسبة مئوية محددة من السرعة (على سبيل المثال، أفضل 30% من الحلول البشرية). هذا يتجنب مكافأة الكود "السريع والخاطئ" ويمنع "اختراق المكافأة" (reward hacking) الذي يُلاحظ في المزج الجمعي.
المحاكي الخارجي: قبل التدريب عبر الإنترنت، يقومون بمحاكاة بيئة RL باستخدام حلول بشرية مأخوذة عينة وتوقيتات محسوبة مسبقاً. يستخدمون مقايلات مثل AUC (المساحة تحت المنحنى لمعدل النجاح مقابل جودة الحل) و الحدة (Steepness) لتحديد البيئات التي توفر إشارة كثيفة وأحادية الاتجاه دون أن تكون شديدة الندرة أو التشبع.

3. التدريب المستقر باستخدام GRPO

للتعامل مع المكافآت الأكثر ندرة وضجيجاً في RL الخاص بالتحسين، قام المؤلفون بتكييف خوارزمية GRPO (تحسين السياسة النسبي للمجموعات):

زيادة عدد التجارب (Rollouts): قاموا بزيادة عدد التجارب لكل مطالبة ( $G$ ) لتقليل مجموعات الميزة الصفرية وتحسين تقديرات مونت كارلو.
حجم الدفعة (Batch Size): تُستخدم دفعات تدريب أكبر لتنعيم ضجيج التوقيت في تقديرات التدرج.
تطبيع الميزة (Advantage Normalization): يقومون بتوسيط العوائد ولكن يتجنبون القسمة على الانحراف المعياري للمجموعة لمنع تحيز الصعوبة (المبالغة في وزن المطالبات التي يفشل فيها النموذج في إيجاد حيل التحسين).
الأساس الموزون بالرموز (Token-Weighted Baseline): يستخدمون متوسطاً موزوناً بالرموز لأساس الميزة ويقومون بتطبيع الخسارة باستخدام أفق رموز ثابت ( $N=32,768$ ) بدلاً من طول التجربة، مما يمنع المسارات الطويلة غير الصحيحة من الحصول على عقوبة أقل من اللازم.

المساهمات الرئيسية

مجموعة بيانات DMC-Optim وحزمة التوقيت: مستودع منقى يضم 2,723 مشكلة مع 430 ألف اختبار صحة و352 ألف اختبار تحسين، مصمم خصيصاً لفصل الصحة عن السرعة وتوفير إشارات توقيت قابلة للقياس.
تصنيف وتصفية RL للتحسين: تصنيف منهجي لقيود التحسين (ما قبل، أثناء، وما بعد التنفيذ) ومحاكي خارجي لتنقية البيئات الرديئة قبل التدريب عبر الإنترنت.
وصفة تدريب مستقرة لـ RL للتحسين: وصفة تدريب تم التحقق منها باستخدام GRPO مع تعديلات محددة (زيادة التجارب، أحجام الدفعات، وبوابات المكافأة) تنجح في تدريب النماذج على توليد كود صحيح وفعال في آن واحد.

النتائج

تم تقييم الطريقة على نماذج Qwen 2.5 (7B/32B) و CWM 32B على مجموعة اختبار DMC-Optim وعلى مجموعة LiveCodeBench (LCB) خارج نطاق التوزيع.

مكاسب التحسين الصارمة: على DMC-Optim، حقق أفضل تكوين (الترتيب بعد التنفيذ عند أفضل 30%) تحسناً كبيراً في pass@1 عند عتبة p30 الصارمة (صحيح وأسرع من 70% من البشر):
- Qwen 2.5 7B: من 7.7% إلى 19.1% (تحسن نسبي بنسبة 150%).
- CWM 32B: من 13.7% إلى 30.9% (تحسن نسبي بنسبة 125%).
- Qwen 2.5 32B: من 9.4% إلى 24.2%.
الحفاظ على الصحة: تم تحقيق هذه المكاسب مع الحفاظ على درجات الصحة الصرفة أو تحسينها قليلاً (p100 pass@1)، على عكس مكافآت التوقيت الساذجة التي غالباً ما تسببت في تدهور الصحة.
الأداء خارج نطاق التوزيع: في LiveCodeBench، أظهرت النماذج المدربة على التحسين معدلات فوز عالية في السرعة ضد نماذج RLVR القياسية. على سبيل المثال، فاز CWM 32B بنسبة 83% في مقارنات سرعة العينات الوسيطة ضد النموذج الأساسي القياسي.
الاكتشاف الخوارزمي: كشف تحليل أزواج الفوز في السرعة أن النماذج لم تتعلم فقط تحسينات الإدخال/الإخراج وتعديلات الثوابت، بل تعلمت أيضاً تحسينات خوارزمية (مثل التغيير من $O(N^2)$ إلى $O(N)$ ، أو إيجاد اختصارات رياضية مغلقة). في 13% من الحالات التي تفوق فيها RL للتحسين على RLVR القياسي، كان التحسين عبارة عن تقليل في التعقيد.

الأهمية والادعاءات

تدعي الورقة أن تحسين الكود هو مشكلة قابلة للحل باستخدام RL، بشرط أن تكون إشارة القياس موثوقة وهيكل المكافأة مصمماً بعناية.

سد الفجوة: يوضح العمل أن الفجوة بين كتابة كود صحيح وكتابة كود فعال، الملحوظة في كل من البرمجة التنافسية وهندسة البرمجيات في العالم الحقيقي (SWE-fficiency)، يمكن تقليصها من خلال RL.
جدوى التحسين بضربة واحدة (One-Shot): على عكس العمل السابق الذي يعتمد على الصقل المتكرر أو البحث في وقت الاستدلال، تظهر هذه الورقة أن النموذج يمكنه تعلم توليد كود مُحسّن في إعداد الضربة الواحدة (التوليد من الصفر دون تغذية راجعة للتنفيذ أثناء التوليد).
الطريق نحو اكتشاف الخوارزميات: تشير النتائج إلى أن RL يمكن أن يدفع نحو اكتشاف تحسينات خوارزمية غير بديهية، وليس فقط تعديلات التنفيذ، مما يقرب النماذج من الكفاءة الخوارزمية بمستوى البشر (رغم أن البشر لا يزالون يتفوقون على النماذج في إيجاد التغييرات الخوارزمية المعقدة).
القابلية للتوسع: تنتقل المكاسب عبر أحجام النماذج (من 7B إلى 32B) وإلى معايير خارج نطاق التوزيع، مما يشير إلى أن النهج قوي وغير مفرط في التخصيص (overfitted) لبيانات التدريب.

يخلص المؤلفون إلى أنه بينما لا تزال النماذج الحالية تتخلف عن أفضل المساهمات البشرية في إيجاد التغييرات الخوارزيمية المعقدة، فإن الإطار المقترح يوفر أساساً للعمل المستقبلي في اكتشاف الخوارزميات وتحسين البرمجيات في العالم الحقيقي.