💬 NLP

AutoVecCoder: Teaching LLMs to Generate Explicitly Vectorized Code

تقدم هذه الورقة AutoVecCoder، وهو إطار عمل مبتكر يجمع بين مسار لتوليد البيانات (VecPrompt) ومنهجية للتعلم التعزيزي (VecRL) لتمكين النماذج اللغوية الكبيرة من توليد كود برمجي متجه بشكل صريح وعالي الأداء يتفوق على تحسينات المترجمات التقليدية.

المؤلفون الأصليون: Shangzhan Li, Xinyu Yin, Xuanyu Jin, Ye He, Yuxin Zhou, Yuxuan Li, Xu Han, Wanxiang Che, Qi Shi, Ting Liu, Maosong Sun

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shangzhan Li, Xinyu Yin, Xuanyu Jin, Ye He, Yuxin Zhou, Yuxuan Li, Xu Han, Wanxiang Che, Qi Shi, Ting Liu, Maosong Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مصنعاً ضخماً (معالج كمبيوتر) مع خط تجميع فائق الكفاءة مصمم لبناء 8 سيارات في نفس الوقت تماماً. يُسمى هذا SIMD (تعليمات واحدة، بيانات متعددة). ولتحقيق أقصى استفادة من هذا المصنع، تحتاج إلى إعطاء العمال تعليمات تخبرهم ببناء جميع السيارات الثمانية في وقت واحد.

ومع ذلك، هناك مشكلة:

المدير (المترجم/Compiler): برنامج "المدير" القياسي الذي يكتب عادةً تعليمات المصنع يكون حذراً جداً. غالباً ما يرى مهمة معقدة ويقول: "أنا لست متأكداً بنسبة 100% أن هذا يمكن تنفيذه بـ 8 سيارات في المرة الواحدة، لذا سأقوم بتنفيذها سيارة واحدة تلو الأخرى لضمان السلامة". وهذا يهدر إمكانات المصنع.
الخبير البشري: يمكن لمبرمج بشري أن يكتب تلك التعليمات المثالية لـ "8 في المرة الواحدة" باستخدام لغة خاصة وصعبة تسمى intrinsics. ولكن هذا يشبه مطالبة إنسان بكتابة دليل تشغيل لمركبة فضائية يدوياً—فهو أمر صعب للغاية، وعرضة للأخطاء، ويستغك وقتاً طويلاً.
الذكاء الاصطناعي (LLM): حاولنا تعليم ذكاء اصطناعي ذكي كتابة هذه التعليمات. لكن الذكاء الاصطناعي كان مثل طالب قرأ الكثير من الكتب ولكنه لم يعمل أبداً في المصنع. كان يكتب تعليمات تبدو صحيحة ولكنها لا تعمل، أو كانت بطيئة جداً بحيث لا تكون مفيدة.

إليك AUTOVECCODER:
تقدم هذه الورقة نظام تدريب جديد لنظام ذكاء اصطناعي (تحديداً نموذج بـ 8 مليارات معلمة/parameter) مصمم ليصبح "رئيس عمال" بارعاً للمصنع. إنه يعلم الذكاء الاصطناعي كيفية كتابة تلك التعليمات المثالية لـ "8 في المرة الواحدة" تلقائياً.

لقد فعلوا ذلك باستخدام أداتين رئيسيتين:

1. "حقن المعرفة" (VECPROMPT)

قبل أن يتمكن الذكاء الاصطناعي من تعلم التحسين، كان عليه تعلم قواعد المصنع.

المشكلة: لم يكن الذكاء الاصطناعي يعرف القواعد المحددة والنادرة لآلات المصنع (تعليمات الأجهزة/hardware instructions).
الحل: بنى الباحثون نظاماً يعمل كـ أمين مكتبة فائق. عندما يُطلب من الذكال الاصطناعي كتابة كود، يقوم النظام فوراً باستدعاء الكتيبات الرسمية (التوثيق/documentation) لأجزاء الآلة المحددة المطلية.
النتيجة: يتدرب الذكاء الاصطناعي على كتابة الكود أثناء النظر في الكتيبات الصحيحة. يقوم بإنشاء آلاف مسائل التدريب، ويتحقق مما إذا كان الكود يعمل فعلياً (compiles)، ويستبعد البرامج السيئة. هذا يخلق "كتاباً مدرسياً" عالي الجودة ليدرس منه الذكاء الاصطناعي.

2. "مدرب السرعة" (VECRL)

بمجرد أن تعلم الذكاء الاصطناعي القواعد، كان عليه أن يتعلم كيف يكون سريعاً.

المشكلة: مجرد كتابة كود يعمل ليس كافياً؛ يجب أن يكون أسرع من برنامج "المدير" الحذر.
الحل: وضعوا الذكاء الاصطناعي في صالة ألعاب رياضية افتراضية (sandbox). في كل مرة يكتب فيها الذكاء الاصطناعي قطعة من الكود، يقوم النظام بتشغيلها فعلياً على وحدة معالجة مركزية (CPU) حقيقية ليرى مدى سرعتها.
- إذا تعطل الكود أو أعطى نتيجة خاطئة، يحصل الذكاء الاصطناعي على درجة "صفر".
- إذا عمل الكود، يحصل الذكاء الاصطناعي على درجة أساسية.
- إذا كان الكود أسرع من الأصل، يحصل الذكاء الاصطناي على مكافأة.
السحر: يجرب الذكاء الاصطناعي آلاف التغييرات. يتعلم أن "مهلاً، إذا غيرت هذا الشيء الصغير، فسيتم بناء السيارات أسرع بمرتين!". إنه يتعلم من خلال التجربة والخطأ، بتوجيه من مدرب السرعة، ليجد طرقاً مختصرة لم يفكر فيها برنامج "المدير" الحذر أبداً.

النتائج

تزعم الورقة أن هذا الذكاء الاصطناعي الجديد، AUTOVECCODER-8B، هو نجم خارق:

هزيمة العمالقة: على الرغم من أنه نموذج صغير نسبياً (8 مليارات معلمة)، إلا أنه تفوق على نماذج ذكاء اصطناعي ضخمة ومشهورة (مثل GPT-5، وClaude، وGemini) في هذه المهمة المحددة.
هزيمة المدير: في كثير من الحالات، كان الكود الذي كتبه أسرع من الكود الذي ينتجه برنامج "المدير" القياسي (مستوى تحسين المترجم -O3).
الموثوقية: على عكس النماذج الأخرى التي قد تكتب كوداً سريعاً ولكنه يتسبب في تعطل النظام، يكتب هذا الذكاء الاصطناعي كوداً سريعاً وصحيحاً في آن واحد.

لماذا هذا مهم (وفقاً للورقة)

تجادل الورقة بأنه بالنسبة للمهام المحددة وعالية الأداء (مثل التعلم العميق أو الرياضيات العلمية)، فأنت لا تحتاج فقط إلى ذكاء اصطناعي "ذكي"؛ بل تحتاج إلى ذكاء اصطناعي تم تدريبه بـ معرفة محددة و تغذية راجعة حقيقية حول السرعة.

لقد وجدوا أن الذكاء الاصطناعي تعلم القيام بأشياء لا يستطيع البرنامج القياسي القيام بها، مثل:

التعامل مع الحلقات (loops) المعقدة حيث يتغير عدد العناصر ديناميكياً.
إعادة تنظيم كيفية جلب البيانات من الذاكرة للحفاظ على استمرارية حركة خط التجميع.
استخدام "الأقنعة" (masks) لتجاوز البيانات السيئة دون إيقاف الخط بأك its كله.

باخت-القول، لقد علموا الذكاء الاصطناعي التوقف عن التخمين والبدء في كتابة التعليمات المثالية وعالية السرعة لشرائح الكمبيوتر، متفوقين بذلك على كل من البرامج القياسية الحذرة ونماذج الذكاء الاصطناعي الضخمة العامة في هذه الوظيفة المحددة.

ملخص تقني: AUTOVECCODER

بيان المشكلة

تعد عملية التوجيه الشعاعي (Vectorization) عبر بنيات تعليمات "أحادية التعليمة، متعددة البيانات" (SIMD) حجر الزاوية في الحوسبة عالية الأداء، حيث تتيح مكاسب كبيرة في الأداء من خلال معالجة عناصر بيانات متعددة في آن واحد. ومع ذلك، يظل توليد كود موجّه شعاعياً بكفاءة تحدياً هائلاً. تواجه ممارسات التطوير الحالية ثنائية:

التوجيه الشعاعي الضمني (Implicit Vectorization): يعتمد على التوجيه الشعاعي التلقائي للمترجم (Compiler). ورغم كونه مؤتمتاً، إلا أنه مقيد بالتحليل الساكن المتحفظ، مما يؤدي إلى تسلسلات تعليمات غير مثالية، لا سيما في الحلقات المعقدة ذات التبعيات في البيانات.
التوجيه الشعاعي الصريح (Explicit Vectorization): يسمح للمطورين بالتحكم المباشر في الأجهزة باستخدام التعليمات البرمجية المضمنة (Intrinsics) الخاصة ببنية مجموعة التعليمات (ISA). وبينما يضمن هذا الأداء العالي، فإنه يفرض منحنى تعلم حاداً، وعمليات برمجة مضنية، وقدرة محدودة على النقل بين المنصات.

أظهرت النماذج اللغوية الكبيرة (LLMs) براعة في توليد الكود العام، لكنها تعاني في التوجيه الشعاعي الصريح بسبب ندرة المجموعات النصية عالية الجودة والقيود الدلالية الصارمة لتعليمات الأجهزة منخفضة المستوى. وغالباً ما تفشل المحاولات الحالية لأتمتة هذه العملية في توليد كود صحيح دلالياً ومحسن خصيصاً لمجموعات تعليمات محددة، حيث تفتقر غالباً إلى نظام تدريب منهجي لغرس دلالات SIMD المتخصصة.

المنهجية

تقترح الورقة البحثية AUTOVECCODER، وهو إطار تدريب مبتكر مصمم لتمكين النماذج اللغوية الكبيرة من القدرة على التوجيه الشعاعي الصريح المؤتمت. يتكون الإطار من مكونين أساسيين:

1. VECPROMPT: تخليق البيانات المعزز بالمعرفة

لمعالجة ندرة بيانات التدريب عالية الجودة، طور المؤلفون خط إنتاج مؤتمتاً لتخليق البيانات.

بناء البرامج البذرية (Seed Program Construction): تم بناء مجموعة متنوعة من الدوال بلغة C/C++ القياسية باستخدام استراتيجية المصدر المزدوج:
- المخططات الاصطناعية (Synthetic Schemata): متطلبات توجيه شعاعي رسمية (نوع العامل، نوع البيانات، الأبعاد) مدمجة مع تدفقات تحكم معقدة (مثل الفروع الشرطية) التي عادة ما تهزم التوجيه الشعاعي التلقائي للمترجم.
- الجمع من الواقع (Real-world Collection): قصاصات برمجية بلغة C/C++ تم حصادها من اختبارات مرجعية مثل MBPP وXLCoST، وتم تطبيعها لضمان التوافق الهندسي.
التقطير عبر التوليد المعزز بالاسترجاع (Distillation via RAG): تقوم آلية التوليد المعزز بالاسترجاع (RAG) بحقن المعرفة المتخصصة في المجال. حيث يتم بناء قاعدة معرفة متخصصة ( $K$ ) من وثائق التعليمات المضمنة الرسمية. لكل دالة قياسية، يقوم النظام باسترجاع أفضل- $k$ من تعريفات التعليمات المضمنة ذات الصلة لتعمل كـ "سياق"، مما يوجه النموذج لتوليد كود موجه شعاعياً مع خطوات استدلال وسيطة. نهج "المعرفة في الحلقة" (knowledge-in-the-loop) هذا يقلل من الهلوسة المتعلقة بقيود بنية مجموعة التعليمات (ISA).
ضبط الجودة القائم على التنفيذ: تخضع المرشحات المولدة لعمليات تصفية صارمة للتأكد من قابليتها للترجمة، والتكافؤ الوظيفي (مطابقة مخرجات الكود القياسي)، وقيود التعقيد. تُستخدم مجموعة البيانات عالية الدقة الناتجة في عملية الضبط الدقيق الخاضع للإشراف (SFT).

2. VECRL: التعلم التعزيزي المدفوع بالأداء

لسد الفجوة بين الكود الصحيح نحوياً والكود الأمثل حوسبياً، يستخدم الإطار مرحلة تعلم تعزيزي.

تشكيل المكافأة المقيد بالصحة (Correctness-Constrained Reward Shaping): صمم المؤلفون دالة مكافأة هرمية للتعامل مع التوزيع ذي الذيول الثقيلة لردود فعل الأداء. يتم تعريف إجمالي المكافأة ( $R_{total}$ ) كالتالي:
$R_{total} = I(\text{correct}) \cdot (\beta_{base} + \beta_{perf} \cdot \tanh(\alpha \cdot \Delta))$
حيث يضمن $I(\text{correct})$ أن الكود غير الصحيح وظيفياً يحصل على مكافأة صفرية، ويوفر $\beta_{base}$ حافزاً أساسياً للتنفيذات الصحيحة، بينما تعمل $\tanh$ الموزونة على مكافأة التحسين النسبي ( $\Delta$ ) ضمن نطاق محدد لمنع القيم المتطرفة من السيطرة على التحديثات.
التحسين باستخدام GRPO: يتم صقل النموذج باستخدام تحسين السياسة النسبي للمجموعات (GRPO). لكل دالة قياسية، يتم توليد مجموعة من المرشحات الموجهة شعاعياً. يتم حساب الميزة (advantage) لكل مرشح عن طريق تطبيع مكافأته مقابل إحصاءات المجموعة، مما يسمح للنموذج بالتحسين نحو "كود أعلى أداءً" مع الحفاظ على استقرار التدريب عبر عقوبة تباعد KL.

المساهمات الرئيسية

VECPROMPT: خط إنتاج مؤتمت لتخليق البيانات يستخدم RAG لحقن معرفة التعليمات المضمنة لـ SIMD، مما يبني بيانات تدريب عالية الجودة للبرمجة الموجهة شعاعياً.
VECRL: خوارزمية تعلم تعزيزي قائمة على GRPO تتميز بآلية مكافأة مشتركة مصممة خصيصاً لتحسين كل من صحة الكود وأداء التنفيذ.
AUTOVECCODER-8B: نموذج بـ 8 مليارات معلمة تم تدريبه باستخدام هذا الإطار، والذي يحقق أداءً هو الأفضل في مجاله (SOTA) على مجموعات SSE وAVX في اختبار SimdBench. ومن الجدير بالذكر أنه في سيناريوهات محددة، يولد كوداً موجهاً شعاعياً صريحاً يتفوق على تحسينات المترجم القياسية -O3.

النتائج التجريبية

قيم المؤلفون AUTOVECCODER-8B على مجموعة SimdBench (مجموعات SSE وAVX الفرعية) مقابل مجموعة واسعة من النماذج اللغوية الكبيرة المتقدمة مفتوحة ومغلقة المصدر (بما في ذلك DeepSeek-R1 وGemini-2.5-Pro وGPT-5) في إعداد "صفر محاولات" (zero-shot) صارم.

التفوق في الصحة والأداء: حقق AUTOVECCODER-8B أعلى درجة من الصحة الوظيفية، وأعلى نسبة من العينات الصحيحة ذات التسريع > 1 (fast1)، وأعلى متوسط تسريع (P50) على كلا مجموعات التعليمات. لقد تفوق بشكل كبير على النماذج الأكبر حجماً (مثل DeepSeek-R1 وGPT-5) في مقياس fast1.
التحسين التآزري: على عكس بعض النماذج الأكبر التي حققت تسريعات ذروة (P75) أعلى على حساب انخفاض الصحة، قام AUTOVECCODER-8B باستمرار بتوليد كود يتسم بالموثوقية والسرعة مقارنة بتحسينات المترجم الافتراضية -O3.
ديناميكيات التدريب: كشف تحليل مرحلة VECRL عن تطور ثنائي المراحل: مرحلة أولية ركزت على "التأسيس الوظيفي" (زيادة سريعة في الصحة) تلتها مرحلة "تحسين الأداء" حيث انتقل النموذج إلى التحسين من أجل الكفاءة ضمن مساحة الحلول الصالحة.
دراسات الاستئصال (Ablation Studies):
- VECPROMPT: أظهرت أن مرحلة SFT توفر تهيئة حاسمة، مما يزيد بشكل كبير من كثافة المكافأة ويقيد مساحة البحث في فضاءات فرعية معقولة دلالياً، مما يسرع تقارب التعلم التعزيزي.
- تصميم المكافأة: تفوقت المكافأة الهرمية المقترحة على مكافأة "التسريع فقط" (NSR) البسيطة. أدى نهج NSR إلى استغلال "البداية الباردة"، حيث حقق النموذج مكاسب أداء عابرة عبر أنماط هشة ومتخصدة للغاية، تبعها انخفاض في الصحة والاستقرار.

الأهمية والادعاءات

تدعي الورقة أن AUTOVECCODER يتغلب بفعالية على الاختناقات المتأصلة في التوجيه الشعاعي التلقائي التقليدي والقيود التي تفرضها النماذج اللغوية الكبيرة الحالية في برمجة الأجهزة منخفضة المستوى. من خلال دمج التقطير المعزز بالمعرفة مع التعلم التعزيزي المدفوع بالأداء، يجسد الإطار الفجوة بين دلالات الكود عالي المستوى وكفاءة الأجهزة منخفضة المستوى.

يؤكد المؤلفون أنه بالنسبة لمهام التوجيه الشعاعي الصريح منخفضة المستوى، فإن أهداف التدريب المدركة للأداء والتغذية الراجعة القائمة على التنفيذ في الحلقة هي عوامل أكثر حسماً من حجم المعلمات الخام. يثبت العمل أن نموذج متخصص بـ 8 مليارات معلمة يمكنه تحقيق — بل وتجاوز — الكفاءة النوعية للنماذج الضخمة العامة، مما يوفر مساراً قابلاً للتطبيق للاستفادة من النماذج اللغوية الكبيرة في مجالات الحوسبة عالية الأداء المتخصصة، ويثبت أن خطوط أنابيب البيانات المستهدفة والتعلم التعززي يمكن أن تولد كوداً يتجاوز قواعد المترجم التقليدية.