💬 NLP

Regression Language Models for Code

تقدم هذه الورقة نموذج لغة انحدار (RLM) موحداً وخفيف الوزن يستفيد من مشفر نموذج لغة كبير (LLM) مجمد للتنبؤ بدقة بمقاييس تنفيذ الكود المتنوعة — بما في ذلك بصمة الذاكرة، وزمن الاستجابة، والدقة — عبر لغات برمجة متعددة ومنصات أجهزة مختلفة، متفوقاً بذلك على النهج السابقة القائمة على هندسة الميزات والرسوم البيانية دون الحاجة إلى تخصيص خاص لكل مهمة.

المؤلفون الأصليون: Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من البرامج الحاسوبية المكتوبة بعشرات اللغات المختلفة (مثل بايثون، أو C++، أو حتى لغات متخصصة لبطاقات الرسوميات). عادةً، إذا أردت معرفة مقدار الذاكرة التي سيستهلكها برنامج ما، أو كم سيستغرق من الوقت للتشغيل، أو مدى دقة شبكة عصبية ما، فعليك في الواقع تشغيل البرنامج على جهاز كمبيوتر لمعرفة ذلك. وهذا أمر بطيء، ومكلف، وأحياناً مستحيل إذا لم تكن قد صنعت الأجهزة (Hardware) بعد.

لفترة طويلة، حاول الخبراء بناء "كرات بلورية" خاصة للتنبؤ بهذه الأرقام دون تشغيل الكود. لكن هذه الكرات البلورية كانت مثل أدوات مصممة خصيصاً: فإذا أردت التنبؤ بالذاكرة للغة بايثون، كنت بحاجة لأداة واحدة؛ وإذا أردت التنبؤ بالسرعة لبطاقة رسوميات، كنت بحاجة لأداة مختلفة تماماً. كانت هذه الأدوات تتطلب من البشر البحث يدوياً في الكود، وعدّ أوامر محددة، وتحويل الكود إلى مخططات ورسوم بيانية معقدة فقط لتغذية الآلة الحاسبة بها. وإذا تغير الكود قليلاً، فإن الأداة غالباً ما تتعطل.

"المترجم العالمي" الجديد للكود

تقدم هذه الورقة البحثية نوعاً جديداً من الذكاء الاصطناعي يسمى نموذج لغة الانحدار (Regression Language Model - RLM). فكر في هذا ليس كآلة حاسبة، بل كـ مترجم فائق يتحدث لغتين: "كود الكمبيوتر" و"الأرقام".

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "الدماغ المتجمد" و"الكاتب المبدع"

تم بناء النموذج كفريق مكون من جزأين:

الدماغ المتجمد (المُشفّر - Encoder): هذا الجزء عبور عن ذكاء اصطناعي مُدرب مسبقاً (يعتمد على نموذج يسمى T5Gemma) قد قرأ بالفعل ملايين الكتب والأسطر البرمجية. إنه يفهم بنية الجمل والكود بشكل مثالي. لقد قام الباحثون بـ "تجميد" هذا الجزء، مما يعني أنهم لم يعلموه أي شيء جديد؛ فهو يعمل فقط كقارئ ذكي يفهم ما يقوله الكود.
الكاتب المبدع (المُفكك - Decoder): هذا هو الجزء الذي قاموا بتدريبه بالفعل. وبدلاً من كتابة قصة، فإن مهمة هذا الكاتب هي النظر إلى الكود الذي قرأه "الدماغ" وكتابة رقم ككلمة تالية في الجملة.

التشبيه: تخيل أنك تقرأ وصفة طعام (الكود). الذكاء الاصطناعي العادي قد يحاول تخمين قائمة المكونات. أما هذا الذكاء الاصطناعي الجديد، فينظر إلى الوصفة ويقول: "بناءً على هذا النص، الكلمة التالية هي '500' (سعرة حرارية)". إنه يعامل التنبؤ برقم (مثل استهلاك الذاكرة أو السرعة) تماماً مثل إكمال جملة.

2. أداة واحدة لكل شيء

الاختراق الأكبر هو أن هذا "المترجم العالمي" الوحيد يمكنه التعامل مع كل شيء في وقت واحد.

يمكنه قراءة كود بايثون (Python) وتخمين مقدار الذاكرة التي يستخدمها.
يمكنه قراءة كود C++ وتخمين المدة التي سيستغرقها للتشغيل.
يمكنه قراءة تصميم شبكة عصبية (مكتوب بتنسيق يسمى ONNX) وتخمين مدى دقتها أو سرعتها على شريحة معينة.

في السابق، كنت تحتاج إلى "خبير" مختلف لكل مهمة من هذه المهام. هذا النموذج يشبه السكين السويسري الذي يمكنه التحول بين كونه خبيراً في الذاكرة، وخبيراً في السرعة، وخبيراً في الدقة بمجرد النظر إلى النص.

3. كيف "يعدّ" دون رياضيات

إحدى الحيل الذكية هي كيفية إخراج النموذج للأرقام. بدلاً من محاولة إجراء عمليات حسابية معقدة لإخراج الرقم "72.5"، فإنه يفكك الرقم إلى قطع صغيرة، مثل القفل الرقمي.

هو لا يقول "72.5".
بل يقول: "علامة زائد... 7... 2... علامة عشرية... 5".
التشبيه: تخيل أنك تعلم طفلاً العدّ. بدلاً من سؤاله عن حل "50 + 25"، تطلب منه كتابة الإجابة رقماً تلو الآخر: "5... 0... زائد... 2... 5... يساوي... 7... 2... 5". هذا يجعل من الأسهل بكثير على الذكاء الاصطناعي التعامل مع الأرقام الضخمة (مثل ملايين البايتات) أو الأرقام الصغيرة جداً دون ارتباك.

4. لماذا هو أفضل من الطريقة القديمة؟

لا عمل يدوي: الطرق القديمة تطلبت من البشر تصميم ميزات يدوياً (مثل "عدّ عدد الحلقات التكرارية"). هذا النموذج يقرأ النص الخام مباشرة، تماماً كما يقرأ الإنسان كتاباً.
قدرة أفضل على التصنيف: تُظهر الورقة البحثية أنه إذا أعطيت هذا النموذج 10 نسخ مختلفة من نفس الكود، فإنه بارع جداً في ترتيبها من "الأسرع" إلى "الأبطأ" أو من "الأقل ذاكرة" إلى "الأكبر ذاكرة". إنه يشبه حكماً يمكنه النظر إلى 10 عداءين ومعرفة من سيفوز فوراً، حتى بدون ساعة توقيت.
التكلفة: وجد الباحثون أن استخدام هذا النموذج أرخص بكثير من استخدام نماذج الذكاء الاصطناعي العامة والضخمة (مثل GPT-5) لتخمين الأرقام. روبوتات الدردشة تلك تشبه استخدام مطرقة ثقيلة لكسر حبة جوز؛ فهي مكلفة وغالباً ما تكون خاطئة. هذا النموذج هو أداة متخصصة وخفيفة الوزن تنجز المهمة ببضعة سنتات.

ما الذي أثبتوه بالفعل؟

اختبرت الورقة البحثية ذلك على:

CodeNet: مجموعة بيانات ضخمة تحتوي على ملايين من مقاطع الكود بـ 37 لغة مختلفة. نجح النموذج في التنبؤ باستهلاك الذاكرة عبر جميعها.
APPS: مجموعة من تحديات البرمجة. استطاع النموذج النظر إلى حل ما والتنبؤ باستهلاكه للذاكرة بدقة عالية (أفضل من 90% ارتباطاً بالواقع).
الشبكات العصبية: تنبأ بسرعة ودقة تصميمات الذكاء الاصطناعي بشكل أفضل من الأساليب المتطورة السابقة التي استخدمت مخططات رسومية معقدة.

باخت- ملخص:
تزعم الورقة البحثية أننا لسنا بحاجة لبناء أدوات معقدة ومخصصة للتنبؤ بأداء الكود. بدلاً من ذلك، يمكننا معاملة الكود كقصة والأرقام ككلمة تالية في تلك القصة. ومن خلال تدريب ذكاء اصطناعي واحد موحد للقيام بذلك، يمكننا التنبؤ بالذاكرة، والسرعة، والدقة لأي لغة برمجة أو تصميم ذكاء اصطناعي تقريباً، بمجرد قراءة النص. إنها تحول مسألة رياضية صعبة إلى لعبة بسيطة من نوع "ماذا سيأتي بعد ذلك؟".

ملخص تقني: نماذج لغة الانحدار للأكواد البرمجية

بيان المشكلة

تتناول الورقة البحثية تحدي الانحدار من الكود إلى المقياس (code-to-metric regression): وهو التنبؤ بالنتائج الرقمية لتنفيذ الأكواد (مثل بصمة الذاكرة، أو زمن الاستجابة، أو الدقة) مباشرة من الكود المصدري أو تمثيلات المخططات الحسابية. تاريخياً، تعثرت هذه المهمة بسبب الطبيعة المفتوحة للغات البرمجة والاعتماد على هندسة الميزات (feature engineering) الثقيلة والمتخصصة في مجالات معينة. تطلبت الطرق السابقة غالباً تحويل الكود إلى تمثيلات رسومية صلبة (مثل الأشجار النحوية، أو مصفوفات التجاور) أو متجهات جدولية عبر العد اليدوي للأوامر، مما حد من القدرة على نقل هذه النماذج إلى مهام أو لغات أو أنواع نواة (kernel) جديدة. يكمن الصعوبة الجوهرية في تعلم نماذج انحدار دقيقة فوق بيانات غير جدولية للغاية وقائمة على الرسوم البيانية دون فقدان المرونة اللازمة للتعميم عبر مجالات متنوعة.

المنهجية

يقترح المؤلفون نموذج لغة الانحدار (RLM)، وهو إطار عمل موحد يعامل الانحدار من الكود إلى المقياس كمسألة تنبؤ بالرمز التالي (next-token prediction) قياسية، بما يتماشى مع نموذج النماذج اللغوية الكبيرة (LLM) الحديث.

البنية والتدريب

المُشفر والمُفكك الموحد (Unified Encoder-Decoder): يستخدم نموذج RLM مُشَفراً مجمداً (تحديداً T5Gemma-S) لمعالجة النص المدخل، ومفككاً قابلاً للتدريب لتوليد المخرجات الرقمية. يتم تدريب المُشفر مسبقاً على بيانات لغوية قياسية، بينما يخضع المُفكك وحده لعملية الانتشار العكسي (backpropagation)، مما يقلل تكاليف التدريب بشكل كبير.
الانحدار من نص إلى نص (Text-to-Text Regression): على عكس النهج التقليدية التي تربط المدخلات بمتجهات ثابتة الطول، يقبل نموذج RLM تمثيلات نصية خام للأكواد (مثل Python، C++، أو مخططات ONNX) ويخرج القيم الرقمية كسلاسل من الرموز (tokens).
ترميز رقمي متخصص (Specialized Numeric Tokenization): للتعامل مع النطاق الديناميكي الواسع للمقاييس (من $10^{-2}$ إلى $10^6$ ) دون الحاجة إلى تطبيع (normalization)، يستخدم النموذج ترميزاً صريحاً رقماً برقم. يتم تمثيل الأرقام باستخدام رموز خاصة للإشارة، والأس، والمانتيسا (مثلاً: <+><-><1><7><2><5> لتمثيل $72.5$). هذا يتجنب عدم الاستقرار الرقمي والحاجة إلى تغيير مقياس البيانات الخاص بكل مجموعة بيانات.
النمذجة متعددة الأهداف (Multi-Objective Modeling): بالاستفادة من الطبيعة ذاتية الانحدار (autoregressive) للمفكك، يمكن للنموذج التنبؤ بعدة مقاييس شرطية بالتتابع (مثلاً: $p(y_{latency} | y_{accuracy}, x)$ )، مما يلتقط الارتباطات المتأصلة بين الأهداف مثل الدقة وزمن استجابة الأجهزة.

مصادر البيانات

يتم تدريب النموذج على مجموعة بيانات متنوعة وموحدة تضم:

البرمجة عالية المستوى: أكواد من APPS (مشكلات LeetCode)، وCodeNet (14 مليون عينة عبر 37 لغة)، وKernelBook (نواة Triton لـ GPU).
البحث عن البنى العصبية (NAS): 520 ألف بنية فريدة من اختبارات معيارية مثل NASBench-101/201، وFBNet، وOnce-for-All، ممثلة كتمثيلات وسيطة بصيغة ONNX.

المساهمات الرئيسية

نموذج عام موحد: تثبت الورقة أن نموذج RLM واحد يمكنه التنبؤ في آن واحد باستهلاك الذاكرة عبر لغات متعددة (Python، C++، إلخ)، وزمن استجابة نواة الـ GPU، ودقة/زمن استجابة الشبكة العصبية، مما يلغي الحاجة إلى هندسة الميزات الخاصة بكل مهمة.
التفوق على الطرق القائمة على الرسوم البيانية: رغم قراءته لتمثيلات نصية كثيفة لـ ONNX، يتفوق RLM على النماذج المرجعية لشبكات الأعصاب الرسومية (GNN) المتطورة في مجال NAS (على سبيل المثال، تحقيق معامل Kendall-Tau قدره 0.46 في مساحات التصميم التي كانت تهيمن عليها سابقاً نماذج GNN).
الكفاءة والقابلية للتوسع: يسمح استخدام المُشفر المجمد بتدريب منخفض التكلفة. يوضح المؤلفون أن نموذجاً صغيراً نسبياً بـ 300 مليون معلمة يحقق أداءً عالياً، وأن التوسع إلى 600 مليون معلمة يحقق مكاسب إضافية.
التنبؤ بدون تطبيع (Normalization-Free): تتيح استراتيجية الترميز (رقم برقم) للنموذج التنبؤ بقيم عبر رتب عشرية مختلفة دون تطبيع يدوي، وهي ميزة كبيرة مقارنة برؤوس الانحدار القائمة على متوسط المربعات الدنيا (MSE).

النتائج التجريبية

أداء الكود: في مجموعة بيانات APPS، يحقق RLM معامل ارتباط سبيرمان ( $\rho$ ) قدره 0.93 للتنبؤ بالذاكرة. وفي CodeNet، يحقق متوسط $\rho > 0.5$ عبر 17 لغة، حيث وصلت لغة C++ إلى 0.748.
أداء NAS: يحقق RLM متوسط Kendall-Tau قدره 0.46 عبر خمس مساحات تصميم كلاسيكية لـ NAS، متفوقاً على الطرق السابقة المتطورة مثل FLANT والنماذج المعتمدة على مُشفرات GNN. كما ينجح في التنبؤ بكل من الدقة وأزمنة الاستجابة الخاصة بالأجهزة (مثل Pixel3، Eyeriss، Intel CPU، Nvidia GPU) في آن واحد.
دراسات الاستئصال (Ablation Studies):
- المُشفرات المجمدة: تُحسن المُشفرات المدربة مسبقاً التقارب والأداء النهائي بشكل ملحوظ مقارنة بالبدء العشوائي.
- المفكك مقابل رؤوس الانحدار: يتفوق المخرج القائم على المفكك (0.800 Spearman $\rho$ ) بشكل كبير على رؤوس الانحدار الصريحة (0.478 بدون تطبيع، و0.717 مع التطبيع).
- الترميز (Tokenization): تعمل المرمّزات المدمجة والمخصصة لرسوم ONNX على تحسين الأداء (0.723 مقابل 0.533 مع المرمّزات الافتراضية).
- التعلم داخل السياق (ICL): بينما يتحسن التعلم داخل السياق مع النماذج الكبيرة (مثل GPT-5) بزيادة عدد الأمثلة، إلا أنه يظل باستمرار أدنى من نموذج RLM المدرب داخل الأوزان (in-weight trained)، كما أنه يتكبد تكاليف استدلال أعلى بكثير بسبب قيود نافذة السياق.

الأهمية والادعاءات

تدعي الورقة أنها تمهد الطريق لتبسيط انحدار المخططات الحسابية وتحويلها إلى مسألة تنبؤ بالرمز التالي عامة. ومن خلال إثبات أن النماذج اللغوية يمكنها فعلياً إجراء الانحدار على التمثيلات النصية البحتة للأكواد والمخططات، تشير الدراسة إلى أن المجال يمكنه الانتقال بعيداً عن هندسة الميزات اليدوية الصلبة نحو نهج أكثر مرونة وتوحيداً.

يضع المؤلفون هذا العمل كأداة قيمة لـ:

البحث عن البرامج (Program Search): تسريع اختيار الحلول البرمجية الأكثر كفاءة.
التصميم المشترك بين الأجهزة والبرمجيات (Hardware-Software Co-design): التنبؤ بزمن الاستجابة عبر منصات أجهزة متنوعة.
تحسين المترجمات (Compiler Optimization): تقدير مقاييس الأداء لعمليات المترجم (compiler passes).

تظل الورقة متواضعة فيما يتعلق بالآثار الأوسع، مشيرة إلى أنه بينما تظهر الطريقة وعداً في التنبؤ بالنتائج الرقمية من الأكواد الخام، فإن توسيع نطاق ذلك للتنبؤ بنتائج تجارب علمية كاملة يظل سؤالاً مفتوحاً للعمل المستقبلي. المساهمة الأساسية هي إثبات القدرة العامة للنماذج اللغوية على العمل كمُنحدرات (regressors) عالمية للأكواد والمخططات الحسابية دون معالجة لاحقة أو استخراج ميزات متخصص.