🤖 machine learning

Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs

تقدم هذه المساهمة "البحث عن البنية العصبية القائم على دلتا" (Delta-based Neural Architecture Search)، وهي طريقة فعالة من حيث استهلاك الرموز (token-efficient) تقوم فيها النماذج اللغوية الكبيرة التي تم ضبطها بدقة بتوليد فروق برمجية (code diffs) مدمجة لتحسين النماذج الأساسية، مما يحقق معدلات أعلى بكثير من حيث الصلاحية والدقة عبر مجموعات بيانات متعددة مقارنة بالتوليف الكامل للنماذج التقليدي، مع تقليل أطوال المخرجات بشكل جذري.

المؤلفون الأصليون: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

نُشر 2026-05-07

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تحسين آلة معقدة، مثل محرك سيارة.

الطريقة القديمة (التوليد الكامل):
في الماضي، عندما كان الباحثون يستخدمون الذكاء الاصطناعي لتصميم شبكات عصبية أفضل (وهي بمثابة "أدمغة" الذكاء الاصطناعي)، كانوا يطلبون من الذكاء الاصطناعي كتابة دليل التشغيل الكامل لمحرك جديد تماماً من الصفر في كل مرة.

المشكلة: هذا يشبه مطالبة مؤلف بإعادة طباعة كتاب كامل لمجرد تغيير فاصلة واحدة. يتطلب هذا الأمر وقتاً هائلاً، ويستهلك كمية ضخمة من القدرة الحوسبية، وغالباً ما يؤدي إلى كود برمجي فوضوي ومكرر. وإذا ارتكب الذكاء الاصطناعي خطأً صغيراً في المنتصف، فإن المحرك بأكمده سيفشل.

الطريقة الجديدة (البحث القائم على الفرق/Delta-based Search):
يقدم هذا العمل نهجاً أكثر ذكاءً يسمى توليد الكود القائم على الفرق (Delta Code Generation). بدلاً من كتابة دليل تشغيل جديد بالكامل، يُطلب من الذكاء الاصطناعي إنشاء "رقعة" صغيرة أو "فرق" (diff) (وهي قائمة بتغييرات محددة) لإصلاح محرك موجود ويعمل بالفعل.

التشبيه: تخيل استخدام ميزة "تعقب التغييرات" (Track Changes) في معالج النصوص. بدلاً من إعادة كتابة المستند بالكامل، تقوم ببساطة بتحديد الجملة التي تريد تصحيحها وتقول: "غير هذه الكلمة إلى تلك".
النتيجة: يكتب الذكاء الاصطناني حوالي 30 إلى 50 سطراً فقط من الكود (الرقعة) بدلاً من 200+ سطر (الدليل الكامل). وهذا يوفر ما يقرب من 75-85% من القدرة الحوسبية.

كيف اختبروا ذلك

عامل الباحثون هذا الأمر وكأنه مسابقة طبخ تضم ثلاثة طهاة مختلفين من الذكاء الاصطناعي (جميعهم من فئة "7B"، وهم بمثابة مساعدين أذكياء جداً ولكن ليسوا ضخمي الحجم):

DeepSeek-Coder (طاهٍ متخصص في البرمجة).
Qwen2.5-Coder (متخصص برمجي آخر).
Mistral-7B (طاهٍ عام الأغراض وليس مدرباً خصيصاً للبرمجة فقط).

طلب منهم هؤلاء الطهاة تحسين وصفات (بنيات الشبكات العصبية) لـ ستة أنواع مختلفة من الأطباق (مجموعات بيانات مثل CIFAR-10، وMNIST، وCelebA، إلخ)، والتي تتراوح من الأرقام البسيطة إلى الوجوه المعقدة.

النتائج

الكفاءة: كانت طريقة "الرقعة" فعالة للغاية؛ حيث أنتج طهاة الذكاء الاصطناعي تعليمات أقصر وأكثر نظافة.
الأداء: للمفاجأة، أدى الطهاة الذين كتبوا "الرقع" فقط أداءً جيداً بقدر (وغالباً أفضل من) الطهاة الذين كتبوا أدلة تشغيل كاملة.
- في اختبار قياسي (CIFAR-10)، حقق طهاة الرقع معدلات دقة بلغت حوالي 85%، بينما وصلت طريقة "الدليل الكامل" القديمة إلى حوالي 64% فقط.
- حتى الطاهي العام الأغراض (Mistral)، الذي لم يكن متخصصاً في البرمجة، قدم أداءً يضاهي المتخصصين في البرمجة. وهذا يثبت أن طريقة كتابة الرقع هي السر، وليس مجرد نموذج الذكاء الاصطناعي المستخدم.
الموثوقية: كانت طريقة "الرقع" أكثر موثوقية بكثير. فقد نجحت حوالي 75% من الرقع بشكل مثالي، بينما نجحت الطريقة القديمة "الدليل الكامل" في حوالي 50% من المرات فقط.

لماذا يهم هذا الأمر

يجادل هذا العمل بأن نهج "الفرق" (Delta) يمثل نقطة تحول لأن:

إنه أرخص: هناك حاجة أقل بكثير من القدرة الحوسبية (الرموز/tokens) لتحقيق نتائج أفضل.
إنه مرن: يعمل عبر العديد من أنواع المشكلات المختلفة (مجموعات البيانات) دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي لكل منها على حدة.
إنه أذكى: من خلال البناء على كود موجود ويعمل بالفعل، لا يحتاج الذكاء الاصطناعي إلى "إعادة اختراع العجلة" في كل مرة؛ بل يركز ببساطة على إجراء التحسينات اللازمة.

باختصار، يظهر هذا العمل أن ضبط حل موجود بالفعل غالباً ما يكون أفضل وأسرع وأكثر موثوقية من محاولة بناء واحد جديد من الصفر.

ملخص تقني: البحث عن البنية العصبية القائم على "دلتا" عبر فروقات الكود (Code-Diffs)

بيان المشكلة

يهدف البحث عن البنية العصبية (NAS) إلى أتمتة تصميم الشبكات العصبية العميقة. ورغم أن النهج الحديث الذي يستفيد من النماذج اللغوية الكبيرة (LLMs) لتوليد كود PyTorch قابل للتنفيذ يعد واعداً، إلا أنه يعاني من قصور حرج يتمثل في نموذج التوليد الكامل (Full-Generation Paradigm). تتطلب الأساليب الحالية من النموذج اللغوي الكبير تخليق تنفيذات كاملة للنماذج من الصفر في كل تكرار. هذا النهج مكلف حاسوبياً، وينتج مخرجات مطولة (عادةً أكثر من 200 سطر من الكود)، ويفشل في الاستفيد من المعرفة الهيكلية المضمنة في البنى الموجودة والفعالة بالفعل. علاوة على ذلك، فإن أعمال البحث عن البنية العصبية السابقة القائمة على النماذج اللغوية الكبيرة كانت مقيدة إلى حد كبير بالتقييم على مجموعات بيانات مفردة (مثل CIFAR-10) أو نطاقات محدودة متعددة مجموعات البيانات، مما يحد من تقييم قدرات التعميم.

المنهجية: توليد كود "دلتا" (Delta-Code Generation)

يقترح المؤلفون توليد كود دلتا، وهو نموذج يقوم فيه النماذج اللغوية الكبيرة الضبط الدقيق بتوليد فروقات موحدة مدمجة (Unified Diffs/Deltas) لتحسين البنى الأساسية الموجودة، بدلاً من تخليق نماذج كاملة. يستلهم هذا النهج من ممارسات هندسة البرمجيات حيث يتم تعديل الكود عبر رقع (Patches) بدلاً من إعادة كتابته من الصفر.

المسار الأساسي (Core Pipeline)

يعمل الإطار عبر بروتوكول تكراري مكون من 22 دورة:

اختيار البنية الأساسية: يقوم النظام بأخذ عينات من البنى الأساسية من مجموعة بيانات LEMUR، وهي مجموعة منسقة من الشبكات العصبية ذات تعليقات توضيحية للأداء عبر مجموعات بيانات متعددة.
توليد دلتا: يتلقى النموذج اللغوي الكبير الكود المصدري للبنية الأساسية ووصفاً لمجموعة البيانات. وبدلاً من إخراج ملف كامل، فإنه يولد مخرج XML مهيكل يحتوي على:
- <delta>: فرق موحد بتنسيق الرقع القياسي (أسطر السياق، الإضافات، الحذوفات).
- <hp> و <tr>: وسوم مهيكلة للمعلمات الفائقة (Hyperparameters) وتحويلات البيانات (باتباع اتفاقيات NNGPT)، رغم أن التقييم يستخدم المعلمات الفائقة الأصلية للبنية الأساسية لعزل التغييرات الهيكلية.
التطبيق والتحقق: يتم تطبيق "الدلتا" المولدة على الكود الأساسي باستخدام أدوات رقع معيارية. وتخضع الرقع الناجحة للتحقق من بناء الجملة (Syntax)، وفحص التعيين (Instantiation)، والتدريب لمدة حقبة واحدة (One Epoch).
التصفية (Filtering): للحفاظ على التنوع الهيكلي والجودة، يجب أن تجتاز البنى المقبولة مرشحين:
- مرشح الدقة: يجب أن يحقق النموذج دقة تحقق (Top-1 validation accuracy) لا تقل عن 40% بعد حقبة واحدة.
- مرشح الحداثة: باستخدام تشابه MinHash-Jaccard، يجب أن يظهر الكود المولد تمايزاً هيكلياً لا يقل عن 90% ( $\tau_{nov} = 0.90$ ) عن المجموعة الموجودة لمنع الانهيار النمطي (Mode Collapse).
الضبط الدقيق (Fine-tuning): يتم ضبط النموذج اللغوي الكبير تكرارياً باستخدام LoRA (التكيف منخفض الرتبة) على مجموعة بيانات LEMUR الثابتة والمنسقة. ومن المهم أن تظل بيانات التدريب لـ LoRA ثابتة؛ حيث تعمل مجموعة البنى المولدة المتوسعة حصرياً كمجموعة متنوعة من البنى الأساسية لتوليد "دلتا" مستقبلي، وليس كبيانات تدريب للنموذج اللغوي نفسه.

الإعداد التجريبي

تقيم الدراسة ثلاثة نماذج من فئة 7B عبر ست مجموعات متنوعة من بيانات تصنيف الصور (CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA):

DeepSeek-Coder-7B-Instruct-v1.5 (متخصص في الكود)
Qwen2.5-Coder-7B-Instruct (متخصص في الكود)
Mistral-7B-Instruct-v0.3 (تعليمات عامة، غير متخصص في الكود)

تخضع جميع النماذج لـ 22 دورة ضبط دقيق مع 50 مرشحاً لكل دورة (بإجمالي 1,100 مرشح لكل نموذج لغوي). ويتم قياس الأداء عبر دقة التحقق في الحقبة الأولى كبديل (Proxy)، تماشياً مع أدبيات البحث عن البنية العصبية القائمة على النماذج اللغوية الكبيرة.

النتائج الرئيسية

1. الكفاءة وطول المخرجات

يحقق نموذج "دلتا" انخفاضاً هائلاً في استهلاك الرموز (Tokens). عبر جميع النماذج الثلاثة، كانت أطوال المخرجات مدمجة بشكل موحد:

DeepSeek: 30.4 سطر (انخفاض بنسبة 85% مقارنة بالتوليد الكامل)
Qwen: 31.4 سطر (انخفاض بنسبة 84%)
Mistral: 49.5 سطر (انخفاض بنسبة 75%)
يمثل هذا انخفاضاً بنسبة 75-85% مقارنة بـ ~200+ سطر في نماذج التوليد الكامل المرجعية، مما يعادل توفيراً إجمالياً قدره حوالي 5.4 ضعف رموز المخرجات.

2. موثوقية التوليد والدقة

تحت بروتوكول عنقودي موحد مع مجموعة متوازنة من قواعد البيانات الأساسية عبر ست مجموعات بيانات، تفوقت جميع النماذج اللغوية الثلاثة بشكل كبير على نموذج التوليد الكامل المرجعي (Khalid et al. [24]) والنهج التكراري مع نموذج لغوي مجمد (Gu et al. [13]):

معدل التوليد الصالح: DeepSeek (75.3%)، Qwen (72.1%)، Mistral (66.6%) مقابل التوليد الكامل (50.6%).
متوسط دقة الحقبة الأولى: DeepSeek (65.8%)، Qwen (64.6%)، Mistral (66.1%) مقابل التوليد الكامل (42.3%).
أفضل دقة للحقبة الأولى (CIFAR-10): Mistral (85.5%)، DeepSeek (85.2%)، Qwen (80.6%) مقابل التوليد الكامل (63.98%) و Gu et al. (71.5%).

3. التعميم عبر مجموعات البيانات المتعددة

على عكس الأعمال السابقة التي اقتصرت على CIFAR-10 أو ثلاث مجموعات بيانات، نجح نهج "دلتا" في التعميم عبر جميع المجموعات الست، بما في ذلك التصنيف الدقيق الصعب (CIFAR-100) وسمات الوجه (CelebA). حققت جميع النماذج اللغوية الثلاثة أفضل دقة للحقبة الأولى بلغت 99.5% على MNIST وحوالي 95% على SVHN.

4. استقلالية النموذج (Model Agnosticism)

تعتمد مكاسب الأداء على النموذج (توليد دلتا) وليس على الاختيار المحدد للنموذج اللغوي الكبير. رغم الاختلافات في التدريب المسبق (متخصص في الكود مقابل تعليمات عامة)، فإن النماذج الثلاثة تتجمع بشكل وثيق عبر جميع المقاييس الأساسية مع تداخل في فترات الثقة. حتى نموذج Mistral-7B العام، الذي يولد فروقات أطول قليلاً، حقق أعلى دقة لـ CIFAR-10 بنسبة (85.5%).

الأهمية والادعاءات

تضع هذه الدراسة البحث عن البنية العصبية القائم على "دلتا" كبديل كفء في استهلاك الرموز، ومتعدد المجالات، ومستقل عن نوع النموذج اللغوي الكبير لتخليق النماذج الكاملة. يقدم المؤلفون ثلاثة ادعاءات رئيسية بشأن أهمية عملهم:

النموذج فوق النموذج: التحول من توليد الملف الكامل إلى توليد الفروقات (Diffs) هو المحرك الرئيسي لمكاسب الأداء. ويتضح ذلك من حقيقة أن تغيير تنسيق المخرجات لنفس النموذج (DeepSeek-Coder-7B) ونفس البروتوكول التكراري ينقل معدل التوليد الصالح خارج نطاق الثقة لنموذج التوليد الكامل.
تغطية مجموعات البيانات كبعد تصميمي: من خلال العمل على الفروقات (Diffs)، يحافظ مسار العمل على الهيكل السقالي الوظيفي الخاص بمجموعة البيانات الأساسية، مما يسمح بالتعميم عبر ست مجموعات بيانات متنوعة دون الحاجة لإعادة تدريب النموذج اللغوي لكل مجال. وهذا يتناقض مع الأعمال السابقة التي قيمت النتائج بشكل شبه حصري على CIFAR-10.
الكفاءة التقاربية: يتراكم الانخفاض بنسبة 75-85% في طول المخرجات عبر التكرارات، مما يجعل النهج أكثر عملية بشكل كبير للنشر المحلي على وحدات معالجة الرسومات الاستهلاكية، حيث يشكل استنتاج (Inference) النموذج اللغوي التكلفة المهيمنة.

يشير المؤلفون إلى أنه بينما يسبب تنسيق "الفرق" (Diff) نمط فشل فريد من نوعه وهو "عدم اتساق السياق" (Context Incongruence)، فإن الفوائد العامة المتعلقة بالكفاءة، والسلامة الهيكلية، والتعميم متعدد المجالات، تجعل من توليد "دلتا" تقدماً قوياً.

تختتم الدراسة بالإشارة إلى أنه بينما يفرض تنسيق "الفرق" تحدياً، فإن الفوائد الإجمالية فيما يتعلق بالكفاءة، والنزاهة الهيكلية، والتعميم عبر المجالات، ترسخ توليد "دلتا" كتقدم متين في مجال البحث عن البنية العصبية المدفوع بالنماذج اللغوية الكبيرة.