🤖 machine learning

Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability

تؤسس هذه الورقة أول نظرية تقارب رسمية للبحث عن البنى العصبية القائم على النماذج اللغوية الكبيرة التكراري عبر نمذجته كطريقة "الإنتروبيا المتقاطعة" (Cross-Entropy) معلمية، حيث تثبت التحسن النوعي الرتيب والتقارب الهندسي مع اشتقاق مقياس موثوقية بديل ذي صيغة مغلقة يفسر سقوف الأداء التجريبية.

المؤلفون الأصليون: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم شيف آلي ذكي للغاية، ولكنه أخرق قليلاً، كيف يبتكر وصفة جديدة مثالية. أنت لا تعطي الشيف كتاب طهي؛ بل تتركه يحاول كتابة الوصفات من الصفر، ثم يتذوقها، ثم يتعلم من الوصفات التي كان طعمها هو الأفضل. هذا هو بالضبط ما تفعله ورقة بحثية تسمى البحث عن البنية العصبية (Neural Architecture Search - NAS) باستخدام النماذج اللغوية الكبيرة (LLMs).

ومع ذلك، حتى الآن، لم يكن لدى أحد برهان رياضي يضمن أن حلقة "التجربة، والتذوق، والتعلم" هذه ستتحسن بالفعل بمرور الوقت، أو لماذا تنجح بعض الحيل (مثل كتابة التغييرات فقط في الوصفة بدلاً من كتابة الوصفة كاملة) بشكل جيد جداً.

تقدم هذه الورقة البحثية هذا الرياضيات المفقودة. إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. الفكرة الجوهرية: نادي "الشيف النخبة"

أدرك المؤلفون أن عملية قيام الذكاء الاصطناعي بتوليد كود، واختباره، ثم إعادة تدريب نفسه على أفضل النتائج، هي مطابقة رياضياً لاستراتيجية تحسين شهيرة تسمى طريقة الإنتروبيا المتقاطعة (Cross-Entropy Method).

التشبيه: تخيل مسابقة طبخ. كل أسبوع، يقدم 100 شيف أطباقهم. أنت تتذوقها، وتختار أفضل 10، ثم تخبر جيل الطهاة القادم: "اطخوا فقط مثل هؤلاء العشرة".
ادعاء الورقة: لقد أثبتوا أنه عندما يقوم الذكاء الاصطناعي بهذا (ضبط نفسه بدقة بناءً على أفضل كود أنتجه)، فإنه يتحرك رياضياً في الاتجاه الصحيح. متوسط جودة "الأطباق" (بنيات الذكاء الاصطناعي) لن يسوء أبداً؛ بل إما سيبقى كما هو أو سيتحسن.

2. حيلة "الدلتا" (الفرق): التعديل مقابل إعادة الكتابة

أظهرت الأبحاث السابقة أنه إذا كتب الذكاء الاصطناعي وصفة جديدة من الصفر في كل مرة، فإنه غالباً ما يفشل (يتعطل الكود). ولكن إذا كتب الذكភាព الاصطناعي فقط التغييرات (الدلتا) على وصفة جيدة موجودة بالفعل، فإنه ينجح في كثير من الأحيان.

التشبيه: تخيل كتابة رواية من 50 صفحة. إذا كان عليك إعادة كتابة الكتاب بأكى في كل مرة تريد فيها تصحيح خطأ مطبعي، فمن المرجح أن ترتكب خطأً جديداً في مكان آخر. ولكن إذا كتبت فقط ملاحظة لاصقة تقول "غير الصفحة 3، السطر 5"، فمن الصعب جداً أن تفسد الأمر.
ادعاء الورقة: قاموا بنمذجة أخطاء الذكاء الاصطناعي كسلسلة من التفاعلات المتتابعة (مثل خطأ مطبعي يؤدي إلى خطأ آخر). وقد أثبتوا رياضياً أنه لأن "الدلتا" أقصر، فإن احتمال تعطل النظام بأكمله أقل بكثير. توقعت رياضياتهم أن معدل النجاح سيكون أكثر من الضعف، وبينما كانت الاختبارات الواقعية أقل قليلاً، إلا أنها أكدت الاتجاه: التعديلات القصيرة أكثر أماناً.

3. منع "تفكير الجماعة" (انهيار النمط - Mode Collapse)

هناك مشكلة شائعة في الذكاء الاصطناعي وهي أنه قد يعلق في حلقة مفرغة، حيث يولد نفس الحل "الجيد" مراراً وتكراراً، مما يجعله يفوت احتمالات رائعة أخرى. وهذا ما يسمى "انهيار النمط".

التشبيه: تخيل نادي كتاب لا يقرأ سوى الكتب الثلاثة نفسها لأنها "الأفضل". إنهم يتوقفون عن اكتشاف قصص جديدة.
ادعاء الورقة: استخدم الباحثون "مرشح الحداثة" (Novelty Filter) (وهو فحص رياضي لمعرفة ما إذا كانت الوصفة الجديدة مختلفة حقاً عن الوصفات القديمة). لقد أثبتوا أنه طالما أن هذا المرشح نشط، فلا يمكن للذكاء الاصطناعي أن يعلق في حلقة مفرغة. إنه مجبر رياضياً على الاستمرار في استكشاف أفكار جديدة وفريدة، مما يمنعه من أن يصبح كـ "الأسطوانة المشروخة".

4. مشكلة "الأذن المليئة بالضجيج" (موثوقية النموذج البديل)

في هذه العملية، لا ينتظر الذكاء الاصطناعي اختبار تذوق كاملاً ومثالياً (والذي يستغرق أياماً). بدلاً من ذلك، يستخدم "اختبار تذوق بديلاً" (اختبار سريع لمدة دقيقة واحدة) ليخمن ما إذا كانت الوصفة جيدة. المشكلة هي أن الاختبار السريع قد يكون خاطئاً بسبب الضجيج.

التشبيه: تخيل محاولة الحكم على موهبة مغنٍ من خلال الاستماع إلى مقطع مدته 5 ثوانٍ عبر هاتف سيء. إذا كان المغني رائعاً، فإن المقطع ذو الخمس ثوانٍ سيبدو جيداً عادةً. ولكن إذا كان الهاتف مليئاً بالضجيج، فقد تعتقد أن مغنياً سيئاً هو جيد، أو مغنياً جيداً هو سيء.
ادعاء الورقة: أنشأوا صيغة لحساب مقدار "الضجيج" في اختباركم السريع. ووجدوا "تأثير السقف": إذا كان الاختبار السريع صاخباً جداً مقارنة بالجودة الفعلية للوصفات، فإن الذكاء الاصطناعي يتوقف عن التعلم بفعالية.
- النتيجة في العالم الحقيقي: اختبروا ثلاثة نماذج مختلفة للذكاء الاصطناعي (Mistral، وQwen، وDeepSeek). توقعت الرياضيات أن نموذج Mistral سيكون الأكثر موثوقية لأن "إشارته" (الوصفات الجيدة) كانت أقوى بكثير من "الضجيج". وأكدت التجارب ذلك: كانت الاختبارات السريعة لنموذج Mistral تتطابق تماماً مع الاختبارات الطويلة، بينما كانت النماذج الأخرى صاخبة جداً بحيث لا يمكن الوثوق بها.

5. واقع "السقف"

تعترف الورقة بأنه على الرغم من أن الرياضيات تقول إن الذكاء الاصطناعي يجب أن يجد الحل المثالي في النهاية، إلا أنه في العالم الحقيقي، يصطدم بـ "سقف".

التشبيه: تخيل أن الذكاء الاصطناعي يتسلق جبلاً. تقول الرياضيات إنه يجب أن يصل إلى القمة. ولكن لأن الذكاء الاصطناعي يستخدم طريقة تدريب خفيفة الوزن ومحددة (تسمى LoRA)، فالأمر يشبه التسلق بحقيبة ظهر ثقيلة. إنه يصل إلى ارتفاع عالٍ جداً (حوالي 73-76% من الطريق)، لكنه لا يستطيع الوصول تماماً إلى القمة.
ادعاء الورقة: هم يشرحون لماذا يتوقف الذكاء الاصطناعي عن التحسن بعد فترة. ليس لأنه معطل؛ بل لأن "حقيبة الظهر" (طريقة التدريب خفيفة الوزن) تحد من مدى ارتفاعه في التسلق.

الملخص

هذه الورقة هي "كتاب القواعد" لطريقة جديدة لاستخدام الذكاء الاصطناعي لتصميم ذكاء اصطناعي آخر. إنها تثبت أن:

العملية تتحسن دائماً (أو تبقى مستقرة).
التعديل على الكود أكثر أماناً من إعادة كتابته.
التحقق من الحداثة يمنع الذكاء الاصطناي من الشعور بالملل وتكرار نفسه.
هناك حد رياضي لمدى قدرتك على الوثوق باختبار سريع، وقد تمكنوا من قياس ذلك.

لقد اختبروا هذه القواعد مقابل تجارب حقيقية، وبينما لم تكن الأرقام تطابق دائماً بشكل مثالي (بسبب فوضى العالم الحقيقي)، إلا أن اتجاه النتائج كان مطابقاً تماماً لما توقعته رياضياتهم.

ملخص تقني: نظرية التقارب للبحث عن البنى العصبية القائم على النماذج اللغوية الكبيرة (LLM) التكراري

1. بيان المشكلة

انتقل البحث عن البنى العصبية (NAS) مؤخرًا من مساحات البحث المحددة مسبقًا إلى استخدام النماذج اللغوية الكبيرة (LLMs) كمولدات مفتوحة لبرامج torch.nn.Module قابلة للتنفيذ. وبينما تُظهر الدراسات التجريبية (مثل Khalid et al., Adhikari et al.) أن الضبط الدقيق التكراري للنموذج اللغوي الكبير على توليداته الناجحة يحسن من موثوقية التوليد وجودة البنية، إلا أنه لا توجد نظرية تقارب رسمية لهذه الفئة من الخواروات.

وتشمل الفجوات النظرية الرئيسية التي يتم معالجتها ما يلي:

هل يؤدي الضبط الدقيق التكراري للنماذج اللغوية الكبيرة إلى تحسين جودة البنية بشكل مثبت؟
تحت أي ظروف تتقارب هذه العملية؟
لماذا يحقق "التوليد بالفرق" (delta generation - توليد فروقات موحدة) معدلات توليد صالحة أعلى من توليد الكود الكامل؟
ما هو الدور النظري لمرشح الجدة (novelty filtering) في منع الحلول المتدهورة (انهيار النمط - mode collapse)؟
كيف يمكن قياس موثوقية التصنيفات القائمة على النماذج البديلة (proxy-based rankings) (باستخدام دورات تدريب قصيرة)؟

2. المنهجية والإطار الرياضي

يعمل المؤلفون على نمذجة البحث عن البنى العصبية التكراري باستخدام النماذج اللغوية الكبيرة كطريقة الإنتروبيا المتقاطعة المعلمية (Parametric Cross-Entropy - CE) فوق البرامج القابلة للتنفيذ. ويؤسس الإطار رابطًا رسميًا بين عملية الضبط الدقيق للنموذج اللغوي الكبير وخوارزمية الإنتروبيا المتقاطعة (CE) المدروسة جيدًا.

التعريفات الأساسية

فضاء البنى ( $\mathcal{A}$ ): مجموعة برامج بايثون الصالحة نحويًا والقابلة للتنفيذ التي تحدد torch.nn.Module.
دالة الجودة ( $q$ ): تربط البنية بدقة التحقق في الدورة التدريبية الأولى على مجموعة بيانات ثابتة.
مجموعة النخبة ( $E_\tau$ ): البنى حيث $q(a) \geq \tau$ .
العملية التكرارية:
1. التوليد: أخذ عينات $N$ من المرشحين من توزيع النموذج اللغوي الحالي $p_{\theta_t}$ .
2. التقييم والترشيح: اختيار البنى النخبوية التي تجتاز مرشح الجدة (MinHash–Jaccard).
3. التحديث: الضبط الدقيق لمعلمات النموذج اللغوي $\theta$ باستخدام اتحاد مجموعة النخبة والمدونة الثابتة (تقليل خسارة الإنتروبيا المتقاطعة).

الافتراضات النظرية

تعتمد البراهين على افتراضات محددة، لا سيما:

الانتظام (Regularity): جودة محدودة، كتلة أولية موجبة للبنى النخبوية، وتقدير ثابت مع زيادة حجم العينة.
الإسقاط أحادي التوجه للجودة (Quality-Monotone Projection): إسقاط الـ CE على العائلة المعلمية (النموذج اللغوي) يحافظ على متوسط الجودة أو يحسنها.
نموذج خطأ الرموز (Token-Error Model): نموذج سلسلة ماركوف من الدرجة الأولى لأخطاء الرموز (بدلاً من افتراض استقلالية الرموز) لتحليل التوليد بالفرق مقابل توليد الكود الكامل.
موثوقية النموذج البديل (Proxy Reliability): يفترض توزيعًا طبيعيًا ثنائي المتغير بين دقة النموذج البديل (التدريب القصير) ودقة التدريب الكامل.

3. المساهمات الرئيسية والنتائج النظرية

يثبت البحث ست نتائج رئيسية:

أ. التكافؤ مع الإنتروبيا المتقاطعة المعلمية (المبرهنة 1)

الضبط الدقيق التكراري للنماذج اللغوية الكبيرة على البنى النخبوية يكافئ رياضيًا تحديث الإنتروبيا المتقاطعة المقيد بالعائلة المعلمية للنموذج اللغوي. خطوة الضبط الدقيق تقلل من تباعد كولباك - ليبلر (KL divergence) بين التوزيع التجريبي للعينات النخبوية وتوزيع توليد النموذج اللغوي.

ب. التحسن الأحادي لاتجاه الجودة (المبرهنة 2)

تحت الافتراضات المذكورة، تكون جودة البنية المتوقعة ( $Q_t$ ) متزايدة رتيبًا (non-decreasing) عبر الدورات، وصولًا إلى حد خطأ التقدير الناتج عن العينة المحدودة $\epsilon_t = O(N^{-1/2})$ .

ج. التقارب إلى نقطة ثابتة (المبرهنة 3 والنتيجة 4)

احتمال توليد بنية نخبوية ( $C_t$ ) يتقارب إلى نقطة ثابتة $C^*$ بمعدل هندسي: $C_t \geq 1 - (1 - \rho_0)^t$ .
قيد LoRA: إذا تم تكييف النموذج اللغوي عبر LoRA (التكيف منخفض الرتبة)، فإن القدرة التعبيرية للعائلة المعلمية تكون مقيدة. وبناءً عليه، تتقارب العملية إلى سقف أداء $C^* \leq 1$ بدلاً من 1، مما يفسر الملاحظات التجريبية حول سقوف الأداء.

د. ميزة التوليد بالفرق (المبرهنة 5 والنتيجة 6)

باستاستخدام نموذج خطأ الرموز من الدرجة الأولى، يثبت المؤلفون أن التوليد بالفرق (توليد الفروقات) يحقق معدل توليد صالح أعلى بشكل صارخ من توليد الكود الكامل.

تعتمد نسبة معدلات الصلاحية على عامل تقليل طول المخرجات $\alpha$ (حيث $L_\delta = \alpha L_{full}$ ).
تتنبأ النظرية بنسبة $> 1$ ، مع تنبؤ معاير بـ $\approx 2.23$ تحت بارامترات محددة، رغم أن النتائج التجريبية أظهرت نسبة قدرها $1.41$ (مما يؤكد الاتجاه ولكنه يقلل من القدر المحسوب بسبب الارتباطات طويلة المدى غير المضمنة في النموذج).

هـ. منع انهيار النمط (المبرهنة 7)

يضمن تطبيق مرشح الجدة (MinHash–Jaccard) بقاء "المدونة" منفصلة. ونظريًا، هذا يمنع النموذج اللغوي من الانهيار إلى بنية واحدة (انهيار النمط)، مما يحافظ على إنتروبيا غير صفرية في توزيع التوليد.

و. موثوقية النموذج البديل ذات الصيغة المغلقة (المبرهنة 8)

يشتق البحث علاقة ذات صيغة مغلقة بين نسبة الإشارة إلى الضجيج (SNR) للمهمة البديلة وارتباط سبيرمان ( $\rho_S$ ) بين تصنيفات النموذج البديل والتدريب الكامل:
$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$
حيث $\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$ .

التشخيص: الشرط الضروري لتصنيفات النماذج البديلة الموثوقة هو $\sigma^2_{arch} \gg \sigma^2_{noise}$ (تباين بنيوي عالٍ بالنسبة للضجيج).
تأثير السقف: تفسر النظرية لماذا تستقر موثوقية النموذج البديل عندما يكون الـ SNR منخفضًا (على سبيل المثال، في مجموعات البيانات ذات التنوع البنيوي المنخفض).

4. التحقق التجريبي

اختبر المؤلفون هذه النظريات مقابل تجربة مكونة من 22 دورة شملت ثلاثة نماذج لغوية (Mistral, Qwen, DeepSeek) و3,300 بنية مولدة.

التنبؤات الكمية المتسقة:
- الجودة الرتيبة: كان اتجاه متوسط الجودة الممهد غير متناقص لجميع النماذج.
- الجدة: تم قبول بنى جديدة في كل دورة، مما منع انهيار النمط.
الاتساق في اتجاه التأثير:
- تركيز النخبة: استقر التركيز $C_t$ عند 73-76%، وهو ما يتوافق مع سقف القدرة التعبيرية لـ LoRA (التقارب إلى $C^* < 1$ ).
- موثوقية النموذج البديل: طابق ترتيب ارتباطات سبيرمان (Mistral > Qwen > DeepSeek) ترتيب الـ SNR تمامًا. أظهر DeepSeek ارتباطًا غير معنوي، وهو ما يتوافق مع تنبؤات الـ SNR المنخفض.
الانحرافات:
- نسبة معدل الفرق: كانت النسبة الملحوظة (1.41) أقل من التنبؤ النظري المعاير (2.23)، وعُزي ذلك إلى الفروقات غير الصالحة من حيث التنسيق والارتباطات التي تتجاوز نموذج ماركوف من الدرجة الأولى.
- ارتباط Qwen: تجاوز ارتباط سبيرمان الملحوظ (0.635) تنبؤ التوزيع الطبيعي ثنائي المتغير (0.10) بسبب بتر سقف الدقة، وهو قصور ذكره المؤلفون.

5. الأهمية والادعاءات

يدعي البحث أنه يقدم أول ضمانات تقارب رسمية للبحث عن البنى العصبية التكراري القائم على النماذج اللغوية الكبيرة. وتكمن أهميته في:

التوحيد النظري: تحديد الـ LLM-NAS كطريقة CE معلمية، مما يسمح بتطبيق نظرية تقارب التحسين الراسخة.
تفسير الظواهر التجريبية: تقديم تبرير رياضي لسبب تفوق التوليد بالفرق، ولماذا تحدث سقوف الأداء مع استخدام LoRA.
أداة تشخيصية: تقديم صيغة ذات صيغة مغلقة لتشخيص موثوقية تصنيفات البنى القائمة على النماذج البديلة بناءً على الـ SNR، مما يفسر "تأثيرات السقف" التي لوحظت سابقًا دون تفسير.

يظل المؤلفون متواضعين، مشيرين إلى أن التحقق التجريبي يعتمد على مجموعة بيانات واحدة، وأن الحدود النظرية للنماذج المعدلة بـ LoRA (التقارب إلى $C^* < 1$ ) مشروطة بافتراضات القدرة التعبيرية التي يصعب التحقق منها تحليليًا. وقد تم تحديد العمل المستقبلي في توسيع معدلات التقارب للقيود منخفضة الرتبة والتعامل مع دعم الدقة المبتور.