🤖 machine learning

On Adaptivity in Zeroth-Order Optimization

تُثبت هذه الورقة أن المحسنات التكيفية من الدرجة الصفرية القياسية مثل ZO-Adam لا تقدم أي ميزة تقارب مقارنة بـ ZO-SGD في عمليات الضبط الدقيق للنماذج اللغوية الكبيرة (LLM) ذات الذاكرة المحدودة بسبب غياب عدم التجانس في تدرج الإحداثيات في الأبعاد العالية، مما أدى إلى اقتراح MEAZO، وهو بديل فعال من حيث استهلاك الذاكرة يتتبع فقط قيمة عددية واحدة لتكيف حجم الخطوة العالمي مع مطابقة الأداء وتحسين المتانة.

المؤلفون الأصليون: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "حول التكيف في التحسين من الدرجة صفر" (On Adaptability in Zeroth-Order Optimization) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: ضبط راديو ضخم بدون دليل استخدام

تخيل أن لديك راديو ضخماً ومعقداً يحتوي على ملايين الأزرار (هذه هي "المعلمات" أو الـ parameters الخاصة بنموذج لغوي كبير، أو LLM). أنت تريد ضبط هذا الراديو ليعزف أغنية محددة بشكل مثالي (عملية الضبط الدقيق للنموذج أو Fine-tuning).

عادةً، لضبط الراديو، تحتاج إلى دليل استخدام يخبرك بالضبط أي اتجاه يجب أن تدير فيه كل زر وبأي مقدار. في عالم الذكاء الاصطناعي، يسمى هذا الدليل "التدرج" (Gradient). حساب هذا الدليل يتطلب الكثير من الذاكرة وقوة حوسبة هائلة، وهو أمر مكلف وبطيء.

التحسين من الدرجة صفر (Zeroth-Order Optimization - ZO) هو خدعة ذكية: بدلاً من قراءة الدليل، تقوم فقط بتحريك الأزرار عشوائياً، وتستمع للنتيجة، لترى ما إذا كانت الموسيقى قد تحسنت أم ساءت. تفعل ذلك عبر دفع الأزران للأمام والخلف لتخمين الاتجاه. هذه الطريقة أقل تكلفة بكثير من حيث الذاكرة، لكنها "صاخبة" (Noisy) لأنك تعتمد على التخمين.

المشكلة: البوصلة "المبالغ في هندستها"

لفترة طويلة، اعتقد الباحثون أنه نظرًا لأن لعبة التخمين هذه مليئة بالضجيج، فأنت بحاجة إلى بوصلة ذكية جداً وتستهلك الكثير من الذاكرة لمساعدتك. هذا ما تفعله المحسنات التكيفية (Adaptive Optimizers) (مثل ZO-Adam). فهي تحاول تذكر تاريخ كل زر على حدة لتقرر مدى سرعة تدويره. إنها تحتفظ بـ "سجل ذاكرة" منفصل لكل زر من ملايين الأزرار.

الاكتشاف الكبير للورقة البحثية:
وجد المؤلفون أنه في البيئات ذات الأبعاد العالية (مثل نماذج الذكاء الاصطعي العملاقة)، تكون هذه البوصلة الذكية للغاية عديمة الفائدة.

التشبيه: تخيل أنك في حقل ضبابي تحاول العثور على أسفل الوادي.
- الدرجة الأولى (الذكاء الاصطناعي القياسي): لديك خريطة واضحة تظهر أن الأرض تنحدر بشدة نحو اليسكن ولكنها مسطحة جهة اليمين. أنت بحاجة إلى استراتيجية مختلفة لكل اتجاه.
- الدرجة صفر (لعبة التخمين): لأنك تخمن عبر تحريك الأزرار عشوائياً في مساحة ضخمة وضبابية، فإن "الضجيج" الناتج عن تخمينك يكون عالياً جداً لدرجة أنه يطغى على التفاصيل الدقيقة للتضاريس. الإشارة تبدو متشابهة في كل الاتجاهات. الأمر يشبه وجود ضباب كثيف جداً يجعل الأرض تبدو مسطحة ومنتظمة تماماً في كل مكان.
النتيجة: بما أن "التضاريس" تبدو متشابهة في كل الاتجاهات، فإن الاحتفاظ بسجل ذاكرة منفصل لكل زر هو مضيعة للوقت والذاكرة. فالطرق "التكيفية" المتطورة (مثل ZO-Adam) لا تساعدك فعلياً على الوصول إلى أسفل الوادي بشكل أسرع من الطريقة البسيطة (ZO-SGD). في الواقع، هي تجعل حقيبة ظهرك أثقل فحسب.

الحل: MEAZO (البوصلة البسيطة)

بما أن البوصلة المتطورة غير ضرورية، فقد بنى المؤلفون أداة جديدة تسمى MEAZO.

كيف تعمل: بدلاً من تتبع ملايين السجلات الفردية لكل زر، يتتبع MEAZO رقماً واحداً فقط للمجموعة بأكملها. هو يسأل: "في المتوسط، ما مقدار التغيير الذي طرأ على الموسيقى عندما حركنا كل شيء؟"
الفائدة: إنه يحتفظ بالجزء "الذكي" من الطريقة التكيفية (وهو تعديل سرعة الحركة بناءً على مدى وعورة التضاريس) ولكنه يتخلص من الأعباء الثقيلة.
التشبيه: تخيل أنك تمارس رياضة المشي لمسافات طويلة.
- ZO-Adam: تحمل جهاز GPS، ومقياس ضغط جوي، وبوصلة، وخريطة مفصلة لكل خطوة تخطوها. هذا ثقيل، ويجعلك تشعر بالتعب.
- ZO-SGD: أنت تمشي للأمام فقط. أنت خفيف، ولكن إذا أصبح الطريق صخرياً، فقد تتعثر.
- MEAZO: تحمل جهاز عد خطوات بسيط يخبرك بمتوسط مدى وعورة الطريق. إذا أصبح الطريق صخرياً، فإنك تبطئ سرعتك. وإذا كان الطريق ناعماً، فإنك تزيد سرعتك. أنت لا تحتاج إلى خريطة لكل صخرة؛ بل تحتاج فقط لمعرفة "جو" المسار العام.

ما أظهرته التجارب

اختبر الفريق هذه الطريقة على نماذج لغوية كبيرة حقيقية (مثل Llama و Qwen) وعلى مسائل رياضية اصطناعية.

الأداء: عندما يتم ضبط الإعدادات بشكل صحيح، أدت الطريقة البسيطة (ZO-SGD) بشكل جيد تماماً مثل الطريقة المتطورة (ZO-Adam).
الذاكرة: استخدم MEAZO نفس كمية الذالة الصغيرة التي تستخدمها الطريقة البسيطة، بينما استخدمت الطريقة المتطرفة ذاكرة أكبر بكثير.
المتانة (شبكة الأمان): هذا هو الاكتشاف الأكثر أهمية. بينما تعمل الطريقة البسيطة بشكل رائع إذا اخترت سرعة المشي "المثالية"، إلا أنها تنهار إذا اخترت سرعة سريعة جداً أو بطيئة جداً. الطرق المتطورة (وMEAZO) أكثر تسامحاً. إذا اخترت سرعة "سيئة"، فإن MEAZO سيظل يوصلك إلى وجهتك دون أن يصطدم. الأمر يشبه سيارة مزودة بنظام مثبت السرعة (Cruise Control) يعدل نفسه تلقائياً مع التلال، بينما السيارة البسيطة تستمر في السير بسرعة ثابتة وقد تصطدم بعقبة.

الملخص

الأسطورة: "نحن بحاجة إلى أدوات تكيفية معقدة وثقيلة الذاكرة لجعل تدريب الذكاء الاصطنا_من الدرجة صفر يعمل بشكل جيد".
الواقع: في نماذج الذكاء الاصطناعي عالية الأبعاد، يجعل الضجيج التضاريس تبدو موحدة، لذا فإن الأدوات المعقدة هي مجرد هدر للذاكرة.
الحل: MEAZO هو أداة جديدة تتتبع رقماً واحداً عالمياً بدلاً من ملايين الأرقام. إنه يستخدم ذاكرة قليلة جداً (مثل الطريقة البسيطة) ولكنه أكثر استقراراً وتسامحاً مع الإعدادات (مثل الطريقة المعقدة).

يسمح هذا للباحثين بضبط النماذج اللغوية الضخمة على أجهزة ذات ذاكرة محدودة (مثل الأجهزة الطرفية/Edge Devices) دون الحاجة إلى حواسيب فائقة، مع الحصول في الوقت نفسه على نتائج مستقرة وعالية الجودة.

ملخص تقني: حول التكيف في التحسين من الدرجة الصفرية

بيان المشكلة

تتناول الورقة البحثية تحدي الضبط الدقيق للنماذج اللغوية الكبيرة (LLMs) في ظل قيود الذاكرة. وبينما يعد الانتشار العكسي (backpropagation) هو المعيار المتبع في الضبط الدقيق، فإنه يتطلب ذاكرة كبيرة لتخزين التنشيطات (activation caching) وعمليات الحوسبة ذات الدقة العالية. وقد برز التحسين من الدرجة الصفرية (Zeroth-order optimization - ZO) كبديل فعال من حيث استهلاك الذاكرة، حيث يقوم بتقريب التدرجات عبر تمريرات أمامية (forward passes) على معاملات مضطربة عشوائياً. ومع ذلك، تعاني طرق الدرجة الصفرية من تباين عالٍ، مما يؤدي إلى بطء التقارب مقارنة بطرق الدرجة الأولى (First-order methods).

حاولت أعمال حديثة التخفيف من هذا التباين عبر إدخال محسنات الدرجة الصفرية التكيفية (مثل ZO-Adam)، والتي تحاكي طرق الدرجة الأولى التكيفية عبر تتبع العزوم الأولى والثانية للتدرجات لكل إحداثي. ويشكك المؤلفون في فعالية هذا النهج، مفترضين أن عدم التجانس على مستوى الإحداثيات (coordinate-wise heterogeneity) المطلوب لنجاح الطرق التكيفية قد يكون غائباً في إعدادات الدرجة الصفرية عالية الأبعاد.

المنهجية والتحليل

التحليل النظري لتدرجات الدرجة الصفرية

يحلل المؤلفون الخصائص الإحصائية لمقدرات تدرج الدرجة الصفرية في الأبعاد العالية. وقد أثبتوا أنه بسبب الطبيعة المتناحية (isotropic) للاضطرابات العشوائية، تفتقر تقديرات تدرج الدرجة الصفرية إلى عدم التجانس بين الإحداثيات الموجود في تدرجات الدرجة الأولى.

الافتراض 3.1: يثبت المؤلفون أن متوسط مربع تدرج الدرجة الصفرية يهيمن عليه حد عالمي يعتمد على مربع معيار التدرج الحقيقي، بدلاً من قيم الإحداثيات الفردية. وتحديداً، فإن الانحياز (bias) الناتج عن المقدر يتناسب مع $1/q$ (حيث $q$ هو عدد عينات الضوضاء) ويصبح غير مرتبط بالإحداثيات في الأبعاد العالية ( $q \ll d$ ).
الاستنتاج: الآليات التكيفية التي تتبع الإحصائيات لكل إحداثي (مثل العزم الثاني في Adam) لا تتوافق مع إحصائيات تدرج الدرجة الصفرية، مما يجعلها غير فعالة من حيث استهلاك الذاكن دون تقديم فوائد في التقارب.

الطريقة المقترحة: MEAZO

بالاستفادة من الرؤية القائلة بأن التكيف مع حجم الخطوة العالمي كافٍ، يقترح المؤلفون MEAZO (محسن الدرجة الصفرية التكيفي عالي كفاءة الذاكرة).

التصميم: على عكس ZO-Adam، الذي يحتفظ بمتجه من العزوم الثانية لكل معلمة (parameter)، يقوم MEAZO بتتبع كمية قياسية واحدة (scalar) تمثل المعيار المربع العالمي للمتجه المسقط.
قاعدة التحديث: يقوم التحديث بتغيير حجم الخطوة العالمي بناءً على هذه الكمية القياسية، مما يؤدي فعلياً إلى تكييف معدل التعلم بناءً على الانحناء العالمي دون عبء ذاكرة لكل معلمة.
التوسيع المجموعاتي (Grouped Extension): يتوسع MEAZO بشكل طبيعي ليشمل إعدادات الدرجة الصفرية المجمعة (block-coordinate)، حيث يحافظ على كمية قياسية واحدة لكل مجموعة بدلاً من معلمة واحدة، مما يقلل الذاكرة مع التقاط عدم التجانس على مستوى المجموعة.

الضمانات النظرية

تقدم الورقة ضمانات تقارب رسمية لـ MEAZO تحت افتراضات قياسية (النعومة L-smoothness، التباين المحدود، التدرجات المحدودة).

يعامل التحليل تدرج الدرجة الصفرية كمقدر غير متحيز لدالة ممهدة (smoothed objective function).
النظرية 4.7: تثبت معدل تقارب لـ MEAZO يطابق المعدلات القياسية لـ SGD التكيفي في وجود حدود تباين أفيني (affine variance bounds). وقد أظهر التحليل أن معدل التقارب هو $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$ ، مما يؤكد أن الطريقة تتقارب نحو نقطة ثابتة مع حجم جوار ضوضائي يعتمد على عدد العينات $q$ ومقدار الاضطراب $\epsilon$ .

النتائج التجريبية

التجارب الاصطناعية

سلوك العزم الثاني: في المسائل التربيعية الاصطناعية، لاحظ المؤلفون أنه مع زيادة الأبعاد، ينهار متجه العزم الثاني لـ ZO-Adam إلى قيمة واحدة (المعيار العالمي)، بينما يحافظ FO-Adam على قيم متميزة لكل إحداثي. وهذا يؤكد تجريبياً الادعاء النظري بأن التكيف لكل إحداثي هو أمر زائد عن الحاجة في إعدادات الدرجة الصفرية عالية الأبعاد.
المتانة: يُظهر MEAZO متانة محسنة تجاه خيارات حجم الخطوة مقارنة بـ ZO-SGD، خاصة في الإعدادات الهيكلية المجمعة غير المتجانسة، مما يجعله يضاهي استقرار ZO-Adam.

الضبط الدقيق للنماذج اللغوية الكبيرة (LLM Fine-Tuning)

أُجريت التجارب على عائلات نماذج متعددة (Llama-3.2, Qwen-3, Ministral) ومهام متنوعة (XSum, SST-2, SQuAD) باستخدام كل من LoRA وضبط المطالبات (prompt tuning).

الأداء مقابل الذاكرة:
- ZO-SGD مقابل ZO-Adam: مع ضبط حجم الخطوة بشكل صحيح، يضاهي أو يتفوق ZO-SGD على ZO-Adam في الضبط الدقيق لـ LoRA عالي الأبعاد، مما يؤكد أن التكيف لكل إحداثي يقدم فائدة محدودة.
- أداء MEAZO: يحقق MEAZO أداءً مقارباً لـ ZO-Adam ولكن مع بصمة ذاكرة تعادل ZO-SGD (تتبع كمية قياسية واحدة مقابل متجه كامل).
المتانة: بينما يعمل ZO-SGD المضبط جيداً بشكل جيد، إلا أنه هش تجاه أحجام الخطوات غير المثالية. يحافظ MEAZO على متانة الطرق التكيفية (توسيع نافذة معدل التعلم المستقر) دون تكلفة الذاكرة.
الإعدادات المجمعة: في إعدادات الدرجة الصفرية المجمعة، يتكيف MEAZO مع الإحصائيات الخاصة بكل مجموعة (على سبيل المثال، الطبقات المبكرة التي تظهر حساسية أعلى)، مما يحافظ على تقارب مستقر حيث يمكن لـ grouped ZO-SGD أن يتباعد.

المساهمات الرئيسية

الرؤية النظرية: تثبت الورقة أن تدرجات الدرجة الصفرية في الأبعاد العالية متجانسة جوهرياً، مما يجعل آليات التكيف لكل إحداثي (مثل تلك الموجودة في ZO-Adam) غير فعالة من حيث استهلاك الذاكرة وغير ضرورية نظرياً للتقارب.
الابتكار الخوارزمي: تقديم MEAZO، وهو محسن درجة صفرية تكيفي يعتمد على الكميات القياسية، ويحقق التكيف مع حجم الخطوة العالمي مع عبء ذاكرة ضئيل جداً.
التحقق التجريبي: تجارب شاملة عبر نماذج لغوية كبيرة ومهام متنوعة تُظهر أن MEAZO يضاهي أداء النماذج التكيفية الأساسية (ZO-Adam) مع الحفاظ على كفاءة الذاكرة للنماذج غير التكيفية (ZO-SGD).
تحليل التقارب: تقديم ضمانات تقارب رسمية لـ ME_AZO في الإعدادات غير المحدبة، مما يسد الفجوة بين نظرية SGD التكيفية والتحسين من الدرجة الصفرية.

الأهمية والادعاءات

يدعي المؤلفون أن عملهم يعيد تقييم ضرورة الآليات التكيفية المعقدة في التحسين من الدرجة الصفرية. ويجادلون بأنه بالنسبة للضبط الدقيق للنماذج اللغوية الكبيرة عالية الأبعاد، فإن الميزة الأساسية للتكيف لا تكمن في القياس لكل إحداثي، بل في متانة حجم الخطوة العالمي.

تتم صياغة أهمية MEAZO حول بيئات الذاكرة المقيدة (مثل الأجهزة الطرفية/Edge devices). ومن خلال تحقيق متانة الطرق التكيفية مع كفاءة الذاكرة لـ SGD، يتيح ME_AZO لمزيد من الباحثين والممارسين ذوي الموارد المحدودة المشاركة في الضبط الدقيق للنماذج الكبيرة. وتخلص الورقة بتواضع إلى أنه بينما يعد ZO-SGD كافياً عند ضبطه بدقة، فإن MEAZO يوفر بديلاً عملياً ومستقراً وقابلاً للتوسع يخفف من هشاشة اختيار حجم الخطوة دون تحمل عقوبات الذاكرة. ويُقترح كعمل مستقبلي تحسين التقارب نحو النقاط الثابتة الدقيقة وتوسيع MEAZO ليشمل أطر عمل الدرجة الصفرية في الفضاءات الجزئية (subspace ZO frameworks).