🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

تُثبت هذه الورقة أن التحسين من الدرجة الصفرية الموفر للذاكرة (MeZO) يُمكّن من الضبط الدقيق للنماذج الأكبر حجماً بكثير من النماذج التقليدية عبر الانتشار العكسي من خلال إجراء الضبط الدقيق على الأجهزة، وذلك عبر إلغاء الحاجة إلى تخزين التنشيطات وحالات المُحسِّن، وبالتالي المقايضة بزيادة في وقت التنفيذ الفعلي مقابل دقة فائقة في ظل قيود الذاكرة الصارمة.

المؤلفون الأصليون: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية من المعرفة (نموذج لغوي كبير) وتريد اصطحابها معك على جهاز صغير يعمل بالبطارية، مثل هاتف ذكي أو ساعة ذكية. تريد لهذا الجهاز أن يتعلم مهارات جديدة خصيصاً لتلبية احتياجاتك في مكانك ذاك، دون الحاجة إلى الاتصال بخادم ضخم في السحابة. تسمى هذه العملية الضبط الدقيق على الجهاز (on-device fine-tuning).

المشكلة هي أن "عقل" الجهاز (ذاكرته) صغير جداً مقار بالمكتبة.

الطريقة القديمة: حقيبة "الانتشار العكسي" (Backpropagation)

الطريقة التقليدية لتعليم هذه النماذج تسمى الانتشار العكسي (Backpropagation - BP). فكر في هذا الأمر كطالب يحاول تعلم موضوع جديد من خلال إجراء اختبار، ثم كتابة كل فكرة، وكل ورقة مسودة، وكل عملية حسابية وسيطة قام بها فوراً لكي يتمكن من مراجعتها لاحقاً ليرى أين أخطأ.

التشبيه: تخيل أنك تحاول حل مسألة رياضية معقدة على منديل صغير جداً. لاستخدام الطريقة القديمة، عليك الاحتفاظ بنسخة من كل خطوة اتخذتها في ورقة منفصلة لكل طبقة من طبقات المسألة.
النتيجة: "المنديل" (ذاكرة جهازك) سيمتلئ فوراً. ولأنك مضطر لحفظ كل تلك الملاحظات الوسيطة، فلن تتمكن إلا من حمل مكتبة صغيرة وبسيطة على جهازك. إذا حاولت إحضار مكتبة ضخمة، فستنفد المساحة منك قبل أن تبدأ التعلم حتى.

الطريقة الجديدة: حدس "MeZO"

تقدم الورقة البحثية طريقة جديدة تسمى MeZO (التحسين من الدرجة صفر الموفر للذاكرة - Memory-Efficient Zeroth-Order Optimization). هذه الطريقة لا تكتب الخطوات الوسيطة. بدلاً من ذلك، تستخدم نهج "التجربة والخطأ".

التشبيه: تخيل أنك تحاول إيجاد أفضل مسار عبر متاهة. بدلاً من رسم خريطة لكل منعطف قمت به (مما يتطلب الكثير من الورق)، تقوم فقط باتخاذ خطوة، لترى ما إذا كنت قد اصطدمت بحائط، ثم تأخذ خطوة صغيرة في اتجاه مختلف، لترى ما إذا كان ذلك أفضل. أنت تتذكر فقط "نتيجة" الخطوة، وليس كامل عملية التفكير التي أدت إليها.
النتيجة: لست بحاجة لحمل حقيبة ظهر ثقيلة مليئة بالملاحظات. يمكنك وضع مكتبة أكبر بكثير بكثير على جهازك لأنك لا تهدر المساحة في "أوراق المسودة".

المقايضة: السرعة مقابل الحجم

تطرح الورقة البحثية ادعاءً محدداً بشأن المقايضة:

ميزة الحجم: نظرًا لأن MeZO لا يحتاج إلى تخزين كل تلك الملاحظات الوسيطة، يمكنك استيعاب نماذج أكبر بمرتين على الأقل مما تسمح به الطريقة القديمة. وإذا كان لديك محادثة طويلة (سياق طويل)، فإن الميزة تزداد بشكل هائل—لتصل إلى 25 ضعفاً.
- عملية حسابية بسيطة: إذا كانت الطريقة القديمة تسمح لك بحمل قاموس مكون من 3 مليارات كلمة، فقد يسمح لك MeZO بحمل قاموس مكون من 13 مليار كلمة على نفس الجهاز.
تكلفة السرعة: الجانب السلبي هو أن MeZO أبطأ. نظرًا لأنه يتعين عليه "التخمين والتحقق" مرات عديدة لمعرفة الاتجاه الصحيح (بدلاً من مجرد النظر في ملاحظاته)، فإنه يستغرق وقتاً أطول للتعلم.
- ما وجدته الورقة: في تجاربهم، تعلمت الطريقة القديمة بسرعة ولكنها اصطدمت بـ "سقف" لأنها كانت مجبرة على استخدام نموذج صغير. أما الطريقة الجديدة (MeZO)، فقد تعلمت ببطء، ولكن لأنها كانت تستخدم نموذجاً أكبر وأكثر ذكاءً، انتهى بها الأمر في النهاية بتحقيق دقة أفضل.

ما اختبروه بالفعل

لم يكتف الباحثون بالرياضيات فقط؛ بل أجروا تجارب على شريحة حاسوبية قوية (H100 GPU) لمحاكاة جهاز:

قارنوا بين نموذج صغير تم تدريبه بطريقة "حقيبة الظهر الثقيلة" القديمة، مقابل نموذج أكبر بكثير تم تدريبه بالطريقة الجديدة "خفيفة الوزن".
النتيجة: على الرغم من أن الطريقة الجديدة استغرقت وقتاً أطول (حوالي ساعتين للحصول على نتائج جيدة)، إلا أن النموذج الأكبر الذي دربته كان أذكى بكثير (دقة 82%) من النموذج الصغير الذي تم تدريبه بسرعة (أقل من 75% دقة).
كما اختبروا التدريب "المتفرق" (Sparse Training) (تحديث 1% فقط من عقل النموذج). وحتى مع هذه الحيلة، كانت الطريقة القديمة لا تزال تحتاج إلى ذاكرة أكثر من طريقة MeZO، لأن "أوراق المسودة" (المنشطات/Activations) كانت لا تزال تمثل المشكلة الأكبر.

الخلاصة

تخلص الورقة البحثية إلى أنه إذا كنت تريد تشغيل ذكاء اصطناعي ذكي حقاً على جهاز ذي ذاكرة محدودة، فإن MeZO هو الخيار الأفضل. فهو يسمح لك بجلب "عقل أكبر" إلى الحافة (Edge)، بشرط أن تكون مستعداً للانتظار لفترة أطول قليلاً ليتعلم. إنه يحول محدودية "الذاكرة الصغيرة" إلى ميزة من خلال تغيير كيفية حدوث التعلم، بدلاً من مجرد تقليص حجم النموذج.

ملخص تقني: الضبط الدقيق على الأجهزة عبر التحسين من الدرجة صفر الخالي من الانتشار العكسي

بيان المشكلة

يعد الضبط الدقيق على الأجهزة (On-device fine-tuning) أمراً جوهياً لأنظمة الذكاء الاصطناğu الطرفية (Edge AI) للتكيف مع المهام الوكيلية (agentic tasks) واحتياجات المستخدم المتطورة دون الاعتماد على خوادم خارجية. ومع ذلك، توجد عقبة حرجة: فالضبط الدقيق التقليدي عبر الانتشار العكسي (Backpropagation - BP) يستهلك ذاكرة أكبر بكثير من الاستدلال. يتطلب الـ BP تخزين التنشيطات الوسيطة للطبقات وحالات المُحسّن (optimizer states) لكل طبقة، مما يستلزم غالباً ذاكرة تزيد بمقدار مرتبة عشرية عن عملية التمرير الأمامي (forward pass) الواحدة. ونتيجة لذلك، تُجبر الأجهزة الطرفية ذات قيود الذاكرة الصارمة على نشر نماذج أصغر بكثير مما يمكنها تشغيله في مرحلة الاستدلال، مما يحد بشدة من قدرات الذكاء الاصطناعي على الأجهزة.

المنهجية

يقترح هذا البحث ويحلل التحسين من الدرجة صفر الموفر للذاكرة (MeZO) كحل لعنق زجاجة الذاكرة. وخلافاً للانتشار العكسي (BP)، يقوم MeZO بتقدير التدرجات باستخدام التقييمات الأمامية (الاضطرابات) فقط، مما يلغي الحاجة إلى تخزين التنشيطات الوسيطة أو الحفاظ على حالات المُحسّن.

يتضمن نهج المؤلفين مكونين رئيسيين:

التحليل النظري للذاكرة: يستنتج البحث تقديرات رياضية للبصمات الذاكرية لـ BP و MeZO في نماذج Transformer المكونة من فك التشفير فقط (decoder-only). يأخذ التحليل في الاعتبار:
- عدد المعلمات (Parameter Count): بما في ذلك طبقات الانتباه متعدد الرؤوس (multi-head attention) ومتغيرات الانتباه بنظام الاستعلام المجموع (Grouped Query Attention)، وطبقات الشبكة العصبية التغذوية الأمامية (FFN).
- تخزين التنشيط (Activation Storage): حساب الذاكرة المطلوبة لتخزين التنشيطات لـ BP، والتي تتناسب مع طول السياق ( $N$ )، وحجم الدفعة ( $B$ )، والبعد الخفي ( $D$ ).
- حالات المُحسّن (Optimizer States): بافتراض مُحسّن SGD عديم الحالة (stateless) لعزل تأثير تخزين التنشيط.
- عوامل التنفيذ: إدخال عامل $L' \leq L$ لتمثيل الحد الأقصى لعدد طبقات التنشيط التي يخزنها MeZO بسبب التخزين المؤقت الخاص بالتنفيذ، مما يسمح بمقارنة واقعية.
التحقق التجريبي: تم التحقق من الادعاءات النظرية من خلال تجارب عددية على وحدة معالجة رسوميات واحدة من نوع H100 باستخدام مجموعتي بيانات BoolQ و MultiRC. تقارن الدراسة بين:
- الضبط الدقيق الكامل (Full Fine-Tuning): مقارنة BP (باستخدام GPT2-medium) مقابل MeZO (باستخدام Llama2-7B و Llama2-13B) تحت ميزانيات ذاكرة ثابتة (~17 جيجابايت).
- الضبط الدقيق الفعال للمعلمات (PEFT): تقييم التحديثات المتفرقة (ضبط 1% فقط من المعلمات) لكل من BP و MeZO باستخدام نماذج Qwen3 لتقييم تأثير التفرع (sparsity) على الذاكرة والدقة.

المساهمات الرئيسية

يقدم البحث المساهمات المحددة التالية:

تحليل الذاكرة: مقارنة نظرية تثبت أنه، في ظل ميزانيات ذاكرة على الشريحة ثابتة، يمكن لـ MeZO استيعاب نماذج أكبر بمرتين (2×) على الأقل من BP. ويتوسع هذا التفوق مع طول السياق، ليصل إلى 25 ضعفاً للسياقات الطويلة (مثل $N=32768$ ) بدون استخدام تقنية نقاط الفحص (checkpointing)، وحوالي 5 أضعاف مع استخدام نقاط فحص التنشيط.
رؤى التوسع (Scaling Insights): يكشف التحليل أنه بينما تتوسع ذاكرة المعلمات خطياً مع عدد الطبقات ( $L$ )، فإن ذاكرة التنشيط في BP تتوسع تربيعياً مع طول السياق ( $N$ ) وخطياً مع $L$ . يتجنب MeZO العقوبة التربيعية للسياق، مما يجعله متفوقاً بشكل متزايد مع نمو نوافذ السياق.
التحقق التجريبي: تؤكد النتائج العددية أنه بينما يظهر MeZO تقارباً أبطأ من حيث وقت التشغيل الفعلي (wall-clock time)، فإنه يحقق دقة تحقق فائقة في ظل قيود الذاكرة الصارمة لأنه يسمح بنشر نماذج أكبر بكثير وأكثر قدرة.
تقييم PEFT: تظهر الدراسة أن تقليل عدد المعلمات المحدثة عبر PEFT لا يقلل بشكل كبير من عبء الذاكرة في BP، لأن ذاكرة التنشيط تظل هي العامل المهيمن على الاستهلاك الكلي. في المقابل، يستمر MeZO في تمكين ضبط نماذج أكبر (مثلاً 4B مقابل 0.6B) ضمن نفس ميزانية الذاكرة، مما يؤدي إلى أداء أفضل.

النتائج

المقايضة بين الدقة والوقت: تظهر التجارب على مجموعة بيانات BoolQ أن MeZO يتقارب بشكل أبطأ من BP من حيث وقت التشغيل الفعلي. ومع ذلك، بعد حوالي ساعتين من الضبط الدقيق، يحقق MeZO (باستخدام نموذج بـ 13 مليار معلمة) دقة تقارب 82%، بينما يظل BP (باستخدام نموذج أصغر يعادل 0.6B-1.5B بسبب قيود الذاكرة) تحت 75%.
كفاءة الذاكرة: تزداد نسبة متطلبات الذاكرة (BP/MeZO) مع طول السياق. لطول سياق يبلغ 32,768، يتطلب MeZO ذاكرة أقل بنحو 25 مرة من BP بدون استخدام نقاط الفحص.
محدودية التفرع (Sparsity): يوضح البحث أن تقليل عدد المعلمات المحدثة عبر PEFT لا يخفف بشكل كبير من عبء الذاكرة في BP، حيث يظل تخزين التنشيط هو العامل المهيمن. أما MeZO، فمن خلال تجنب تخزين التنشيط تماماً، يحافظ على ميزته حتى عندما يتم جعل BP متفرقاً.

الأهمية والادعاءات

يضع البحث MeZO كمرشح قوي لسيناريوهات الضبط الدقيق على الأجهزة، لا سيما للأنظمة الطرفية الوكيلية وتطبيقات التعلم المستمر. تكمن الأهمية الأساسية في نقل القيد من "حجم النموذج" إلى "وقت الضبط الدقيق". ومن خلال قبول مدة تدريب أطول، يمكن للأجهزة الطرفية ضبط نماذج أكبر بعدة مراتب من حيث الحجم مما هو ممكن باستخدام الانتشار العكسي، مما يفتح آفاقاً لأداء أعلى مباشرة على الجهاز.

يخلص المؤلفون إلى أن MeZO يقلل بفعالية من متطلبات ذاكرة التدريب لتصل إلى مستوى ذاكرة الاستدلال، مما يتيح نشر نماذج أكبر ونوافذ سياق أطول على الأجهزة ذات الموارد المحدودة. ويشيرون إلى أنه بينما يركز هذا التحليل الحالي على بنيات Transformer القياسية، يمكن تعميم الاستنتاجات على المتغيرات الحديثة (مثل الانتباه ذو النافذة المنزلقة، أو خليط الخبراء - Mixture-of-Experts)، وهناك حاجة لمزيد من الأبحاث لتخصيص هذه النتائج للأنظمة العصبية (neuromorphic systems) والتفرع الديناميكي.