🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

تقدم هذه الورقة البحثية ZO-Finetuner، وهو مُحسِّن قائم على التعلم من الرتبة الصفرية (zeroth-order optimizer) يتعلم تلقائياً استراتيجيات اضطراب فعالة من خلال تصميم موفر للذاكرة، مما يتيح التدريب لمرة واحدة لكل نموذج وأداءً فائقاً عبر مهام متنوعة في مرحلة ما بعد التنزيل مقارنة بالأساليب الثابتة الحالية من الرتبة الصفرية.

المؤلفون الأصليون: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة ومعقدة للغاية (نموذج لغوي كبير، أو LLM) تعرف كيف تكتب، وتفكر، وتدردش. تريد تعليم هذه المكتبة مهارة جديدة ومحددة، مثل كتابة العقود القانونية أو حل المسائل الرياضية. تسمى هذه العملية "الضبط الدقيق" (Fine-tuning).

عادةً، يتطلب تعليم هذه المكتبة طريقة مكلفة للغاية تسمى "الانتشار العكسي" (Backpropagation). فكر في الأمر كمعلم، بعد كل جملة يكتبها الطالب، يتعين عليه المرور عبر المكتبة بأكملها، وفحص كل كتاب، وحساب كيفية تعديل دماغ الطالب بدقة. إنها طريقة دقيقة، لكنها تتطلب كمية هائلة من الذاكرة والطاقة، مما يجعل القيام بها على أجهزة الكمبيوتر العادية أمراً مستحيلاً.

لحل هذه المشكلة، طور الباحثون طريقة "الرتبة الصفرية" (Zeroth-Order) (مثل MeZO). بدلاً من المرور عبر المكتبة بأكملها، تعمل هذه الطريقة مثل مستكشف معصوب العينين. يقوم المستكشف بتخمين بسيط (اضطراب)، ويرى ما إذا كانت النتيجة قد تحسنت أم ساءت، ثم يقوم بتخمين بسيط آخر في الاتجاه المعاكس. ومن خلال مقارنة النتائج، يمكنه معرفة الطريق الذي يجب أن يسلكه دون الحاجة لرؤية الصورة الكاملة. هذا يوفر كمية هائلة من الذاكرة.

المشكلة: "الخريطة الموحدة للجميع"
يستخدم المستكشفون المعصوبو العينون الحاليون استراتيجية عشوائية ثابتة. فهم يخمنون الاتجاهات بناءً على قاعدة قياسية مملة (مثل رمي نرد عادل). ولكن هذه الطة غير فعالة؛ فأحياناً، تحتوي المكتبة على "غرف" محددة (كتل من المعلمات) حيث تحتاج إلى أن تكون دقيقاً للغاية، بينما توجد غرف أخرى يمكنك أن تكون فيها جامحاً. الاستراتيجية الثابتة لا تعرف ذلك؛ فهي تعامل كل جزء من المكتبة بنفس الطريقة.

الحل: مُضبط الـ ZO (المستكشف الذكي)
ابتكر المؤلفون ZO Fine-tuner، وهو نظام "تعلم كيفية التعلم". بدلاً من استخدام قاعدة ثابتة، قاموا بتدريب "مدرب" صغير وفعال للغاية (شبكة عصبية صغيرة) ليعلم المستكشف المعصوب العينين كيف يخمن بشكل أفضل.

إليك كيف يعمل، باستخدام بعض التشبيهات:

المدرب (ZO Fine-tuner): تخيل مدرباً يراقب المستكشف. المدرب لا يحتاج لرؤية المكتبة بأكملها. بدلاً من ذلك، ينظر المدرب إلى بعض الإحصائيات البسيطة: "ما مدى الفوضى في هذه الغرفة الآن؟" و"هل ساعد التخمين الأخير أم أضر؟". وبناءً على ذلك، يخبر المدرب المستكشف: "في هذه الغرفة تحديداً، اتخذ خطوة كبيرة وجريئة. وفي تلك الغرفة الأخرى، اتخذ خطوة صغيرة وحذرة".
استراتيجية الكتل (The Block Strategy): المكتبة ضخمة (مليارات المعلمات). إذا حاول المدرب إعطاء تعليمات لكل كتاب على حدة، فسيكون ذلك بطيئاً جداً ويستهلك الكثير من الذاكرة. ومع ذلك، لاحظ الباحثون أن المكتبة منظمة في "كتل" (مثل أقسام الكتب). لذا، يتعلم المدرب إعطاء تعليم واحد لكل كتلة. هذا يشبه مدرباً يخبر فريقاً كاملاً من اللاعبين بكيفية التحرك معاً، بدلاً من الصراخ في وجه كل لاعب على حدة. هذا يحافظ على استهلاك الذاكرة صغيراً جداً.
سحر "تدرب مرة واحدة، واستخدم على نطاق واسع": عادةً، يتعين عليك تدريب مدرب جديد لكل مهمة جديدة. لكن المؤلفين وجدوا شيئاً مذهلاً: "شكل" المكتبة لا يتغير كثيراً، سواء كنت تعلمها الرياضيات أو كتابة القصص. لذا، قاموا بتدريب المدرب مرة واحدة على مجموعة بيانات واحدة (COPA). ثم أخذوا نفس المدرب وأرسلوه لتعليم المكتبة مهاماً مختلفة تماماً (مثل تحليل المشاعر أو فهم القراءة) وحتى نسخاً مختلفة من المكتبة.
- النتيجة: المدرب الذي تم تدريبه على مهمة واحدة عمل بشكل جيد بشكل مفاجئ في جميع المهام الأخرى. إنه مثل تدريب سائق على مضمار محدد، ثم جعلهم يقودون ببراعة على طريق سريع مختلف تماماً دون الحاجة لممارسة جديدة.

النتائج
اختبر المؤلفون هذه الطريقة على أربعة نماذج لغوية كبيرة وسبع مهام مختلفة.

الأداء: في حوالي 82% من الحالات، حقق هذا "المستكشف الذكي" نتيجة أفضل بشكل أسرع من مستكشفي "القاعدة الثابتة".
الكفاءة: لم يتطلب الكثير من الذاكرة الإضافية. "المدرب" نفسه صغير جداً (أقل من 2 ميجابايت لنموذج مكون من 30 مليار معلمة)، مما يجعله مثل إضافة صفحة ملاحظات واحدة إلى موسوعة بحجم 60 جيجابايت.
الاستقرار: كانت الطريقة الجديدة أيضاً أقل حساسية لـ "معدل التعلم" (حجم الخطوات). حتى لو أخبرتهم باتخاذ خطوات أكبر، لم تنهار الطريقة بسه Old كما تفعل الطرق القديمة.

باختصار
يقدم البحث طريقة لتعليم نماذج الذكاء الاصطناعي العملاقة مهارات جديدة دون الحاجة إلى كمبيوتر خارق. لقد استبدلوا استراتيجية التخمين العشوائية والجامدة بمدرب صغير وذكي يتعلم كيفية تخمين الاتجاهات الصحيحة لمختلف أجزاء النموذج. وبمجرد تدريب هذا المدرب على مهمة واحدة، يمكن إعادة استخدامه لتعليم النموذج العديد من المهام الأخرى بكفاءة، مما يوفر الوقت وذاكرة الكمبيوتر.

ملخص تقني: تعلم مُحسِّن من الدرجة الصفرية لضبط النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تتسبب عملية الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) باستخدام المُحسّنات القياسية من الدرجة الأولى (مثل Adam) في عبء ذاكرة باهظ الثمن، حيث تتطلب غالبًا ما يصل إلى 12 ضعف ذاكرة الاستدلال بسبب تخزين حالات المُحسّن وتنشيطات الانتشار العكسي (backpropagation). وبينما برزت مُحسّنات الدرجة الصفرية (Zeroth-Order - ZO) مثل MeZO كبديل فعال من حيث الذاكرة عبر الاعتماد على التمريرات الأمامية (forward passes) فقط، إلا أن الطرق الحالية تستخدم عادةً استراتيجيات أخذ عينات ثابتة ومصممة يدويًا (مثل التوزيعات الطبيعية القياسية). هذه الاستراتيجيات الثابتة لا يمكنها التكيف مع الخصائص الهيكلية المختلفة للنماذج أو المهام، مما يتطلب ضبطًا مكثفًا للمعلمات الفائقة (hyperparameters) وغالبًا ما تفشل في استغلال الهندسة المحلية لمساحة الخسارة (loss landscape) بشكل كامل.

المنهجية: ZO Fine-tuner

يقترح المؤلفون ZO Fine-tuner، وهو مُحسّن من الدرجة الصفرية قائم على التعلم، مصمم لتعلم استراتيجيات الاضطراب (perturbation) الفعالة من خلال إطار عمل "التعلم للتعلم" (Learning to Learn - L2L). يكمن الابتكار الجوهري في الانتقال من الاضطراب الموحد والثابت إلى الاضطراب التكيفي القائم على الكتل (block-wise).

1. بنية الاضطراب القائمة على الكتل (Block-Wise Perturbation Architecture)

مدفوعًا بالتحليلات الحديثة التي تشير إلى أن مصفوفات هسيان (Hessian) في نماذج Transformer تظهر بنية تقريبية قطرية كتلية (block-diagonal)، تتجنب هذه الطريقة المعلمة لكل إحداثي (coordinate-wise parameterization) — والتي تعد مستحيلة من حيث استهلاك الذاكرة عند هذا النطاق — لصالح التكيف القائم على الكتل.

PertNN: لكل كتلة بارامترات $i$ في النموذج اللغوي الكبير، تقوم شبكة عصبية مساعدة خفيفة الوزن (PertNN) بالتنبؤ بتباين اضطراب مشترك $\sigma_t^{(i)}$ .
المدخلات: تأخذ PertNN كمدخلات إحصاءات تلخيصية مضغوطة للبارامترات الحالية (المتوسط والتباين للكتلة)، وتباين الاضطراب السابق، وقيم الخسارة من الخطوة السابقة.
المخرجات: تخرج الشبكة التباين المحدث $\sigma_t^{(i)}$ ، والذي يُستخدم لبناء مصفوفة تباين قطرية $\Sigma_t = \text{diag}(\sigma_t^{(1)}I, \dots, \sigma_t^{(n)}I)$ .
التطبيع (Normalization): لفصل التباين المتعلم عن معدل التعلم الفعال، تقوم الطريقة بتطبيع $\Sigma_t$ بحيث يظل معيار فروبينيوس الخاص بها ثابتًا ( $\|\Sigma_t\|_F = \sqrt{d}$ ). يضمن ذلك بقاء حجم الاضطراب مستقرًا بينما يسمح للمُحسّن بتعلم التباينات النسبية بين الكتل.

2. التدريب عبر "التعلم للتعلم" (L2L)

يتم تدريب المُحسّن باستخدام هدف ميتا (meta-objective) حيث يعمل مسار الضبط الدقيق للنموذج اللغوي نفسه كإشراف.

هدف الميتا (Meta-Objective): الهدف هو تقليل الخسارة اللاحقة للتحديث $L(\theta_1)$ بعد خطوة واحدة من الدرجة الصفرية. يتم حساب تدرج هذه الخسارة بالنسبة لمعلمات PertNN باستخدام خدعة إعادة المعلمة (reparameterization trick) (أخذ عينة $z \sim N(0, I)$ وتعيين $u = \Sigma z$ )، مما يجعل عملية الاضطراب قابلة للاشتقاق.
استراتيجية التدريب: يتم تدريب PertNN على مجموعة بيانات واحدة (مثل COPA) باستخدام مُحسّن من الدرجة الأولى لتوليد حالات النموذج. ولمنع الإفراط في التخصيص (overfitting) لمناطق الخسارة المنخفضة، قدم المؤلفون آلية إعادة تعيين دورية (periodic reset)، حيث يتم إعادة تهيئة بارامترات النموذج اللغوي إلى حالتها ما قبل الضبط الدقيق بعد فترات معينة.
التعميم: بمجرد تدريبها لنماذج أساسية محددة، يمكن إعادة استخدام ZO Fine-tuner عبر مهام مختلفة ونسخ مشتقة (derivative checkpoints) دون الحاجة لمزيد من التدريب.

المساهمات الرئيسية

توسيع L2L ليشمل النماذج اللغوية الكبيرة: يثبت البحث أن مُحسّنًا متعلمًا واحدًا، تم تدريبه على نموذج أساسي، يمكنه التعميم بفعالية عبر المهام المختلفة والنسخ المشتقة، مما يؤكد صحة سير العمل "تدرب مرة واحدة، واستخدم على نطاق واسع".
تعلم التباين القائم على الكتل: يقترح المؤلفون معلمة قائمة على الكتل موفرة للذاكرة مع تباين مشترك لكل كتلة. هذا التصميم مستند إلى أساس نظري في البنية القطرية الكتلية لـ Transformer Hessians، مما يسمح بتطبيق L2L على نطاق النماذج التأسيسية دون تكاليف ذاكرة باهظة.
الأداء التجريبي: عبر أربعة نماذج لغوية (LLaMA-3.2-1B, LLaMA-3.1-8B, Qwen2.5-14B, OPT-30B) وسبع مجموعات بيانات، يتفوق ZO Fine-tuner على أقوى قواعد MeZO (مثل MeZO, MeZO-AdamU, HIZOO, LOZO) في 82.1% من تركيبات المهام والنماذج فيما يتعلق بالخسارة المتقاربة، مع متوسط تحسن في الدقة قدره 2.5%.

النتائج التجريبية

التقارب والدقة: يصل ZO Fine-tuner باستمرار إلى خسارة أقل بشكل أسرع من القواعد المرجعية. كما يظهر متانة فائقة تجاه اختيارات معدل التعلم، حيث يحقق غالبًا أداءً مماثلًا أو أفضل عند معدلات تعلم منخفضة (مثل $10^{-8}$ ) حيث تفشل القواعد المرجعية في التقارب أو تصبح غير مستقرة.
القابلية للنقل: المُحسّن الذي تم تدريبه على مجموعة بيانات COPA نجح في الانتقال لضبط النماذج على SST-2, CB, SQuAD, WSC, BoolQ, و DROP، وكذلك لمهام الاستدلال الرياضي (MetaMathQA).
النسخ المشتقة: يعمم النهج من نموذج أساسي (LLaMA-3.1-8B) إلى نسخته المضبوطة تعليميًا (LLaMA-3.1-8B-Instruct)، متفوقًا على MeZO في كل من الخسارة والدقة.
الكفاءة:
- الذاكرة: عبء الذاكرة الإضافي ضئيل مقارً بحجم النموذج (على سبيل المثال، <2 ميجابايت للشبكات المساعدة على OPT-30B). يظل إجمالي بصمة الذاكرة مشابهًا لـ MeZO وأقل بكثير من طرق الدرجة الأولى (على سبيل المثال، 62 جيجابايت مقابل 312 جيجابايت لـ OPT-30B).
- الوقت: عبء الوقت الناتج عن استعلام PertNN ضئيل جداً (<3.4% للنماذج الأصغر، وينخفض مع زيادة حجم النماذج)، حيث تظل التكلفة المهيمنة هي التمريرات الأمامية المطلوبة لتقدير الدرجة الصفرية.

الأهمية والادعاءات

يزعم البحث أن ZO Fine-tuner يعالج الاختناق الحرج المتمثل في كفاءة الذاكرة في الضبط الدقيق للنماذج اللغوية الكبيرة، مع التغلب على صلابة استراتيجيات الدرجة الصفرية الثابتة. ومن خلال الاستفادة من نموذج "تدرب مرة واحدة، واستخدم على نطاق واسع"، يرى المؤلفون أن صُنّاع النماذج يمكنهم إرسال "مُحسّن دقيق متعلم" (learned finetuner) جاهز مع النماذج الأساسية، مما يمكّن المستخدمين النهائيين من إجراء ضبط دقيق عالي الأداء وفعال بتكاليف ذاكرة تقترب من تكاليف الاستد. يثبت هذا العمل أن تعلم توزيعات الاضطراب التكيفية أمر ممكن على نطاق النماذج التأسيسية، ويقدم مسارًا عمليًا نحو تكييف النماذج اللغوية الكبيرة بشكل قابل للتوسع وفعال من حيث الذاكرة.