🤖 machine learning

Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

تقدم هذه الورقة نظرية تشكيل عشوائي توضح أن التكيف من الدرجة صفر يمكن أن يقلل من النسيان مقارنة بطرق الدرجة الأولى من خلال الحفاظ على انحناء الاستبقاء المتماثل مع تقليص المكونات غير المتماثلة، مما يؤدي إلى خوارزمية RISE التي تطبق آلية التشكيل المعايرة هذه على التدرجات الدقيقة لتحسين مقايضات الاستقرار واللدونة.

المؤلفون الأصليون: Yao Shu, Jian Mu, Zhongxiang Dai

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yao Shu, Jian Mu, Zhongxiang Dai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك شيف ماهر أمضيت سنوات في إتقان وصفة معينة (معرفتك القديمة). ثم جاء زبون جديد يطلب منك تعلم طبق مختلف تماماً (مهمة جديدة).

تحدي التعلم المستمر (Continual Learning) هو: كيف تتعلم الطبق الجديد دون أن تفسد الطبق القديم عن طريق الخطأ؟ إذا غيرت أسلوب طهيك كثيراً لتناسب الوصفة الجديدة، فقد تنسى التوابل السرية التي جعلت طبقك القديم مشهوراً. وهذا ما يسمى بـ "النسيان" (forgetting).

اكتشف العلماء مؤخاً حيلة غريبة: أحياناً، تعلم مهمة جديدة بمجرد "تذوق" النتيجة (وهي طريقة تسمى الرتبة الصفرية - Zeroth-Order أو ZO) يتسبب في نسيان أقل مما تفعله طريقة "قياس كل مكون بدقة" (الطريقة القياسية المعروفة بـ الرتبة الأولى - First-Order أو FO). لكن لا أحد كان يعرف "لماذا". عادةً، كان الناس يعتقدون أن طريقة (ZO) هي مجرد نسخة "مشوشة" أو ضبابية من طريقة (FO).

تقول هذه الورقة البحثية: لا، الأمر ليس مجرد ضجيج. إنه نوع محدد من "تغيير الشكل" الذي يحمي ذكرياتك القديمة.

إليك التفاصيل باستخدام تشبيهات بسيطة:

١. المشكلة: "الأرضية الهشة"

تخيل أن معرفتك القديمة هي منزل مبني على أرضية بها بعض البقع المتعرجة وغير المستوية للغاية (مناطق ذات انحناء عالٍ) وبعض البقع المسطحة.

التعلم القياسي (FO): عندما تتعلم مهمة جديدة، تأخذ خطوة كبيرة في خط مستقيم. إذا تقاطع هذا الخط مع بقعة متعرجة، فستتعثر، ويتضرر منزلك القديم (تنسى).
اللغز: لاحظ الناس أن طريقة "التذوق" (ZO) تبدو وكأنها تتعثر بشكل أقل، رغم أنه من المفترض أن تكون أقل دقة.

٢. الاكتشاف: "التشكيل العشوائي"

أدرك المؤلفون أن طريقة "التذوق" (ZO) لا تكتفي بالتخمين فحسب؛ بل إنها في الواقع تعيد تشكيل المسار الذي تسلكه.

فكر في المهمة الجديدة كأنها رياح قوية تهب على طائرة ورقية (اتجاه التعلم الخاص بك).

طريقة (FO) تسمح للرياح بأن تهب على الطائرة في خط مستقيم وصلب. إذا اصطدم هذا الخط بشجرة (جزء "متعرج" من معرفتك القديمة)، فإن الطائرة ستتحطم.
طريقة (ZO) تعمل مثل شبكة مرنة وعشوائية حول الطائرة. فهي لا تسير في خط مستقيم فحسب؛ بل تتأرجح قليلاً في جميع الاتجاهات.

الخدعة السحرية:
تثبت الورقة أن هذا التأرجح (العشوائية) يقوم بشيئين محددين:
١. يحافظ على "متوسط السلامة": يضمن أنك لا تخطو بالخطأ فوق الأجزاء المسطحة والآمنة أكثر مما ينبغي.
٢. ينعم "النتوءات": يقلل تحديداً من خطر الاصطدام بالأجزاء "المتعرجة". إنه يأخذ الحواف الحادة والخطيرة للمسار ويجعلها مستديرة.

٣. "المواجهة العادلة المتساوية المعايير"

لإثبات أن الأمر لم يكن مجرد لأن طريقة (ZO) تأخذ خطوات أصغر وأكثر أماناً، أجرى المؤلفون تجربة "مواجهة عادلة". لقد أجبروا كلتا الطريقتين على اتخاذ خطوات بنفس الحجم تماماً (نفس مقدار الطاقة).

حتى عندما أُجبرتا على اتخاذ نفس حجم الخطوة:

طريقة (FO) لا تزال تمشي مباشرة نحو النتوءات وتتضرر.
طريقة (ZO) اتخذت نفس حجم الخطوة، ولكن لأنها كانت "مشكلة" بفعل التأرجح العشوائي، فقد تجنبت أسوأ النتوءات.

القاعدة: تساعد طريقة (ZO) فقط عندما يتقاطع المسار الذي يجب أن تسلكه (المهمة الجديدة) مع منطقة متعرجة جداً من معرفتك القديمة. إذا كان المسار بالفعل على أرض مسطحة، فإن (ZO) لا تساعد كثيراً. إنها أداة "للتحكم في المخاطر"، وليست درعاً سحرياً لكل شيء.

٤. الحل: RISE (أفضل ما في العالمين)

أدرك المؤلفون أنه بينما يعد "تأرجح" طريقة (ZO) أمراً رائعاً لتجنب النتوءات، إلا أنه فوضوي وبطيء لأنه يعتمد على التخمين.

لذلك، اخترعوا خوارزمية جديدة تسمى RISE (التشكيل المتماثل المدرك للاحتفاظ - Retention-Aware Isotropic Shaping).

كيف تعمل: تستخدم طريقة (RISE) القياس الدقيق والخط المستقيم للطريقة القياسية (FO) لمعرفة الاتجاه الصحيح بالضبط.
اللمسة المبتكرة: قبل اتخاذ تلك الخطوة، تقوم بتطبيق "تأرجح الـ ZO" رياضياً. إنها تأخذ الخط المستقيم المثالي وتقوم بـ "تشكيله" بلطف لتجنب النتوءات، تماماً كما فعلت طريقة (ZO)، ولكن دون الحاجة إلى التخمين.

النتيجة:

تحصل على السرعة والدقة للطريقة القياسية (تتعلم المهمة الجديدة جيداً).
تحصل على الحماية التي توفرها طريقة (ZO) (لا تنسى المهمة القديمة).

ملخص التشبيه

تخيل أنك تسير عبر حقل من الأعشاب الطويلة (معرفتك القديمة) وأنت تحمل صندوقاً ثقيلاً (المهمة الجديدة).

المشي القياسي (FO): تمشي في خط مستقيم. إذا كان العشب كثيفاً في ذلك الاتجاه، فستتعثر وتسقط الصندوق (النسيان).
مشية "التذوق" (ZO): تسحب قدميك بشكل عشوائي. يساعدك هذا في إيجاد مسار عبر العشب، لكنه بطيء وغير منظم.
طريقة RISE: تنظر للأمام لترى المسار المستقيم المثالي، ولكنك تضيف "سحبة" صغيرة لخطواتك لتدفع العشب الكثيف بلطف بعيداً عنك دون أن تتعثر. تتحرك بسرعة، ولا تسقط الصندوق، ولا تفسد الحقل.

الخلاصة:
توضح هذه الورقة البحثية لماذا تعمل طريقة الرتبة الصفرية "الفوضوية" بشكل أفضل أحياناً: إنها تنعم بشكل طبيعي الأجزاء الخطرة من مسار التعلم. ثم حولوا هذه الرؤية إلى أداة جديدة (RISE) تمنحنا أفضل ما في العالمين: دقة التعلم القياسي مع أمان الطريقة "الفوضوية".

ملخص تقني: لماذا قد ينسى التكيف من الدرجة الصفرية (Zeroth-Order) بشكل أقل: نظرية التشكيل العشوائي

بيان المشكلة
يتطلب التعلم المستمر (Continual learning) قدرة النماذج على التكيف مع المهام الجديدة دون محو القدرات المكتسبة من المهام السابقة. وبينما تشير الأعمال التجريبية الحديثة (مثل ZeroFlow وZO-FC) إلى أن التحسين من الدرجة الصفرية (ZO) والتكيف عبر التمرير الأمامي (forward-pass adaptation) يمكن أن يخففا من حدة النسيان بشكل أكثر فعالية من خوارزميات الدرجة الأولى (FO)، فإن الرؤية السائدة تعامل الـ ZO مجرد مُقدِّر ضوضائي لمتجه تدرج الدرجة الأولى (FO). وتفشل هذه الرؤية في تفسير لما reason قد يحتفظ الـ ZO بقدرات أفضل، حيث إن دقة التقدير تتعلق بالتدرج الوارد، بينما يتحكم في النسيان الإزاحة المستحثة في المعلمات (parameter displacement) والانحناء الذي تكشفه عملية الاستبقاء. تسعى الورقة إلى عزل الآلية المحلية للنسيان بعد مطابقة إشارة التكيف ومقياسها، متجاوزةً سردية "الدرجة الأولى الضوضائية" لفهم الخصائص الهندسية لشكل التكيف.

المنهجية: التشكيل العشوائي للتدرج (Randomized Gradient Shaping)
يقترح المؤلفون إطار عمل يتم فيه تحليل النسيان كـ "تكيّف مُشكّل" (shaped adaptation). فبدلاً من مقارنة مسارات التحسين، يقارنون بين دالة الضرر التربيعي $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ المستحثة بواسطة مؤثرات الإزاحة المختلفة $\Delta$ ، حيث يمثل $H$ انحناء الاستبقاء (على سبيل المثال، هسيان الخسارة التاريخية).

معايرة الـ ZO: تفكك الورقة مُقدِّرات الدرجة الصفرية (ZO) ذات الفروق المحدودة العملية إلى ثلاثة مكونات:
- محاذاة المتوسط الخام (Raw Mean Alignment): يحافظ شكل الـ ZO الخام على إشارة الدرجة الأولى (FO) في التوقع.
- تضخم المعيار (Norm Inflation): يؤدي الـ ZO الخام إلى تضخم مربع معيار التكيف المتوقع.
- مطابقة المعيار (Norm Matching): لضمان مقارنة عادلة، يقدم المؤلفون شكلاً للـ ZO مطابقاً للمعيار $P = \kappa^{-1/2}Z$ ، حيث $Z$ هو مصفوفة الشكل الخام و $\kappa$ هو عامل التضخم. يضمن هذا $E[\|Pg\|^2] = \|g\|^2$ مع إحداث عامل انكماش في المتوسط صراحةً قدره $\sqrt{q/(q+d+1)}$ .
التحليل النظري: تحت هذه المقارنة المطابقة للمعيار، يستنتج المؤلفون متطابقة دقيقة لانحناء الاستبقاء المُشكّل المتوقع $\bar{H}_q = E[P^\top H P]$ . ويثبتون أن الـ ZO المطابق للمعيار لا يقلص الانحناء بشكل موحد، بل يحافظ على المكون المتماثل (Isotropic component) (متوسط الانحناء $\bar{\lambda}I$ ) بينما يقلص المكون غير المتماثل (Anisotropic component) (الانحراف عن المتوسط) بمعامل قدره $(1-\tau)$ ، حيث $\tau = d/(q+d+1)$ .
هوية فجوة النسيان (Forgetting Gap Identity): من خلال إسقاط هوية الانحناء هذه على تدرج الدرجة الأولى $g$ الداخل، تستنتج الورقة فجوة نسيان تربيعية دقيقة بين الدرجة الأولى والصفرية. يحدث الانخفاض في النسيان إذا وفقط إذا كان اتجاه الدرجة الأولى يمر عبر منطقة ذات انحناء استبقاء أعلى من المتوسط ( $\lambda > \bar{\lambda}$ ). في هذا النظام، يقلل الـ ZO من ضرر "فائض الانحناء" بنسبة تعتمد على عدد الاستعلامات. وعلى العكس من ذلك، إذا كان اتجاه الدرجة الأولى في منطقة منخفضة الانحناء، فقد يزيد الـ ZO من النسيان، مما يصيغ النتيجة كتحكم في المخاطر يعتمد على الهندسة بدلاً من كونها هيمنة عالمية.

المساهمات الرئيسية

صياغة النسيان المحلي كتكيف مُشكّل: تعيد الورقة صياغة المقارنة بين الدرجة الأولى والدرجة صفرية كمسألة تتعلق بكيفية كشف مؤثرات الشكل المختلفة لانحناء الاستبقاء تحت معيار مطابق لمربع معيار التكيف المتوقع، مما يزيل المتغيرات المربكة مثل حجم الخطوة والمسار.
معايرة الـ ZO ذات الفروق المحدودة: تقوم الورقة بفصل محاذاة المتوسط الخام، وبقايا التنعيم المحدود، وتضخم المعيار الخام، وانكماش المتوسط المطابق للمعيار بدقة، مما يضع مقارناً عادلاً للتحليل النظري.
هوية الانحناء الدقيقة وفجوة النسيان: يثبت المؤلفون أن الـ ZO المطابق للمعيار يحافظ على أرضية الاستبقاء المتماثلة بينما يقلص المكون غير المتماثل. وينتج عن ذلك متطابقة دقيقة تظهر أن الـ ZO يقلل من نسيان التربيع المتوسط تحديداً عندما يمر اتجاه الدرجة الأولى عبر انحناء استبقاء أعلى من المتوسط.
النقل الخوارزمي (RISE): تقدم الورقة خوارزمية RISE (التشكيل المتماثل المدرك للاستبقاء من أجل التكيف الدقيق للتدرج). تقوم RISE بنقل آلية التشكيل المتماثل المعايرة إلى التكيف ذي التدرج الدقيق. فهي تحسب تدرج الدرجة الأولى الدقيق عبر الانتشار العكسي (Backpropagation) (لإزالة تحيز تنعيم الفروق المحدودة) ولكنها تطبق مؤثر التشكيل العشوائي المطابق للمعيار بشكل كتلوي (blockwise). وهذا يسمح للطريقة باستيراد فوائد خلط انحناء الاستبقاء التي يوفرها الـ ZO مع الاحتفاظ بإشارة اللدونة (plasticity) للتدرجات الدقيقة.

النتائج

التحقق النظري: في بيئة اختبار تربيعية، تتوافق بقايا المؤثر التجريبية وفجوات الضرر مع التوقعات النظرية ( $R^2 = 0.9999$ )، مما يؤكد أن الآلية تعتمد على الهندسة وأن إشارة فجوة النسيان تتغير كما هو متوقع بناءً على فائض الانحناء الاتجاهي.
التعلم المستمر للرؤية الحاسوبية: في CIFAR100 وImageNet-R وDomainNet باستخدام هيكل ViT-B/16، أدت RISE المطبقة على مسار ZO-FC (باستبدال الـ ZO ذي الفروق المحدودة في جانب التمثيل بتشكيل التدرج الدقيق) إلى تحسين دقة "الأخير" (اللدونة) بمقدار 0.39–1.39 نقطة وتقليل "النسيان" (Fgt) بمقدار 0.28–1.72 نقطة مقارنة بـ ZO-FC القياسي. يوضح هذا أن التدرجات الدقيقة يمكنها استعادة اللدونة التي فقدها الـ ZO بسبب تقدير التدرج مع الحفاظ على فوائد الاستقرار لـ "شكل" الـ ZO.
التعلم المستمر للنماذج اللغوية: في نماذج T5 عبر ترتيبات مهام مختلفة (SeqLoRA وO-LoRA)، قللت RISE من النسيان بشكل كبير (على سبيل المثال، من 35.57% إلى 7.01% في أحد ترتيبات SeqLoRA) مع الحفاظ على دقة "الأخير" قريبة من خط الأساس للدرجة الأولى. وهذا يتناقض مع الـ ZO الخام، الذي غالباً ما يقلل النسيان على حساب ضعف اللدونة (درجات "الأخير" المنخفضة).

الأهمية والادعاءات
تدعي الورقة أنها تقدم أول آلية محلية محكومة بالمقياس تشرح لماذا قد ينسى الـ ZO بشكل أقل، متجاوزةً تفسير "الدرجة الأولى الضوئية". وهي تثبت أن الفائدة ليست هيمنة موحدة للـ ZO على الـ FO، بل هي تحسن مشروط: يعمل الـ ZO كتعريض متماثل "أمثل-أعمى" (blind-optimal) يحمي ضد الاتجاهات ذات الانحناء العالي عندما تكون هندسة الاستبقاء المحددة غير معروفة.

تكمن أهمية RISE في قدرتها على فصل آلية الاستقرار (التشكيل العشوائي) عن آلية اللدونة (التدرجات الدقيقة). فمن خلال تطبيق شكل الـ ZO المعاير على التدرجات الدقيقة، تقدم RISE مقايضة بين الاستقرار واللدونة حيث يتجنب النموذج تحيز التنعيم المحدود الخاص بالـ ZO مع الاستمرار في الاستفادة من خصائص خلط الانحناء التي تقلل من التعرض للاستبقاء في أنظمة الانحناء العالية. وتخلص الورقة إلى أن هذه الآلية تكون أكثر وضوحاً عندما يكون اتجاه الدرجة الأولى ذا انحناء استبقاء أعلى من المتوسط وعندما يسمح أخذ العينات الكتلي (blockwise sampling) بتحقيق تأثير التشكيل بشكل مستقر دون التباين المرتبط بالاتجاهات العشوائية العالمية عالية الأبعاد.

١. المشكلة: "الأرضية الهشة"

٢. الاكتشاف: "التشكيل العشوائي"

٣. "المواجهة العادلة المتساوية المعايير"

٤. الحل: RISE (أفضل ما في العالمين)

ملخص التشبيه

أبحاث مشابهة