ملخص تقني: إعادة النظر في تقريب هسيان من الدرجة الصفرية: منظور تحسين السياسة بخطوة واحدة

1. بيان المشكلة

تعالج تحسينات الدرجة الصفرية (Zeroth-order - ZO) السيناريوهات التي تكون فيها دالة الهدف $F(\theta) = \mathbb{E}_\xi[f(\theta; \xi)]$ عبارة عن "صندوق أسود" لا يمكن الوصول إليه إلا من خلال تقييمات دالة مشوشة. وبينما يعد تقدير تدرج الدرجة الصفرية أمراً راسخاً، فإن تقريب مصفوفة هسيان (Hessian) للدرجة الصفرية بدقة يظل تحدياً كبيراً، لا سيما في الأبعاد العالية والبيئات المشوشة.

تعد معلومات الانحناء الدقيقة أمراً حاسماً لـ:

• التحسين ثنائي المستوى (Bilevel optimization) الخالي من الاشتقاق.
• تقدير عدم اليقين (Uncertainty quantification).
• الضبط الدقيق المعتمد على الانحناء للنماذج اللغوية الكبيرة (LLMs).

تواجه الطرق الحالية عقبتين رئيسيتين:

1. التباين العالي (High Variance): غالباً ما تعاني المقدرات العشوائية الكلاسيكية (مثل مقدرات نوع ستين - Stein-type) من تباين عالٍ في الإعدادات عالية الأبعاد، مما يؤدي إلى عدم استقرار التحسين.
2. النطاق المحدود: ركزت الأبحاث السابقة بشكل أساسي على تقدير مصفوفة هسيان $\nabla^2 F(\theta)$ نفسها. وهناك اهتمام محدود بـ معكوس هسيان المنظم $(\nabla^2 F(\theta) + \lambda I_d)^{-1}$ و حاصل ضرب معكوس هسيان في التدرج $(\nabla^2 F(\theta) + \lambda I_d)^{-1}\nabla F(\theta)$، وهما أمران ضروريان لتحديثات الدرجة الثانية في الدرجة الصفرية.
3. كفاءة الاستعلام (Query Efficiency): تتطلب طرق الفرق المحدود (Finite-difference) الساذجة عدد استعلامات يصل إلى $O(d^2)$، بينما تفشل الطرق العشوائية الموجودة في تحقيق التوازن بين تقليل التباين وإعادة استخدام الاستعلامات بشكل فعال.

2. المنهجية

2.1. الإطار النظري: منظور تحسين السياسة (Policy Optimization)

يقترح المؤلفون إطاراً موحداً يعيد تفسير تقريب هسيان الدرجة الصفرية من خلال منظور تحسين السياسة بخطوة واحدة (Single-Step Policy Optimization - PO).

• الدالة المُنعّمة (Smoothed Objective): تمت إعادة صياغة هدف الدرجة الصفرية كهدف مُنعّم $F_\mu(\theta) = \mathbb{E}_{x \sim \pi_\theta(x)}[\mathbb{E}_\xi[f(x; \xi)]]$، حيث $\pi_\theta$ هي سياسة أخذ عينات معلمية (على سبيل المثال، توزيع غاوسي $N(\theta, \mu^2 I_d)$).
• هوية هسيان (Hessian Identity): من خلال اشتقاق تدرج السياسة، استنتج المؤلفون هوية هسيان عامة للهدف المُنعّم:
  $$\nabla^2 F_\mu(\theta) = \mathbb{E}_{x \sim \pi_\theta(x)} \left[ H_{\pi_\theta} \cdot \mathbb{E}_\xi[f(x; \xi)] \right]$$
  حيث $H_{\pi_\theta}$ هو هسيان كثافة لوغاريتم السياسة.
• توحيد المقدرات: يكشف هذا المنظور أن مقدرات "ستين" الكلاسيكية (ذات النقطة الواحدة، والنقطتين، والثلاث نقاط) وطرق الفرق المركزي هي حالات خاصة من هذا الإطار، وتتميز فقط باختلاف اختيار الخط المرجعي (Baseline) (مثل الخط المرجعي الصفري، أو الخط المرجدي المرساة $f(\theta)$، أو أخذ العينات المتضادة/Antithetic sampling).

2.2. ZoVH: مقدر هسيان لتقليل التباين

بناءً على إطار عمل تحسين السياسة، قدم المؤلفون ZoVH (مقدر هسيان الدرجة الصفرية لتقليل التباين)، والذي يستخدم تقنيتين رئيسيتين:

1. الخط المرجعي المتوسط الأمثل:

   • على عكس مقدرات التدرج حيث تكون الخطوط المرجعية غالباً تجريبية، أثبت المؤلفون أنه بالنسبة لمقدر هسيان المستمد من هوية الرتبة الواحدة (Rank-one identity)، فإن الخط المرجعي المتوسط $\hat{b} = \frac{1}{K}\sum f(x_k)$ هو الخيار الوحيد الذي يحافظ على عدم الانحياز (Unbiasedness).
   • نظرياً، ثبت أن هذا الخط المرجعي يقلل من تباين المقدر بين جميع الخطوط المرجعية الثابتة.

2. استراتيجية إعادة استخدام الاستعلام:

   • لتقليل التباين بشكل أكبر دون زيادة تكاليف الاستعلام، يستخدم ZoVH مخزناً مؤقتاً (Buffer) للاستعلامات الوظيفية السابقة.
   • يُفسر هذا على أنه تعلم خارج السياسة (Off-policy learning) ضمن إطار عمل تحسين السياسة، حيث يتم إعادة وزن البيانات التاريخية (التي تم إنشاؤها من التكرارات السابقة) عبر أخذ عينات الأهمية (Importance sampling) لتقدير هسيان الحالة الحالية.
   • يؤدي هذا فعلياً إلى زيادة حجم العينة من $K$ إلى $NK$ (حيث $N$ هو طول التاريخ) دون الحاجة إلى تقييمات وظيفية إضافية.

2.3. التقريبات الفعالة للمعكوس

لتمكين تحديثات الدرجة الثانية العملية، وسّع البحث ZoVH لتقريب معكوس هسيان وحاصل ضرب معكوس هسيان في التدرج:

• معكوس هسيان: يستخدم متطابقة وودبري (Woodbury matrix identity) لحساب معكوس مقدر هسيان من الرتبة $K$ المنظم بكفاءة ($O(K^2 d)$ أو $O(Kd)$ مع التقريب القطري) دون الحاجة لعكس مصفوفة كثيفة بحجم $d \times d$.
• المنتج المصحح الانحياز: عند استخدام نفس الاتجاهات العشوائية لكل من تقدير التدرج والهسيان (لتوفير الاستعلامات)، ينشأ انحياز ناتج عن الارتباط. اقترح المؤلفون استراتيجية "ترك واحد خارج الحسبة" (Leave-one-out) لتصحيح هذا الانحياز، مما يسمح بالحساب الفعال لـ $(\nabla^2 F + \lambda I)^{-1}\nabla F$ بأقل قدر من العبء الإضافي.

3. المساهمات الرئيسية

1. منظور توحيد تحسين السياسة (PO): إثبات التكافؤ النظري بين مقدرات هسيان الدرجة الصفرية العامة وهسيان هدف تحسين السياسة المُنعّم، مما يوحد مقدرات الدرجة الصفرية العشوائية الكلاسيكية كحالات محددة من اختيار الخط المرجعي.
2. خوارزمية ZoVH: تطوير مجموعة شاملة من المقدرات لتقليل تباين الهسيان الكامل، ومعكوسه المنظم، وحاصل ضرب المعكوس في التدرج المصحح الانحياز.
3. الضمانات النظرية:
   • إثبات عدم الانحياز (Unbiasedness) لمقدر هسيان باستخدام الخط المرجعي المتوسط.
   • إثبات مثالية التباين للخط المرجعي المتوسط.
   • تقديم حدود الخطأ لمجموعة ZoVH كاملة (تفكيك الانحياز والتباين).
   • وضع ضمانات التقارب لخوارزمية الدرجة الصفرية المعتمدة على الانحناء للوصول إلى نقطة ثابتة بمستوى $\epsilon$.
4. الكفاءة العملية: تقديم آلية إعادة استخدام الاستعلام التي تعزز كفاءة العينات دون تضخيم ميزانية الاستعلام، واستنباط تقريبات مستقرة للمعكوس مناسبة للمسائل عالية الأبعاد مثل الضبط الدقيق للنماذج اللغوية الكبيرة.

4. النتائج التجريبية

تحقق المؤلفون من صحة ZoVH عبر اختبارات قياسية اصطناعية، وتدريب الشبكات العصبية، والهجمات العدائية "الصندوق الأسود".

• دقة تقدير هسيان:

  • في الدوال الاصطناعية (Quadratic, Rosenbrock, Styblinski-Tang) وطبقات شبكات CNN، حقق ZoVH (مع إعادة استخدام الاستعلام، $N=4$) باستمرار أدنى خطأ في معيار "نورم فبرونيوس" (Frobenius norm) مقارنة بمقدرات "ستين" والفرق المركزي.
  • حقق ZoVH ($N=1$) تحسناً في الدقة بمقدار 8 أضعاف مقارنة بمقدر الفرق المركزي في وظائف Quadratic و Rosenbrock.
  • في طبقات CNN، حقق ZoVH ($N=4$) خفضاً في الخطأ بمقدار 9 أضعاف مقارنة بمقدر الفرق المركزي.

• تقارب التحسين:

  • في مهام التحسين الاصطناعية، تفوق ZoVH ($N=4$) بشكل كبير على Vanilla ZOO و HiZOO و ZoAR من حيث سرعة التقارب والدقة النهائية، محققاً متوسط تسريع قدره 22 ضعفاً مقارنة بـ Vanilla ZOO.
  • في الهجمات العدائية الصندوق الأسود، احتاج ZoVH ($N=4$) إلى 4 دورات أقل لتحقيق هجوم ناجح مقارنة بـ Vanilla ZOO.

• الضبط الدقيق للنماذج اللغوية الكبيرة (LLM):

  • طُبق على ضبط نماذج OPT-1.3B و OPT-13B في مهام GLUE/SuperGLUE.
  • أظهر ZoVH تقارباً أسرع ودقة اختبار أعلى مقارنة بـ MeZO و HiZOO.
  • كان العبء الزمني والذاوي ضئيلاً، حيث كان ZoVH أبطأ قليلاً فقط من MeZO ويستخدم ذاكرة إضافية لا تُذكر (تخزين القيم القياسية والبذور فقط).

5. الأهمية والادعاءات

يزعم البحث أن ZoVH يوفر أساساً متيناً للتحسين الخالي من الاشتقاق المعتمد على الانحناء. ومن خلال سد الفجوة بين تقريب الدرجة الصفرية وتحسين السياسة، يقدم العمل:

• وضوحاً نظرياً: اشتقاق صارم يشرح لماذا تعمل بعض المقدرات وكيف يمكن تحسينها عبر اختيار الخط المرجعي.
• فائدة عملية: طريقة تحقق دقة تقدير فائقة وأداء تقارب ممتاز في التطبيقات الواقعية (بما في ذلك LLMs) دون تكاليف الاستعلام الباهظة لخطط الفرق المحدود الكاملة.
• القابلية للتوسع: القدرة على التعامل مع المسائل عالية الأبعاد (مثل ملايين المعلمات في LLMs) من خلال تقريبات معكوس فعالة وإعادة استخدام الاستعلام، مما يجعل التحسين من الدرجة الثانية ممكناً في البيئات التي كانت غير عملية سابقاً.

يؤكد المؤلفون أنه على الرغم من أن الطريقة تقدم انحيازاً ناتجاً عن التنعيم (وهو أمر متأصل في طرق الدرجة الصفرية)، إلا أن مكاسب تقليل التباين وكفاءة الاستعلام تفوق هذا المقايضة بشكل كبير، مما يؤدي إلى تقارب أسرع وأكثر استقراراً في البيئات المشوشة وعالية الأبعاد.