ملخص تقني: DP-SGD فعال للنماذج اللغوية الكبيرة (LLMs) باستخدام القص العشوائي (Randomized Clipping)

بيان المشكلة

يتطلب تدريب النماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات ضخمة تحتوي على معلومات حساسة ضمانات خصوصية صارمة. وتعد الخصوصية التفاضلية (Differential Privacy - DP)، وتحديداً عبر خوارزمية "الاشتقاق المتدرج العشوائي ذو الخصوصية التفاضلية" (DP-SGD)، الإطار القياسي لذلك. ومع ذلك، يبرز عائق حرج في تطبيقات DP-SGD الحديثة للبيانات التسلسلية (مثل النصوص) يتمثل في العبء الحسابي وعبء الذاكرة المطلوب لعملية قص تدرج كل عينة على حدة (per-sample gradient clipping).

في نظام DP-SGD القياسي، يجب إنشاء تدرجات كل عينة بشكل منفصل لحساب معاييرها (norms) من أجل عملية القص. وتتسبب التنفيذات الساذجة في عبء ذاكرة قدره $O(BLd^2)$ (حيث $B$ هو حجم الدفعة، $L$ عدد الطبقات، $d$ هو العرض). وبينما نجحت تقنيات مثل "القص السريع للتدرج" (FGC) و"قص الشبح" (GC) في تقليل هذا العبء إلى $O(Bd^2)$ أو $O(B)$ للطبقات الخطية، إلا أنها لا تزال تعاني من تعقيد ذاكرة تربيعي بالنسبة لطول السياق $T$ في الإعدادات التسلسلية، وتحديداً $O(B \min\{d^2, T^2\})$. ومع توسع النماذج اللغوية الكبيرة الرائدة لتصل أطوال سياقها إلى $O(100K)$، يصبح هذا العبء التربيعي محبطاً، مما يحد من التطبيق العملي لـ DP-SGD على النماذج ذات السياق الطويل.

المنهجية: DP-SGD-RC

يقترح المؤلفون DP-SGD-RC (أي DP-SGD مع القص العشوائي)، وهو متغير جديد يستبدل التقدير الدقيق لمعيار تدرج كل عينة بـ تقدير الأثر العشوائي (stochastic trace estimation).

الآلية الجوهرية

بدلاً من تجسيد كامل تدرجات كل عينة أو حساب المعايير الدقيقة (الذي يتطلب مساحة $O(T^2)$ أو $O(d^2)$)، يقوم DP-SGD-RC بتقدير مربع المعيار $\|A^\top G\|_F^2$ (حيث $A$ هو التنشيط و $G$ هو التدرج) باستخدام المتطابقة:
$$\|A^\top G\|_F^2 = \text{trace}(G^\top A A^\top G) = \text{trace}(O)$$
تعتمد الطريقة على مُقدِّرات الأثر العشوائية الجاهزة لتقدير هذا الأثر دون الحاجة للوصول الصريح للمصفوفة $O$:

1. مُقدِّر هوتشينسون (Hutch): يستخدم إسقاطات عشوائية $P \in \mathbb{R}^{p \times k}$ ذات مدخلات غاوسية مستقلة وموزعة بشكل متماثل (i.i.d.) لتقدير الأثر عبر $\sum P_i^\top O P_i$. وهذا يقلل من تعقيد المساحة إلى $O(k(p + T + d))$.
2. Hutch++: مُقدِّر محسن يجمع بين التقريب منخفض الرتبة (عبر تحليل QR) لـ "رأس" الطيف الذاتي، مع مُقدِّر هوتشينسون لـ "ذيل" الطيف، مما يوفر دقة أفضل مع مساحة قدرها $O(k^2 + k(T + d + p))$.

التدفق الخوارزمي

تقوم الخوارزمية المقترحة (الخوارزمية 1) بتعديل حلقة DP-SGD القياسية:

1. التمرير الأمامي (Forward Pass): حساب التنشيطات.
2. التمرير الخلفي الأول (Backward Pass 1): حساب تدرجات المخرات لكل عينة.
3. تقدير المعيار (Norm Estimation): بدلاً من حساب المعايير الدقيقة، يقوم إجراء تقدير المعيار (الخوارما 2) بتطبيق هوتشينسون أو Hutch++ لتقدير مربع المعيار لكل عينة في الدفعة.
4. القص (Clipping): يتم إعادة تحجيم الخسائر بناءً على هذه المعايير المقدرة ($\min(C/\hat{n}_i, 1)$).
5. التمرير الخلفي الثاني (Backward Pass 2): حساب التدرجات على الخسارة المعاد تحجيمها، إضافة ضوضاء غاوسية مُعايرة، ثم تحديث المعلمات.

المساهمات الرئيسية

1. تقليل التعقيد

يغير DP-SGD-RC بشكل جذري مقياس الذاكرة والحوسبة لـ DP-SGD على البيانات التسلسلية.

• الذاكرة: يقلل العبء من التعقيد التربيعي $O(B \min\{d^2, T^2\})$ إلى خطي $O(BkT + kp)$، حيث$k$هو بُعد إسقاط صغير (على سبيل المثال،$k \approx 32$). وهذا يلغي العبء التقاربي مقارنة بالتدريب غير الخاص.
• الحوسبة: يقلل عدد العمليات الحسابية (FLOPs) بشكل كبير. بالنسبة لطبقة خطية ذات شكل $(p, d)$، يتطلب FGC حوالي $O(BTpd)$ويتطلب GC حوالي$O(BT^2(p+d))$. يحقق DP-SGD-RC حوالي$O(BTk(p+d))$. ومع كون$k \ll \min(T, d)$، فإن هذا يؤدي إلى تسريعات كبيرة (على سبيل المثال، تقليل بنسبة$128\times$في العمليات الحسابية مقارنة بـ GC عند$T=4096, k=32$).

2. تحليل الخصوصية الصارم

يقدم المؤلفون تحليلاً دقيقاً لآلية القص العشوائي.

• التحدي: على عكس القص الحتمي حيث يكون مقياس الضوضاء ثابتاً، فإن القص العشوائي يُدخل مقياساً عشوائياً ناتجاً عن خطأ تقدير المعيار.
• الحل: يؤطر التحليل المشكلة كحساب دالة التوزيع التراكمي (CDF) لغلاف (envelope) مزيج خطي من متغيرات توزيع "كا-تربيع" (chi-squared). وباستخدام أدوات من نظرية الرتب العشوائية ونظرية الترتيب (majorization theory)، يشتق المؤلفون دالة المقايضة ($f$-DP) للخطوة الواحدة.
• النتيجة: يثبتون أن مضاعفات الضوضاء الناتجة المطلوبة لتحقيق ضمان $(\epsilon, \delta)$ محدد هي منافسة للقص الحتمي، خاصة عندما يكون البعد الخفي $d$ كبيراً.

3. المحاسبة الفعالة للخصوصية

يقدم البحث خوارزمية محاسبة فعالة تعتمد على إطار المتغير العشوائي لفقدان الخصوصية (PRV). وهي تدمي دالة التوزيع التراكمي لغلاف خطأ تقدير المعيار لحساب فقدان الخصوصية المركب عبر عدة حقبات (epochs)، مع معالجة عشوائية مقياس القص عبر التكامل العددي (بناء ريمان-ستيلتجس) بدلاً من الحدود الأسوأ.

النتائج التجريبية

قام المؤلفون بتقييم DP-SGD-RC من خلال الضبط الدقيق لنموذج Llama 3.2 1B على اختبارات السياق الطويل (التصنيف على BBC، والتلخيص على BillSum، والإجابة على الأسئلة على HotpotQA) مع أطوال سياق $\ge 4096$.

• المنفعة (Utility): يضاهي DP-SGD-RC أداء نموذج DP-SGD المرجعي (FGC) مع فقدان ضئيل في المنفعة.
  • في مهمة BBC (التصنيف)، كان انخفاض الدقة بحد أقصى 0.7% بالنسبة لـ DP-SGD.
  • في مهام BillSum وHotpotQA، أظهرت مقاييس ROUGE-1 وExact Match انخفاضات طفيفة للغاية (0.019 و0.04% على التوالي).
  • أظهر استخدام Hutch++ إمكانات لتحسين المنفعة في أنظمة $\epsilon$ المنخفضة (على سبيل المثال، تحسن بنسبة 3% في الدقة على BBC) مقارنة بـ Hutch، ويُعزى ذلك إلى التأثير التنظيمي للمُقدِّر.
• الكفاءة:
  • الذاكرة: حقق خفضاً بنسبة 15–40% في ذروة الذاكرة للضبط الدقيق الكامل. وعند استبعاد تنشيطات المدخلات، وصل الانخفاض في الذاكرة المطلوبة خصيصاً لتقدير المعيار إلى 99%.
  • الحوسبة: حقق توفيراً في العمليات الحسابية يصل إلى ضعفين (2$\times$) لأكبر الطبقات الخطية.
  • زمن الاستجابة (Latency): كان تقدير Hutch أسرع بنحو 3 أضعاف من Hutch++ للطبقات الكبيرة، رغم أن Hutch++ قدم منفعة أفضل في أنظمة الخصوصية المنخفضة.

الأهمية والادعاءات

يزعم البحث أن DP-SGD-RC يتيح التدريب العملي للنماذج اللغوية الكبيرة ذات نوافذ السياق الطويلة، وهو إعداد كان يعيقه سابقاً تكاليف الذاكرة الباهظة. ومن خلال صياغة تقدير معيار كل عينة كمسألة تقدير أثر عشوائي، يحقق هذا الأسلوب لا يوجد عبء ذاكرة تقاربي فوق التدريب غير الخاص مع الحفاظ على منفعة تنافسية.

يضع المؤلفون هذا العمل كخطوة نحو التعلم العميق الخاص القابل للتوسع، مشيرين إلى أن الطريقة فعالة بشكل خاص عندما يتجاوز طول السياق $T$ أبعاد الطبقة الخطية. كما يقرون بأن التحليل الحالي للخصوصية الخاص بـ Hutch++ يفترض خصماً أقوى من أجل التتبع، لكن النتائج التجريبية تشير إلى أن الطريقة قوية وفعالة في الإعدادات العملية. ويُقترح كعمل مستقبلي تشديد تحليل الخصوصية لـ Hutch++ واستكشاف طرق رسم (sketching) بديلة (مثل المصفوفات ذات القيم $\{\pm 1\}$) لتقليل العبء بشكل أكبر.