ملخص تقني: DP-Muon

بيان المشكلة

تُعد الخصوصية التفاضلية (DP) الإطار المعياري لتدريب النماذج على البيانات الحساسة، حيث يمثل خوارزم DP-SGD خط الأساس المهيمن. ومع ذلك، فإن التفاعل بين قص المتجهات لكل مثال (per-example gradient clipping)، وحقن الضوضاء الغاوسية (Gaussian noise injection)، والزخم (momentum)، والتعامد غير الخطي (nonlinear orthogonalization) في المحسنات ذات القيم المصفوفية لم يتم تحليله بشكل منهجي. وتحديداً، يفتقر Muon، وهو محسن حديث يقوم بتحديث أوزان الطبقات المخفية باستخدام الزخم متبوعاً بعملية تعامد نيوتن-شولز (Newton–Schulz orthogonalization) لإنتاج مصفوفة زخم متعامدة، إلى تحليل خصوصية رسمي. ومن غير الواضح كيف تتفاعل خريطة نيوتن-شولز غير الخطية مع ضوضاء الخصوصية، أو ما إذا كانت قوالب حساب DP-SGD القياسية تنطبق على مثل هذه التحديثات ذات القيم المصفوفية. علاوة على ذلك، غالباً ما تعاني المحسنات الخاصة الموجودة من مشكلات التحيز (على سبيل المثال، انهيار DP-Adam إلى شكل DP-SGD مُعاد قياسه) عند إدخال ضوضاء الخصوصية دون تصحيح صريح.

المنهجية

تصيغ الورقة البحثية DP-Muon، وهو متغير من محسن Muon يتميز بالخصوصية التفاضلية. تتضمن الإجراءات الجوهرية ما يلي:

1. القص لكل مصفوفة (Per-Matrix Clipping): لكل كتلة مصفوفة طبقة مخفية $W$، يتم قص تدرجات كل مثال إلى عتبة معيار فروبينيوس (Frobenius norm threshold) $C_W$.
2. الإصدار المشترك (Joint Release): يتم حساب متوسط التدرجات المقصوصة عبر دفعة مصغرة (lot) عينة، وتُضاف الضوضاء الغاوسية إلى هذا المتوسط. ومن الأهمية بمكان أن الضوضاء تمت معايرتها وفقاً لحساسية الإصدار المشترك لجميع كتل المصفوفات في الدفعة، بدلاً من معاملة الكتل كآليات فرعية مستقلة.
3. المعالجة اللاحقة (Post-Processing): يخضع المتوسط المشوب بالضوضاء لتراكم الزخم وتكرار نيوتن-شولز لخطوات محددة لإنتاج اتجاه التحديث. تُعامل هذه الخطوات كمعالجة لاحقة، مما يعني أنها لا تسبب تكلفة خصوصية إضافية.

ولمعاللة التحيز الناتج عن عمل خريطة نيوتن-شولز غير الخطية على المدخلات المشوبة بالضوضاء، يقترح المؤلفون DP-MuonBC. يقوم هذا المتغير بتطبيق خطوة معالجة لاحقة لتصحيح التحيز. ومن خلال تحليل نموذج "المسار المقصوص المجمد" (frozen clipped-path)، حدد المؤلفون أن ضوضاء الخصوصية تسبب تحيز "تنعيم حراري" (heat-smoothing bias) عند مخرج خريطة نيوتن-شولز (وهو حد انحناء مصفوفي). يقوم DP-MuonBC بإلغاء حد التحيز الرئيسي $O(\rho^2)$ باستخدام متوسط مسبار متضاد (antithetic probe average): حيث يقوم بتقييم خريطة نيوتن-شولز عند الزخم المشوب بالضوضاء بالإضافة إلى مسابير غاوسية مستقلة وطرحها، ثم يستقرئ العودة إلى الاتجاه غير المنعم.

المساهمات الرئيسية

1. ضمانات الخصوصية

تثبت الورقة أن DP-Muon يرث ضمان الخصوصية الخاص بمحاسب غاوس الفرعي لنفس الدفعة (same-lot subsampled Gaussian accountant).

• المحاسبة المشتركة (Joint Accounting): يأخذ تحليل الخصوصية في الاعتبار آلية غاوس للمنتج المشترك لجميع كتل المصفوفات التي يتم إصدارها في خطوة واحدة، بدلاً من جمع تكالفيات الخصوصية المستقلة.
• ثبات المعالجة اللاحقة (Post-Processing Invariance): ثبت أن تحديث الزخم وتعامد نيوتن-شولز هما عمليتان للمعالجة اللاحقة تحافظان على الخصوصية التفاضلية، ولا تضيفان أي تكلفة خصوصية إضافية إلى إصدار التدرج المضاف إليه الضوضاء.

2. نظرية الأمثلة (Optimization Theory)

يضع المؤلفون حداً للثبات في الأفق المحدود لـ DP-Muon تحت قص لكل مصفوفة. يفصل الحد أربعة مصادر خطأ متميزة:

• خطأ الأمثلة (Optimization Error): حدود قياسية تتعلق بمعدل التعلم والأفق الزمني.
• بقايا القص (Clipping Residual): التحيز الناتج عن قص التدرجات (يتم التقاطه بواسطة $B_T(C)$).
• ضوضاء الخصوصية (Privacy Noise): الخطأ العشوائي الناتج عن أخذ عينات الدفعة المصغرة والضوضاء الغاوسية، والمُقاس بمتوسط الزخم.
• خطأ تقريب نيوتن-شولز (Newton–Schulz Approximation Error): الخطأ الناتج عن استخدام عدد محدود من التكرارات ($q$) بدلاً من SVD/القطب المثالي، ويتم التقاطه بواسطة عامل الجودة $\chi_q$.

تحت شرط ذيل خفيف (light-tail condition) لمعايير التدرج، تظهر الورقة أن مقياس الثبات المتوسط يتلاشى كـ $O(T^{-1/4}\sqrt{\log T})$ مع ضبط مناسب لمعدل التعلم، والزخم، وعتبة القص.

3. تصحيح التحيز (DP-MuonBC)

تحدد الورقة أن التحيز الرئيسي في DP-Muon لا ينشأ في مخزن الزخم الخطي، بل بعد خريطة نيوتن-شولز غير الخطية، حيث تسبب الضوضاء الغاوسية تأثير تنعيم حراري.

• الآلية: يستخدم DP-MuonBC مسابير غاوس متضادة لتقدير وطرح حد تحيز التنعيم الحراري من الدرجة الثانية الرئيسي.
• الخصوصية: بما أن التصحيح يستخدم فقط مسابير مستقلة عن البيانات مطبقة على التدرجات التي تم تعميتها بالفعل، فإن DP-MuonBC يحقق نفس ضمان $(\epsilon, \delta)$-DP لـ DP-Muon.

النتائج التجريبية

قيم المؤلفون الطرق على اثنين من معايير توليد النص إلى جدول، E2E و DART، من خلال ضبط نموذج GPT-2 تحت ميزانية خصوصية مستهدفة $\epsilon \approx 8$.

• Muon مقابل الخطوط المرجعية: تفوق DP-Muon بشكل كبير على كل من DP-SGD و DP-Adam. في E2E، حسن DP-Muon قيمة الـ NLL للتقييم من 0.4961 (في DP-Adam) إلى 0.4553 وزاد من قيمة BLEU من 18.49 إلى 32.91.
• تأثير تصحيح التحيز: حقق DP-MuonBC تحسناً إضافياً على خط الأساس DP-Muon دون زيادة ميزانية الخصوصية. في E2E، حقق أفضل NLL (0.4490) وأفضل BLEU (34.92). وفي DART، حقق DP-MuonBC أفضل النتائج عبر جميع المقاييس الثلاثة (NLL: 0.4460، BLEU: 7.50، ROUGE-L: 34.42).
• ديناميكيات التدريب: وصلت طرق Muon باستمرار إلى NLL أقل من DP-SGD و DP-Adam طوال فترة التدريب، مع ظهور مكاسب خاصة لـ DP-MuonBC في المراحل المتأخرة من الأمثلة.

الأهمية والادعاءات

تدعي الورقة أن تحديثات المصفوفات بأسلوب Muon فعالة للضبط الدقيق الخاص، مما يوفر بديلاً واعداً للمحسنات التقليدية القائمة على المتجهات في نظام الخصوصية التفاضلية. يوفر العمل أول تحليل منهجي للتفاعل بين التعامد المصفوفي والخصوصية التفاضلية.

تكمن أهمية DP-MuonBC في قدرته على تحسين الفائدة من خلال تصحيح التحيز المحدد الناتج عن عملية التعامد غير الخطية، وكل ذلك مع الحفاظ على نفس ميزانية الخصوصية تماماً مثل النسخة غير المصححة. يضع المؤلفون هذا كخطوة نحو فهم كيفية الاستفادة من هياكل المحسنات المتقدمة (مثل التحديثات ذات القيم المصفوفية) في بيئات الحفاظ على الخصوصية دون التضحية بالضمانات النظرية.

تختتم الورقة بالإشارة إلى أن توسيع النظرية لتشمل مسارات متعددة الكتل تكيفية بالكامل وتقييم نماذج أكبر تظل توجهات مستقبلية طبيعية.