Population Risk Bounds for Kolmogorov-Arnold Networks Trained by DP-SGD with Correlated Noise

ملخص تقني: حدود مخاطر السكان لشبكات كولموغوروف-آرنولد المدربة بواسطة DP-SGD مع الضوضاء المترابطة

1. بيان المشكلة

تتناول الورقة فجوة حرجة في الفهم النظري لشبكات كولموغوروف-آرنولد (KANs)، وهي بديل مهيكل لشبكات الإدراك متعددة الطبقات (MLPs) تقوم بتمثيل التفاعلات عبر دوال أحادية المتغير قابلة للتعلم. وبينما أظهرت شبكات KAN أداءً تجريبياً قوياً في المجالات العلمية والهندسية التي تتضمن بيانات حساسة، فإن الضمانات النظرية الحالية لتعميمها (مخاطر السكان) محدودة.

تحديداً، وضعت الأعمال السابقة [60] حدود مخاطر السكان لشبكات KAN فقط تحت ظروف الاشتقاق المتدرج (GD) للدفعة الكاملة والخصوصية التفاضلية (DP) ذات الضوضاء المستقلة. وهذا يترك نظامين عمليين هامين دون تحليل:

1. الاشتقاق المتدرج العشوائي (SGD) ذو الدفعات الصغيرة (Mini-batch) مع قص المتدرج (Gradient Clipping): وهو الوصفة التدريبية القياسية للشبكات العصبية الحديثة، والتي تغير ديناميكيات التحسين بشكل جوهري مقارنة بـ GD للدفعة الكاملة.
2. آليات الخصوصية التفاضلية ذات الضوضاء المترابطة: تقدم الآليات الحديثة (مثل DP-$\lambda$CGD [28]) ارتباطات زمنية في الضوضاء ($\xi_t = \kappa(Z_t - \lambda Z_{t-1})$) لتحسين المقايضة بين الخصوصية والمنفعة. تفترض نظرية الخصوصية التفاضلية القياسية ضوضاء مستقلة، ولا توجد حدود لمخاطر السكان للتدريب بالضوضاء المترابطة في البيئات غير المحدبة مثل KANs.

التحدي الجوهري هو أن الاعتماد الزمني في الضوضاء يكسر بنية "التمركز الشرطي" الضرورية لتحليل SGD ذو الخطوة الواحدة القياسي، كما أن خطوات الإسقاط المستخدمة لضمان الاستقرار في التحسين غير المحدب تعيق الإلغاء الجزئي للاضطرابات المترابطة.

2. المنهجية والنهج التقني

يضع المؤلفون حدود مخاطر السكان من خلال تفكيك المخاطر إلى مخاطر التحسين (التقارب إلى الحد الأدنى التجريبي) وفجوة التعميم (الفرق بين المخاطر التجريبية ومخاطر السكان).

أ. تحليل التحسين (غير المحدب، الضوضاء المترابطة)
للتعامل مع الضوضاء المترابطة في النظام غير المحدب، طور المؤلفون إطار إثبات مبتكر يتجاوز قيود حجج SGD المسقطة القياسية:

1. الديناميكيات المساعدة غير المسقطة: قدموا مساراً مساعداً $\{\tilde{W}_t\}$ يتطور بدون إسقاط ولكنه يستخدم نفس الدفعات الصغيرة والضوضاء. يسمح هذا للتحليل بالتركيز على بنية الضوضاء دون عائق عامل الإسقاط.
2. المتكرر المزاح (Shifted Iterate): لمعالجة غياب التمركز الشرطي في الضوضاء المترابطة (حيث $E[\xi_t | \mathcal{F}_{t-1}] \neq 0$)، عرّفوا متكرراً مزاحاً $U_t = \tilde{W}_t + \eta c_{priv} Z_t$. هذا التحويل يستوعب الاضطراب الغاوسي الحالي، مما يكشف عن بنية إلغاء حيث يتقلص المصطلح المترابط الرئيسي إلى متبقٍ يتناسب مع $(1-\lambda)$.
3. التعزيز عالي الاحتمالية (High-Probability Bootstrap): استخدموا تحليلاً "موقوفاً" لإثبات أن المسار المساعد يظل ضمن منطقة موضعية حيث تظل تقديرات انحناء KAN (بناءً على هامش NTK) قائمة. يتضمن ذلك إثبات أن الإسقاط غير نشط باحتمالية عالية، مما يجعل المتكررات المسقطة $W_t$ مساوية للمتكررات المساعدة غير المسقطة $\tilde{W}_t$.

ب. تحليل التعميم
يتم تحديد فجوة التعميم باستخدام الاستقرار الخوارزمي. من خلال ربط تشغيلين للخوارزمية على مجموعات بيانات متجاورة (باستخدام نفس التهيئة، والدفعات الصغيرة، وتسلسل الضوضاء)، يوضح المؤلفون أن حدود الضوضاء الجمعية تلغي بعضها البعض في فرق المتكررات. تعتمد حدود الاستقرار على مخاطر التحسين المستمدة من الخطوة السابقة.

ج. محاسبة الخصوصية
تقدم الورقة ضماناً للخصوصية لآلية الضوضاء المترابطة (DP-$\lambda$CGD) تحت أخذ العينات الفرعية الموحد بدون استبدال. وقد اشتقوا حداً علوياً تحليلياً لمتعدد الضوضاء $\kappa$ المطلوب لتحقيق $(\epsilon, \delta)$-DP، باستخدام الأزواج المهيمنة وتشتت عصا الهوكي (hockey-stick divergence) لمحاسبة بنية الارتباط.

3. المساهمات الرئيسية

تقدم الورقة المساهمات المحددة التالية:

• أول حدود لمخاطر السكان لشبكات KAN في الأنظمة العملية: وضعت أول حدود لمخاطر السكان لشبكات KAN ذات الطبقتين المدربة بواسطة الاشتقاق المتدرج (SGD) ذو الدفعات الصغيرة والمقصوصة، مغطيةً كل من الإعدادات غير الخاصة وإعدادات الخصوصية التفاضلية. وهذا ينقل نظرية KAN إلى ما وراء إعداد GD للدفعة الكاملة في [60].
• أول تحليل للخصوصية التفاضلية بالضوضاء المترابطة في بيئة غير محدبة: حسب علم المؤلفين، هذا هو أول تحليل لمخاطر السكان لآلية ضوضاء مترابطة في إعداد غير محدب. وقد طبقت ذلك على شبكات KAN المدربة بـ clipped mini-batch DP-SGD.
• تخصصات دقيقة وحادة: تستعيد النتائج وتُحسن الحدود الموجودة:
  • بالنسبة لـ الاشتقاق المتدرج (SGD) ذو الدفعات الصغيرة غير الخاص، تعطي الحدود مخاطر تحسين وسكان من رتبة $O(1/n)$ في نظام العرض اللوغاريتمي، مما يقلل من العوامل اللوغاريتمية والاعتماد على هامش NTK $\gamma$.
  • بالنسبة لـ الخصوصية التفاضلية بالضوضاء المستقلة ($\lambda=0$)، تطابق الحدود الحد الأدنى لـ DP-SCO المحدب في [7] فيما يتعلق بالعوامل اللوغاريتمية وتحسن على نتائج DP-GD للدفعة الكاملة في [60] من خلال تقليل عرض الشبكة المطلوب والاعتماد على هامش NTK.
  • بالنسبة لـ الاشتقاق المتدرد (SGD) بالضوضاء المترابطة، يحدد التحليل كيف يؤثر معامل الارتباط $\lambda$ على مخاطر التحسين، رغم أن معدل مخاطر السكان النهائي (في ظل معايرة خصوصية متحفظة) يطابق تقاربيًا معدل الضوضاء المستقلة.

4. النتائج الرئيسية

تحت أنظمة بارامترية ممثلة (عرض $m \asymp \text{polylog}(n)$)، تشتق الورقة معدلات مخاطر السكان التالية للمتكررات المتوسطة:

• الاشتقاق المتدرج (SGD) ذو الدفعات الصغيرة غير الخاص:
  $$\text{Risk} \lesssim \frac{1}{n}$$
  هذا يحسن المعدل من $O(1/(\gamma^4 n))$ لـ full-batch GD في [60] ليصل إلى $O(1/(\gamma^2 n))$ مع عرض شبكة مطلوب أصغر.

• الخصوصية التفاضلية (الضوضاء المستقلة والمترابطة):
  تحت $(\epsilon, \delta)$-DP، تحقق كل من آليات الضوضاء المستقلة والمترابطة المعدل التالي:
  $$\text{Risk} \lesssim \frac{1}{\gamma \sqrt{n}} + \frac{\sqrt{d}}{\gamma^4 n \epsilon}$$
  (حتى العوامل اللوغاريتمية).
  يوضح التحليل أنه بينما يحسن الارتباط الزمني خطأ التحسين (الذي يتناسب مع $1-\lambda$)، فإن معايرة الخصوصية المغلقة والمتحفظة المطلوبة للضمان النظري تعوض هذه المكاسب في حد مخاطر السكان النهائي.

5. الأهمية والادعاءات

تدعي الورقة تقديم أول تحليل لمخاطر التحسين ومخاطر السكان لآلية ضوضاء مترابطة للتدريب بالخصوصية التفاضلية بما يتجاوز التعلم المحدب، وتحديداً للشبكات العصبية (KANs).

• الابتكار النظري: النواة التقنية — التي تجمع بين الديناميكيات المساعدة غير المسقطة، والمتكررات المزاحة، والتعزيز عالي الاحتمالية — تقدم مساراً جديداً لتحليل تدريب DP بالضوضاء المترابطة في الأنظمة غير المحدبة، والتي قد تكون ذات أهمية مستقلة تتجاوز KANs.
• الأهمية العملية: من خلال تغطية mini-batch SGD والضوضاء المترابطة، تسد النتائج الفجوة بين الضمانات النظرية و"الوصفة القياسية" المستخدمة في أنظمة التعلم العميق والتعلم الاتحادي الحديثة.
• القيود: يقر المؤلفون بتواضع بأن معدل مخاطر السكان النهائي للضوضاء المترابطة يطابق معدل الضوضاء المستقلة تقاربيًا في ظل معايرة الخصوصية المتحفظة الحالية. ويحددون أن محاسبة الخصوصية الأكثر دقة هي سؤال مفتوح يمكن أن يفتح الفوائد النظرية للارتباط في حدود المخاطر النهائية. بالإضافة إلى ذلك، يقتصر التحليل حالياً على شبكات KAN ذات الطبقتين مع معاملات ثابتة للطبقة الثانية.