Adaptive Heterogeneous Compression for Resource-Efficient Federated Knowledge Distillation
تقترح هذه الورقة البحثية إطار عمل ASCEND، وهو إطار ضغط متغاير تكيفي لعملية تقطير المعرفة الاتحادية، والذي يصيغ اختيار الاستراتيجية كمسألة "مقام متعدد الأذرع غير مستقر" لتحسين كفاءة الاتصال ووقت التدريب ديناميكيًا عبر موارد العملاء المتنوعة مع الحفاظ على دقة النموذج.
في العالم الرقمي الحديث، تولد هواتفنا وأجهزة الاستشعار الخاصة بنا بيانات باستمرار، من المقاييس الصحية إلى صور حياتنا اليومية. هناك فكرة قوية تسمى "التعلم الاتحادي" (Federated Learning) تسمح لهذه الأجهزة بالتعلم معًا لبناء ذكاء اصطناعي أكثر ذكاءً دون إرسال بياناتها الخاصة أبدًا إلى خادم مركزي. بدلاً من ذلك، تقوم الأجهزة بتدريب نماذجها الصغيرة الخاصة محليًا وتشارك فقط الدروس الرياضية التي تعلمتها. ومع ذلك، تواجه هذه العملية عقبة كبيرة: الأجهزة ليست جميعها متساوية. فبعضها هو هواتف ذكية قوية، بينما البعض الآخر عبارة عن مستشعرات صغيرة تعمل بالبطارية ذات ذاكرة محدودة واتصالات إنترنت بطيئة. علاوة على ذلك، غالبًا ما تكون النماذج التي تشغلها ذات أشكال وأحجام مختلفة لتناسب أجهزتها المحددة. وعندما تحاول هذه الأجهزة المتنوعة التعلم معًا، يمكن لعملية تبادل المعلومات المستمرة أن تسد الشبكة، مما يؤدي إلى إبطاء كل شيء أو تسبب فشل عملية التعلم.
لقد طور الباحثون طريقة تسمى "تقطير المعرفة الاتحادي" (Federated Knowledge Distillation) لمساعدة هذه الأجهزة غير المتوافقة على التعاون. فبدلاً من محاولة إجبار كل جهاز على استخدام نفس النموذج تمامًا، يسمح هذا النهج لها بمشاركة "جوهر" ما تتعلمه، مما يسمح لمستشعر صغير بالتعلم من هاتف قوي حتى لو اختلفت هياكلهما الداخلية. ومع ذلك، ظهرت مشكلة جديدة: حتى مع طريقة المشاركة الأكثر ذكاءً هذه، لا تزال الأجهزة بحاجة إلى إرسال كميات كبيرة من البيانات الرياضية ذهابًا وإيابًا، مما يستهلك الكثير من الوقت والطاقة عند حافة الشبكة. كان الحل التقليدي هو ضغط هذه البيانات، لكن الأساليب الموجودة كانت تعامل كل جهاز بنفس الطريقة، متجاهلة أن الاستراتيجية التي قد تنجح مع حاسوب سريع قد ترهق جهازًا بطيئًا.
ولحل هذه المشكلة، اقترح فريق من الباحثين بقيادة تشينوانغ ليو وزملاؤه من جامعة قوانغدونغ للتكنولوجيا وجامعة تشونغتشينغ للبريد والاتصالات نظامًا جديدًا حيث يمكن لكل جهاز اختيار استراتيجية الضغط الخاصة به. لقد أنشأوا إطار عمل يتيح للأجهزة الاختيار من بين مجموعة من الطرق المختلفة لتقليص حجم بياناتها، مثل الاحتفاظ بالأرقام الأكثر أهمية فقط، أو اختيار الأرقام عشوائيًا، أو التدوير عبر البيانات وفق نمط محدد. وكان التحدي يكمكمن في معرفة الطريقة الأفضل لكل جهاز في أي لحظة معينة، بما أن الخيار الأفضل يتغير مع تقدم عملية التدريب وتغير ظروف الشبكة.
لقد عامل الباحثون عملية الاختيار هذه كأنها لعبة حظ يجب على اللاعب فيها أن يقرر أي رافعة يسحب للحصول على أفضل مكافأة. في نظامهم، تعتبر كل طريقة ضغط بمثابة رافعة، والمكافأة هي درجة توازن بين مدى تحسن النموذج والوقت الذي استغرقه العمل. لقد طوروا خوارزمية تسمى "ASCEND" تسمح لكل جهاز بالتعلم من تجربته الخاصة. في البداية، تجرب الأجهزة طرقًا مختلفة لترى ما الذي ينجح. ومع مرور الوقت، تبدأ في تفضيل الطرق التي تعطيها أفضل النتائج لأجهزتها المحددة وسرعة شبكتها الحالية. وإذا لاحظ الجهاز أن تعلمه بدأ فجأة يتراجع أو يصبح غير مستقر، فإن النظام يحتوي على آلية أمان تعيده فورًا إلى إعداد محافظ ومستقر لمنع الأخطاء.
اختبر الفريق هذا النهج على منصة واقعية باستخدام عشرة أجهزة "راسبيري باي" (Raspberry Pi) تعمل كعملاء طرفيين، بالإضافة إلى عمليات محاكاة لمجموعات بيانات صور قياسية مثل MNIST وCIFAR-10. ووجدوا أن نظامهم التكيفي يتفوق باستمرار على الأساليب التي تجبر جميع الأجهزة على استخدام نفس قاعدة الضغط. وفي السيناريوهات التي تختلف فيها قدرات الأجهزة الحاسوبية أو ترتبط بشبكات ذات سرعات متفاوتة، نجح نظام ASCEND في التكيف. على سبيل المثال، في النماذج الأصغر والأبسط، تميل الأجهزة إلى اختيار طريقة تحتفظ بأهم نقاط البيانات، بينما في النماذج الأكبر والأكثر تعقيدًا، غالبًا ما تنتقل إلى طريقة أسرع في الحوسبة، حتى لو كانت أقل دقة بقليل. وأظهرت النتائج أن هذا النهج المرن قلل من الوقت الإجمالي اللازم لتدريب النماذج وخفض عبء الاتصالات دون التضحية بالدقة النهائية للذكاء الاصطناعي.
تؤكد الدراسة أنه لا توجد طريقة واحدة "مثلى" لضغط البيانات لجميع الأجهزة في شبكة اتحادية. بدلاً من ذلك، تعتمد الاستراتيجية المثلى على المزيج المحدد من أجهزة الجهاز، وحجم النموذج الذي يشغله، والحالة الراهنة للتدريب. ومن خلال السماح لكل مشارك باختيار مساره الديناميكي، يحقق النظام توازنًا بين السرعة والذكاء لا تستطيع الحلول الجامدة التي تتبع مبدأ "مقاس واحد يناسب الجميع" مضاهاته. ويشير هذا العمل إلى أن مستقبل التعلم الموزع لا يكمن في فرض التوحيد، بل في بناء أنظمة ذكية بما يكفي للتكيف مع القيود الفريدة لكل جهاز مشارك.
ملخص تقني: الضغط غير المتجانس التكيفي لتقطير المعرفة الاتحادي الموفر للموارد
بيان المشكلة تتيح التعلم الاتحادي (FL) التدريب الموزع المحافظ على الخصوصية، لكنها تواجه تحديات كبيرة بسبب عدم تجانس بنيات النماذج وموارد الاتصال المحدودة عند حافة الشبكة. يعالج تقطير المعرفة الاتحادي (FedKD) عدم تجانس النماذج من خلال الجمع بين تجميع المعلمات القائم على النماذج الأولية ونقل المعرفة القائم على الـ (logits) عبر بنيات مختلفة. ومع ذلك، فإن إرسال التدرجات الكاملة في FedKD يؤدي إلى عبء اتصالات كبير. تعتمد طرق ضغط التدرجات الحالية (مثل Top-K، وRandom-K، وPeriodic-K) عادةً استراتيجية موحدة لجميع العملاء وجولات التدريب. يتجاهل هذا النهج القدرات الحسابية المتنوعة، وقيود الذاكرة، وخصائص النماذج الفردية لكل عميل. فعلى سبيل المثال، قد تؤدي الاستراتيجيات كثيفة الحوسبة مثل Top-K إلى إرهاق الأجهزة محدودة الموارد، بينما قد تؤدي الطرق الخفيفة مثل Random-K إلى تدهور الأداء في نماذج معمارية معينة. وتتمثل المشكلة الجوهرية في كيفية اختيار استراتيجيات الضغط للعملاء ذوي بنيات النماذج والقدرات الموردية المتنوعة لتحقيق توازن فعال بين كفاءة التدريب وأداء التعلم.
المنهجية يقترح المؤلفون إطار عمل للضغط غير المتجانس حيث يختار كل عميل بشكل مستقل استراتيجية ضغط من مجموعة مرشحة هي S={Top-K, Random-K, Periodic-K} بناءً على خصائص نموذجه المحلي وقدراته الموردية.
نموذج النظام: يعمل إطار العمل ضمن إعداد FedKD قياسي. يقوم العملاء بإجراء تدريب محلي، وتجميع بقايا التدرجات لتعويض فقدان الضغط، وإرسال التدرجات المضغوطة إلى الخادم. يقوم الخادم بإعادة بناء التدرجات، وإجراء متوسط المعلمات القائم على النماذج الأولية، وإجراء تقطير المعرفة العالمي باستخدام مجموعة بيانات عامة لمواءمة النماذج غير المتجانسة.
اختيار الاستراتيجية كمسألة عصا متعددة الأذرع (MAB): يتم صياغة اختيار استراتيجية الضغط المثلى كمسألة عصا متعددة الأذرع (Multi-Armed Bandit) غير مستقرة عشوائياً. تمثل كل استراتيجية ضغط "ذراعاً". ويتم تعريف المكافأة بأنها كسب الأداء المراعي للكفاءة، والذي يُحسب من خلال النظر مجتمعاً في تحسين الأمثلة المحلية (تقليل الخسارة)، ومواءمة المعرفة العالمية (تقليل تباعد KL)، ووقت التنفيذ (أعباء الحوسبة والاتصالات).
خوارزمية ASCEND: لحل مسألة MAB، طور المؤلفون خوارزمية الضغط غير المتجانس التكيفي لتقطير المعرفة الاتحادي (ASCEND). وتشمل المكونات الرئيسية ما يلي:
سياسة ϵ-greedy المعززة بـ EMA: يستخدم العملاء المتوسط المتحرك الأسي (EMA) لتحديث تقديرات المنفعة لكل استراتيجية، مما يسمح لهم بالتكيف مع توزيعات المكافأة غير المستقرة الناتجة عن حالات التدريب الديناميكية. توازن سياسة ϵ-greedy بين الاستكشاف (تجربة استراتيجيات جديدة) والاستغلال (استخدام أفضل استراتيجية معروفة).
مرحلة الإحماء (Warm-up Phase): يتم إجراء عدد محدد من التجارب الأولية لكل استراتيجية لإنشاء تقديرات أساسية للمنفعة.
ضمان الاستقرار (Stability Safeguard): يتم تنفيذ آلية تراجع (rollback). إذا تم اكتشاف طفرة مفاجئة في الخسارة العالمية (تتجاوز العتبة γ)، يعود النظام إلى معلمات النموذج في الجولة السابقة ويفرض مؤقتاً استراتيجية Top-K موحدة لضمان الاستقرار.
المساهمات الرئيسية
إطار عمل للضغط غير المتجانس: يقدم البحث إطار عمل يمكّن العملاء من اختيار استراتيجيات ضغط مخصصة بشكل تكيفي تحت ظروف النماذج والموارد غير المتجانسة. ويقدم المؤلفون تحليلاً للتقارب لهذا الإطار تحت دالات الخسارة غير المحدبة، مما ينتج عنه معدل تقارب قدره O(1/T).
صياغة الأمثلة: تمت صياغة مسألة اختيار الاستراتيجية لتعظيم الأداء التراكمي المراعي للكفاءة، مع مراعاة المقايضة بين تكلفة الضغط، وتكلفة الاتصال، وأداء التعلم بشكل صريح.
خوارزمية ASCEND مع ضمان نظري: ينمذج المؤلفون عملية الاختيار كمسألة MAB عشوائية غير مستقرة. وتحت تقريب ثابت جزئياً، يشتقون حداً فرعياً للندم (regret bound) قدره O(MT)، حيث M هو عدد القطع الثابتة و T هو عدد الجولات، مما يوفر ضماناً نظرياً للأداء طويل الأمد.
التحقق التجريبي: تُظهر التجارب المكثفة على منصات واقعية (Raspberry Pi) والمحاكاة باستخدام مجموعات بيانات MNIST وCIFAR-10 فعالية الخوارزمية.
النتائج تشير النتائج التجريبية إلى أن ASCEND تتكيف بفعالية مع مختلف إعدادات النماذج والموارد:
الأداء مقابل الوقت: تحقق ASCEND باستمرار دقة نموذج تنافسية أو متفوقة مقارنة بالأساليب الموحدة (Top-K، وRandom-K، وPeriodic-K) وطريقة تكيفية قائمة على EXP3، مع تقليل وقت التدريب وأعباء الاتصالات بشكل كبير.
التكيف: تغير الخوارزمية تفضيلات الاستراتيجية ديناميكياً بناءً على الظروف. على سبيل المثال، في النماذج الأصغر (LeNet5Half) أو مستويات الضغط الشديدة، يختار العملاء بشكل أساسي Top-K. وعلى العكس من ذلك، في النماذج الأكبر (LeNet5، وResNet18) أو ميزانيات الاتصال الأكبر، يتحول العملاء نحو Random-K لتقليل أعباء الاختيار.
المتانة: تحافظ الطريقة على أداء قوي عبر درجات متفاوتة من عدم تجانس البيانات (المتحكم بها بواسطة معامل Dirichlet α) ونطاقات عرض نطاق ترددي مختلفة (من 5 Mbps إلى 500 Mbps).
التحقق الواقعي: عند نشرها على منصة واقعية مكونة من 10 أجهزة Raspberry Pi، أظهرت ASCEND تقارباً أسرع في مراحل التدريب المبكرة وكفاءة إجمالية أفضل مقارنة بالاستراتيجيات الثابتة.
الأهمية والادعاءات يدعي البحث أن فرض استراتيجية ضغط موحدة في FedKD يؤدي إلى أداء دون المستوى الأمثل بسبب عدم التجانس المتأصل في أجهزة الحافة والنماذج. ومن خلال صياغة اختيار الاستراتيجية كمسألة تعلم عبر الإنترنت، تسمح ASCEND للنظام بتحديد أكثر استراتيجيات الضغط فعالية لكل عميل في كل جولة تدريب بشكل تلقائي. ويؤكد المؤلفون أن هذا النهج يحقق توازناً ملائماً بين دقة النموذج وزمن انتقال التدريب دون المساس بضمانات التقارب النظرية لعملية التحسين الاتحادية الأساسية. يسلط العمل الضوء على أن التحديد التكيفي بين استراتيجيات متعددة غير متجانسة هو مسألة مفتوحة، والتي عند حلها، تعزز بشكل كبير من عملية تطبيق FedKD في البيئات محدودة الموارد. ويُقترح في العمل المستقبلي استقصاء الأمثلة المشتركة لاختيار الاستراتيجية والتعديل الديناميكي لمستوى الضغط (ميزانية التدرج المستبقى).