AdeptHEQ-FL: Adaptive Homomorphic Encryption for Federated Learning of Hybrid Classical-Quantum Models with Dynamic Layer Sparing
يُعد AdeptHEQ-FL إطار عمل موحداً هجيناً للتعلم الاتحادي الكلاسيكي-الكمي يدمج التشفير المتماثل التكيفي، وتوفير الطبقات الديناميكي، والتجميع الموزون بالدقة لتعزيز أداء النموذج في آن واحد، وضمان ضمانات الخصوصية الرسمية، وتقليل عبء الاتصالات في البيئات اللامركزية غير المتجانسة (non-IID).
المؤلفون الأصليون:Md Abrar Jahin, Taufikur Rahman Fuad, M. F. Mridha, Nafiz Fahad, Md. Jakir Hossen
تخيل مجموعة من الأصدقاء يحاولون حل أحجية (بازل) ضخمة معاً، ولكن مع بعض القواعد الصارمة:
لا يمكن لأي شخص أن يري قطع الأحجية الخاصة به لأي شخص آخر (الخصوصية).
كل شخص لديه مزيج مختلف من القطع (بيانات غير متطابقة التوزيع - Non-IID).
يمكنهم فقط إرسال رسائل نصية صغيرة جداً لمشاركة التقدم (قيود الاتصال).
يريدون استخدام أداة "كمومية" خاصة تجعل حل الأحجية قوياً للغاية، لكنها هشة وصعبة الاستخدام (النماذج الكمومية).
تقدم هذه الورقة البحثية AdeptHEQ-FL، وهو نظام مصمم لمساعدة هؤلاء الأصدقاء على حل الأحجية بشكل أسرع، وأكثر دقة، وأكثر أماناً من أي وقت مضى. إليك كيف يعمل، مقسماً إلى أجزاء بسيطة:
1. الفريق الهجين (كلاسيكي + كمومي)
معظم فرق حل الأحجيات تستخدم أدوات قياسية (الذكاء الاصطناوي الكلاسيكي). تقترح هذه الورقة فريقاً "هجيناً".
الجزء الكلاسيكي (الشبكة العصبية الالتفافية - CNN): فكر في هذا كأنه "عيون" الفريق. إنه ينظر إلى الصور الخام (مثل صورة قطة أو سيارة) ويقوم بتفكيكها إلى أشكال وأنسجة أساسية. إنه جيد في "العمل الشاق" المتمثل في رؤية الأنماط.
الجزء الكمومي (الدائرة الكمومية المتغيرة - PQC): فكر في هذا كأنه "العقل الخارق" للفريق. بمجرد أن تقوم العيون بعملها، يتولى العقل الخارق المهمة. يستخدم الدوائر الكمومية للعثور على الروابط المعقدة والخفية بين القطع التي قد يفوتها العقل الطبيعي.
النتيجة: من خلال الجمع بين العيون الثابتة للكمبيوتر الكلاسيكي والعقل الخارق للكمبيوتر الكمومي، يمكن للفريق حل أحجيات أصعب (مثل مجموعة بيانات CIFAR-10) بشكل أفضل بكثير من الفرق التي تستخدم أحدهما فقط.
2. نظام "التصويت الذكي" (التجميع التكيفي)
في المشاريع الجماعية العادية، تُحسب آراء الجميع بالتساوي. لكن في هذه الورقة، يدرك النظام أن بعض الأصدقاء يؤدون عملاً أفضل من غيرهم.
المشكلة: إذا كان أحد الأصدقاء يعاني (بسبب كون قطع الأحجية لديه غريبة أو غير مكتملة)، فإن نصيحته السيئة لا ينبغي أن تسحب المجموعة بأكملها للأسفل.
الحل: يتحقق النظام من مدى جودة أداء كل صديق في اختبار تجريبي. ومع ذلك، ولحماية خصوصيتهم، فإنه يضيف القليل من "الضجيج الساكن" (الخصوصية التفاضلية - Differential Privacy) إلى النتيجة بحيث لا يعرف أحد الدرجة الدقيقة لأي شخص آخر.
التصويت: يقوم النظام بعد ذلك بإعطاء تصويت أكبر للأصدقاء الذين حققوا درجات أعلى (المشوبة بالضجيج) وتصويتاً أصغر لأولئك الذين يعانون. هذا يضمن بناء النموذج النهائي على أفضل الأفكار، حتى لو كانت البيانات غير منظمة.
3. "المظروف السري" (التشفير الانتقائي)
عادة ما يكون الحفاظ على الأسرار في دردشة جماعية أمراً مكلفاً وبطيئاً. إذا قمت بتشفير كل شيء، ستصبح الرسائل ضخمة وتستغرق وقتاً طويلاً للإرسال.
الابتكار: بدلاً من وضع كامل حل الأحجية في خزنة ثقيلة ومغلقة (التشفير الكامل)، يقوم النظام بقفل الجزء الأكثر حرجاً من الحل فقط: الطبقة النهائية التي تقرر ماهية الصورة فعلياً.
التشبيه: تخيل إرسال رسالة. لست بحاجة لوضع الظرف بأكمله في خزنة بنكية؛ أنت فقط بحاجة لوضع التوقيع النهائي في أنبوب محكم الإغلاق وغير قابل للعبث. هذا يحافظ على سرية الجزء الأكثر حساسية دون إبطاء العملية بأكملها.
4. زر "التجميد" (توفير الطبقات الديناميكي)
إرسال التحديثات ذهاباً وإياباً يستغرق وقتاً وبيانات.
الاستراتيجية: يراقب النظام أجزاء الأحجية التي تتغير كثيراً والأجزاء التي توقفت عن التغيير.
الإجراء: إذا كان جزء من النموذج (مثل الطبقات المبكرة التي تبحث فقط عن الحواف) لا يتغير كثيراً، يقول النظام: "جمد هذا الجزء! لا ترسل تحديثات له". هذا يوفر عرض النطاق الترددي (Bandwidth).
الاستثناء: "العقل الخارق" (الطبقات الكمومية) لا يتم تجميده أبداً. يُسمح له بالاستمرار في التعلم والتكيف لأنه الجزء الأكثر مرونة وأهمية في الفريق.
ماذا وجدوا؟
اختبر المؤلفون هذا النظام على ثلاث "أحجيات" (مجموعات بيانات): CIFAR-10 (صور معقدة)، SVHN (أرقام المنازل)، و Fashion-MNIST (الملابس).
الفائز: تفوق نظام AdeptHEQ-FL على الطرق الأخرى. في الأحجية الأصعب (CIFAR-10)، كان أكثر دقة بنسبة 25% من الفريق الكمومي القياسي وبنسبة 14% من الفريق الذي حاول تشفير كل شيء.
الكفاءة: من خلال تجميد الطبقات غير المهمة وتشفير الخطوة النهائية فقط، وفر النظام الكثير من وقت الاتصال والبيانات.
استخدام الموارد: ومن المثير للاهتمام أن فريقهم "الهجين" استخدم موارد كمومية أقل (4 كيوبت) من المنافسين (6 كيوبت) ومع ذلك قدم أداءً أفضل. هذا يثبت أن الاستراتيجية الذكية أهم من مجرد امتلاك قوة خام أكبر.
الخلاًصة
AdeptHEQ-FL يشبه مجموعة دراسية عالية التنظيم ومركزة على الخصوصية. إنه يستخدم مزيجاً من الأدوات القياسية وفائقة القوة، ويستمع أكثر للأعضاء الأكثر ذكاءً (دون معرفة هويتهم بالضبط)، ويقفل فقط الأسرار الأكثر حساسية، ويتوقف عن إضاعة الوقت في تحديث أجزاء الخطة التي لا تتغير. النتيجة هي طريقة أسرع، وأكثر دقة، وأكثر أماناً لتعلم الآلات معاً دون مشاركة بياناتها الخاصة.
ملخص تقني لـ AdeptHEQ-FL: التشفير المتماثل التكيفي للتعلم الاتحادي للنماذج الهجينة الكلاسيكية-الكمية مع توفير الطبقات الديناميكي
1. بيان المشكلة
يواجه التعلم الاتحادي (FL) ثلاثية من التحديات المترابطة: عدم التجانس الإحصائي الناجم عن البيانات غير المتماثلة وغير المستقلة والمتماثلة توزيعياً (non-IID)، والثغرات الأمنية المتعلقة بالخصوصية المتأصلة في تحديثات النماذج رغم توطين البيانات، والأعباء العالية للاتصالات والحوسبة. تعالج الحلول الحالية هذه المشكلات بشكل منفصل غالباً. توفر أطر التعلم الاتحادي الكمي (QFL) تعبيراً أفضل للنماذج، لكنها تفتقر غالباً إلى ضمانات الخصوصية الرسمية أو القدرة على الصمود أمام بيانات non-IID. وفي المقابل، فإن تقنيات الحفاظ على الخصوصية مثل الخصوصية التفاضلية (DP) والتشفير المتماثل (HE) غالباً ما تؤدي إلى تدهور الفائدة في بيئات non-IID أو تسبب تكاليف حوسبية باهظة. علاوة على ذلك، فإن الأساليب التي تركز على الكفاءة تتجاهل عادةً القدرات الكمية. هناك فجوة حرجة لنموذج موحد يحسن الأداء والخصوصية والكفاءة في آن واحد ضمن سياق هجين كلاسيكي-كمي.
2. المنهجية
يدمج الإطار المقترح، AdeptHEQ-FL، أربعة مكونات أساسية لمعالجة هذه الفجوات:
بنية CNN-PQC الهجينة: يجمع النموذج بين شبكة عصبية تلافيفية (CNN) كلاسيكية لاستخراج الميزات ومعالجتها، ودائرة كمية معلمية (PQC) لتعزيز معالجة الميزات.
المكون الكلاسيكي: تقوم شبكة CNN مكونة من ثلاث كتل تلافيفية متتالية (التلافيف، ReLU، وتجميع الحد الأقصى - max-pooling) تليها طبقات متصلة بالكامل لاستخراج الميزات المحلية (الحواف، الأنسجة). يتم تسطيح المخرجات إلى متجه fCNN∈R2n.
المكون الكمي: يتم ترميز الميزات الكلاسيكية في حالة كمية مكونة من 4 كيوبتات عبر تضمين السعة (amplitude embedding). تستخدم الـ PQC طبقتين من "طبقات التشابك القوي"، والتي تتكون من دورات أحادية الكيوبت معلمية (Rz,Ry,Rz) وبوابات التشابك (CNOT). تنتج الدائرة متجه ميزات كمية رباعي الأبعاد عبر قياسات Pauli-Z، والذي يتم بعد ذلك ربطه بمخرج التصنيف النهائي بواسطة طبقة كلاسيكية متصلة بالكامل.
التجميع التكيفي الموزون حسب الدقة مع الخصوصية التفاضلية: للتعامل مع بيانات non-IID، يقوم الخادم بتجميع تحديثات العملاء بناءً على أداء التحقق المحلي لديهم.
يقوم العملاء بخصخصة دقة التحقق الخاصة بهم باستخدام آلية Laplace لضمان خصوصية تفاضلية من نوع (ϵ,0) لكل جولة.
يحسب الخادم أوزان التجميع باستخدام "softmax" مُنظم (tempered softmax) مستقر عددياً بناءً على هذه الدقة المخصخصة. هذا يعطي الأولوية لمساهمات العملاء ذوي الأداء العالي مع الحفاظ على المتانة ضد الضجيج.
التشفير المتماثل الانتقائي (HE): لضمان الخصوصية دون تحمل كامل الأعباء الحوسبية للتشفير المتماثل الكامل (FHE)، يطبق الإطار مخطط CKKS بشكل انتقائي. يتم تشفير معاملات الطبقة الأخيرة المتصلة بالكامل (FC4) فقط أثناء الإرسال والتجميع. يتم تجميع الطبقات الأخرى بنص صريح. يقوم الخادم بفك تشفير طبقة FC4 المجمعة باستخدام مفتاحه السري بعد عملية الجمع الموزون.
تجميد الطبقات التكيفي على مستوى الطبقة: لتقليل عبء الاتصالات، يستخدم الإطار آلية لتجميد الطبقات الكلاسيكية الأقل تأثيراً.
يتم تسجيل أهمية الطبقة بناءً على معيار L2 لتغيرات المعلمات عبر الجولات، مع تنعيمها عبر المتوسط المتحرك الأسي (EMA). CP يتم تجميد الطبقات التي تقل درجاتها عن عتبة ثابتة (0.001)، حيث لا يتم تحديث معاملاتها أو إرسالها.
بشكل حاسم، تُستثنى الطبقات الكمية صراحةً من التجميد للحفاظ على قدرتها على التكيف والتعبير، وهي أمور حيوية لنمذجة الأنماط المعقدة في البيانات اللامركزية.
3. المساهمات الرئيسية
تحدد الورقة أربع مساهمات رئيسية:
تجميع تكيفي مبتكر: آلية تجميع تستخدم دقة التحقق للعملاء المخصخصة والتشفير المتماثل (HE) لمعالجة توزيع بيانات non-IID بفعالية مع ضمان الخصوصية.
بنية هجينة: نموذج كلاسيكي-كمي موحد يدمج شبكات CNN لاستخراج الميزات مع PQC لتعزيز التعبير عن النموذج في بيئات التعلم الاتحادي.
توفير الطبقات الديناميكي الكفء: تقنية تقلل من عبء اتصالات التعلم الاتحادي عبر تجميد الطبقات الكلاسية الأقل تأثيراً بشكل تكيفي مع الحفاظ على مرونة المكونات الكمية.
تحليل التقارب النظري: إثبات رسمي يؤكد تقارب الإطار، مع مراعاة التفاعل بين التجميع التكيفي، وتوفير الطبقات، وآليات الخصوصية.
4. النتائج التجريبية
أُجريت التجارب على مجموعات بيانات CIFAR-10 وSVHN وFashion-MNIST باستخدام 10 عملاء على مدار 20 جولة اتصال مع توزيعات non-IID (Dirichlet α=0.1).
الأداء: تفوق AdeptHEQ-FL (المعد بـ 4 كيوبت و2 طبقة) على كل من Standard-FedQNN وFHE-FedQNN المتطور في جميع مجموعات البيانات.
في مجموعة بيانات CIFAR-10 المعقدة، حقق AdeptHEQ-FL دقة بلغت 72.61%، مما يمثل تحسناً بنسبة 25.43% تقريباً عن Standard-FedQNN (63.60%) وتحسناً بنسبة 14.17% عن FHE-FedQNN (57.89%).
لوحظت مكاسب في الأداء أيضاً في SVHN وFashion-MNIST، وإن كانت أكثر تواضعاً.
كفاءة الموارد: على الرغم من استخدام موارد أقل (4 كيوبت، 2 طبقة) مقارنة بالنماذج المرجعية (6 كيوبت، 6 طبقات)، حقق AdeptHEQ-FL نتائج متفوقة. ويعزى ذلك إلى استراتيجية التجميع التكيفي، التي تزن التحديثات بناءً على الدقة المخصخصة بدلاً من معاملة جميع العملاء بالتساوي، وإلى آلية تجميد الطبقات التي تقلل من الاتصالات غير الضرورية.
الحساسية: أدى تقليل الموارد الكمية بشكل أكبر (مثلاً: 2 كيوبت، 1 طبقة) إلى تدهور الأداء، خاصة في مجموعات البيانات المعقدة، مما يشير إلى أن البيانات المعقدة تتطلب سعة كمية كافية.
5. الأهمية والادعاءات
تدعي الورقة أن AdeptHEQ-FL يوفر حلاً شاملاً يوحد الأداء والخصوصية والكفاءة في نموذج تعلم اتحادي هجين كلاسيكي-كمي. وتكمن أهميته في:
التكامل التآزري: الدمج الناجح بين التعبير الكمي وضمانات الخصوصية الرسمية (DP وHE الانتقائي) وكفاءة الاتصالات.
المتانة تجاه non-IID: إثبات التعامل المتفوق مع بيانات non-IID من خلال التجميع الموزون حسب الدقة، متجاوزاً قيود التجميع الموحد في نماذج QFL وFHE الحالية.
الواقعية: تقديم تصميم واعٍ بالموارد يقلل من عبء الاتصالات عبر توفير الطبقات الديناميكي مع الحفاظ على قدرة المكونات الكمية على التكيف.
القيود المعترف بها: يشير المؤلفون إلى أن HE يُطبق حالياً فقط على الطبقة الأخيرة من أجل قابلية التنفيذ، مما يترك الطبقات الأخرى غير مشفرة. تم تقييم الإطار في بيئات محاكاة ولم يتم اختباره بعد على أجهزة كمية حقيقية. بالإضافة إلى ذلك، يعتمد تحليل التقارب على افتراضات السلاسة وتحديد تباين التدرج، والتي قد لا تتحقق في البيئات شديدة اللاخطية. ويُقترح كعمل مستقبلي توسيع نطاق التشفير، والاختبار على أجهزة فيزيائية، وتعميم النموذج على مجموعات بيانات أكبر.