ملخص تقني: FedShield-LLM

بيان المشكلة

تواجه عملية الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) للتطبيقات المتخصصة في مجالات معينة (مثل الرعاية الصحية أو التمويل) تحدياً مزدوجاً: خصوصية البيانات وقابلية التوسع الحسابي.

• مخاطر الخصوصية: يتطلب التدريب المركزي مشاركة بيانات حساسة، مما ينتهك لوائح مثل GDPR وCCPA. وبينما يحافظ التعلم الاتحادي (Federated Learning) على بقاء البيانات محلياً، يظل التعلم الاتحادي القياسي عرضة لهجمات الاستدلال، مثل هجمات عكس التدرج (Gradient Inversion Attacks - GIA) واستدلال العضوية، حيث يمكن للخوادم الخبيثة أو العملاء المخترقين إعادة بناء بيانات التدريب الخاصة من التحديثات النموذجية.
• القابلية للتوسع والكفاءة: يعد الضبط الدقيق للنموذج الكامل أمراً مكلفاً حسابياً للعملاء ذوي الموارد المحدودة، كما يتسبب في عبء اتصالات هائل. وتؤدي تقنيات الحفاظ على الخصوصية الموجودة، مثل الخصوصية التفاضلية (Differential Privacy - DP)، غالباً إلى تدهور أداء النموذج بسبب حقن الضوضاء، بينما يعد استخدام التشفير المتماثل الكامل (Fully Homomorphic Encryption - FHE) على النماذج الكاملة غير ممكن حسابياً بسبب العدد الهائل من المعلمات (Parameters).

المنهجية: FedShield-LLM

يقترح المؤلفون FedShield-LLM، وهو إطار عمل جديد للضبط الدقيق الاتحادي يدمج ثلاثة مكونات أساسية لمعالجة التحديات المذكورة أعلاه: التكيف منخفض الرتبة (LoRA)، والتقليم غير المهيكل (Unstructured Pruning)، والتشفير المتماثل الكامل (FHE).

1. المكونات الأساسية

• تحديثات محلية قائمة على LoRA: بدلاً من تحديث جميع معلمات النموذج، يقوم العملاء بضبط طبقات المهايئ (Adapter layers) خفيفة الوزن فقط (LoRA). وهذا يقلل عدد المعلمات القابلة للتدريب من $O(d^2)$ إلى $O(rd)$، مما يخفض بشكل كبير من العبء الحسابي والذاكرة على أجهزة العملاء.
• التقليم غير المهيكل: قبل الإرسال، يطبق العملاء التقليم غير المهيكل على تحديثات LoRA. وهذا يعمل على إزالة المعلمات الأقل أهمية (بناءً على المقدار)، مما يخدم غرضين:
  1. تقليل عبء الاتصالات.
  2. الحد من "سطح الهجوم" عن طريق تعطيل المعلمات التي قد تكون حاسمة لإعادة بناء البيانات الخاصة.
• التجميع الآمن عبر FHE (مخطط CKKS): يقوم العملاء بتشفير تحديثات LoRA المقلمة باستخدام مخطط التشفير المتماثل CKKS. يقوم الخادم بتجميع هذه التحديثات المشفرة (بالجمع أو المتوسط) دون فك تشفير بيانات كل عميل على حدة. يمكن فقط للطرف المصرح له الذي يمتلك المفتاح السري فك تشفير التحديث النهائي للنموذج.

2. سير العمل

1. التهيئة: يقوم خادم إدارة مفاتيح موثوق بإنشاء زوج من المفاتيح (عام/خاص). يتم مشاركة المفتاح العام مع الخادم والعملاء.
2. التدريب المحلي: يقوم العملاء بتحميل نموذج لغوي كبير (Base LLM) مجمد، ويقومون بضبط مهايئات LoRA فقط على بياناتهم الخاصة المحلية.
3. التخلخل والتشفير: يقوم العملاء بحساب تحديثات LoRA، وتطبيق قناع التقليم (Pruning mask) لتصفير الأوزان ذات المقدار المنخفض، وتشفير التحديثات المتخلخلة الناتية باستخدام CKKS.
4. التجميع: يقوم الخادم بإجراء عملية جمع متماثل (Homomorphic addition) على التحديثات المشفرة لحساب التحديث العالمي.
5. فك التشفير والتحديث: يتم فك تشفير النص المشفر المجمع (بواسطة طرف مصرح له)، ويتم تطبيق تحديث LoRA العالمي الناتج على النموذج الأساسي للدورة التالية.

3. الضمانات النظرية

• التقارب: تقدم الورقة برهنة على التقارب توضح أن FedShield-LLM يتقارب بشكل دون خطي ($O(1/\sqrt{R})$) نحو نقطة ثابتة في البيئات غير المحدبة، على غرار FedAvg القياسي. وتجادل البرهنة بأن التشفير لا يغير القيم العددية، وأن التقليم يعمل كاضطراب محدود لا يخل بشكل أساسي بديناميكيات التحسين.
• الأمان: بموجب فرضية "تعلم الخطأ في الحلقة" (Ring Learning With Errors - RLWE)، يوفر مخطط CKKS أماناً دلالياً. علاوة على ذلك، فإن الجمع بين التشفير والتخلخل يخلق نظاماً ناقص التحديد للمهاجمين المحتملين، مما يجعل هجمات عكس التدرج (إعادة بناء المدخلات من التحديثات) مسألة غير محددة حسابياً وغير قابلة للحل عملياً.

المساهمات الرئيسية

1. دمج إطار عمل مبتكر: هذا هو العمل الأول الذي يجمع بين FHE وLoRA والتقليم غير المهيكل خصيصاً للضبط الدقيق للنماذج اللغوية الكبيرة في بيئة اتحادية. وهو يتيح التجميع الآمن في المجال المشفر مع التخفيف من تسرب الخصوصية أثناء كل من التدريب والاستدلال.
2. الجدوى في البيئات محدودة الموارد: من خلال الاستفادة من LoRA لتحديث المهايئات خفيفة الوزن فقط والتقليم لتقليل حجم البيانات، يجعل هذا الإطار الضبط الدقيق الآمن والمشفر ممكناً لنماذج LLM الكبيرة (مثل 7B و13B بارامتر) على أجهزة الحافة (Edge devices).
3. المتانة ضد هجمات الاستدلال: يوفر الإطار ضمانات قوية ضد الخوادم "النزيهة ولكن الفضولية" وهجمات عكس التدرج، متفوقاً على طرق الخصوصية التفاضلية (DP) التي تعاني من مقايضة الخصوصية والمنفعة.

النتائج التجريبية

قام المؤلفون بتقييم FedShield-LLM باستخدام نماذج Llama-2 (7B و13B) عبر أربعة مجموعات بيانات متنوعة: alpaca-gpt4 (عام)، وfingpt-sentiment-train (تمويل)، وMathInstruct (استدلال)، وmedical flashcards (رعاية صحية).

• الأداء مقابل النماذج المرجعية: حقق FedShield-LLM باستمرار خسارة تدريب أقل وأكثر استقراراً مقارنة بـ Vanilla FL وDP-LoRA. وقد أظهر تقارباً أسرع، خاصة في جولات الاتصال المبكرة.
• جودة توليد النصوص: تم التقييم عبر مقياس BERTScore مقابل مراجع GPT-4o، حيث حقق FedShield-LLM أعلى درجة F1 (0.6865)، متفوقاً على DP-LoRA (0.6130) وVanilla FL (0.5756). وأظهر التحليل النوعي أن النموذج يولد خطوات استدلال متماسكة ودقيقة تضاهي GPT-4o.
• تأثير التقليم على الأمان: أظهرت التجارب باستخدام هجوم DAGER (عكس التدرج) أنه بينما أدى التقليم بنسبة 50% إلى زيادة طفيفة في درجات ROUGE (بسبب إعادة بناء أقصر وتشبه القوالب)، فإن رفع معدل التقليم إلى 60-70% أدى بشكل كبير إلى إضعاف قدرة المهاجم على إعادة بناء نص ذي معنى. وهذا يؤكد أن التقليم يقلل فعلياً من الضعف أمام هجمات الاستدلال.
• الكفاءة: نجح الإطار في تقليل عبء الاتصالات (على سبيل المثال، من 1200 ميجابايت إلى 120 ميجابايت عبر LoRA، ثم تقليلها أكثر عبر التقليم) مع الحفاظ على منفعة النموذج.

الأهمية والادعاءات

تزعم الورقة أن FedShield-LLM يقدم مقايضة فائقة بين الخصوصية والمنفعة مقارنة بالطرق الموجودة:

• على عكس الخصوصية التفاضلية (DP)، التي تضعف دقة النموذج بإضافة الضوضاء، يستخدم FedShield-LLM تقنية FHE للتجميع الدقيق، مما يحافظ على سلامة التدرج وأداء النموذج.
• على عكس نهج التشفير المتماثل المركزي (مثل PrivTuner)، يعمل FedShield-LLM في بيئة اتحادية لامركزية متعددة العملاء، مما يعالج التحديات الخاصة بالتعاون عبر الصوامع (Cross-silo collaboration).
• يعد التقليم عنصراً حاسماً؛ فبدونه، سيكون تطبيق FHE على معلمات LLM الكاملة أمراً مستحيلاً حسابياً. يقلل التقليم من سطح الهجوم ويجعل تشفير التحديثات أمراً ممكناً.

يضع المؤلفون FedShield-LLM كحل عملي لنشر نماذج LLM آمنة ومتخصزمة في الصناعات المنظمة (الرعاية الصحية، التمويل) حيث تكون خصوصية البيانات ذات أهمية قصوى والموارد الحسابية محدودة. وهم يقرون بأنه بينما يضيف FHE عبئاً حسابياً غير مهمل، فإن الجمع بينه وبين LoRA والتقليم يجعل ذلك مساراً قابلاً للتطبيق، رغم الحاجة إلى مزيد من العمل المستقبلي لتحسين قابلية التوسع للكتل الضخمة من العملاء وتوزيعات البيانات غير المتماثلة (non-IID) للغاية.