MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning
تقدم هذه الورقة MineGrad، وهو هجوم تحليل عكس التدرج يُمكّن خادمًا خبيثًا من إعادة بناء بيانات مستخدم خاصة عالية الدقة من تدرجات الضبط الدقيق لتقنية LoRA عبر استغلال نموذج مدرب مسبقًا ومسموم، مما يكشف بفعالية عن ثغرات خصوصية حرجة في التعلم الاتحادي كفء المعلمات عبر كل من مهام اللغة والرؤية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً حيث تكون أجهزة الكمبيوتر العملاقة والذكية للغاية (المعروفة بنماذج الذكاء الاصطي-AI) ضخمة جداً لدرجة أنه لا يمكن لشخص واحد حملها في جيبه. ولجعل هذه النماذج مفيدة للجميع، سمح العلماء لهذه النماذج بأن "تتعلم" من البيانات الموجودة على هاتفك أو حاسوبك المحمول دون أن "ترى" تلك البيانات فعلياً. يشبه هذا الأمر وجود طاهٍ ماهر يرسل لك كتاب وصفات أساسي، ثم تقوم أنت بتعديل التعليمات قليلاً باستخدام مكونات عائلتك السرية، ثم ترسل فقط التغييرات الطفيفة مرة أخرى إلى الطاهي. هذه الطريقة، التي تسمى "التعلم الاتحادي" (Federated Learning) مع تقنية "LoRA"، من المفترض أن تكون قوة خارقة للخصوصية: يصبح الطاهي أكثر ذكاءً، لكن مكوناتك السرية تظل مخفية في مطبخك.
ولكن ماذا لو لم يكن الطاهي مجرد طاهٍ؟ ماذا لو كان الطاهي جاسوساً مخادعاً أرسل لك كتاب وصفات تم التلاعب به قليلاً في المقام الأول؟ يستكشف هذا البحث إمكانية مخيفة: وهي أن خادماً خبيثاً (الطاهي) يمكنه خداع جهازك لجعله يبوح بأسراره من خلال التغييرات الطفيفة التي ترسلها. وجد الباحثون أنه من خلال تسميم الوصفة الأولية والأدوات المستخدمة لإجراء التغييرات بعنا_ية، يمكن للخادم عكس هندسة بياناتك الخاصة رياضياً — مثل رسائلك النصية أو صورك — بمجرد النظر إلى "التدرج" (Gradient) (قائمة التعديلات الصغيرة) الذي أرسلته. إنه تذكير بأنه حتى عندما تعتقد أنك تشارك فقط بضع فتات، قد يتمكن خصم ذكي من إعادة بناء الكعكة بأكملها.
الاكتشاف الكبير للورقة البحثية: "MineGrad"
قدم مؤلفو هذه الورقة، هاسين أس سامي، وسوابنيلي سين، وباساك غولر، هجوماً جديداً يطلقون عليه اسم MineGrad. فكر في الأمر كرحلة بحث عن كنز عالية التقنية حيث "الكنز" هو بياناتك الخاصة، و"الخريطة" مخبأة داخل التحديثات الصغيرة التي ترسلها إلى الخادم.
في الماضي، عرف الباحثون أنه إذا أرسلت جميع التغييرات إلى نموذج ضخم، فقد يتمكن شخص سيء النوايا من تخمين بياناتك. ولكن مع تقنية LoRA (التكيف منخفض الرتبة)، فإنك ترسل فقط نسخة صغيرة ومضغوطة من التغييرات. اعتقد العلماء أن هذا الحجم الصغير يجعل سرقة البيانات أصعب بكثير. كما اعتقدوا أنه إذا كانت البيانات كبيرة جداً (مثل جملة طويلة أو صورة كاملة)، فإن الرياضيات لن تعمل لسرقتها مرة أخرى.
MineGrad يحطم تلك الافتراضات. فقد أظهر الباحثون أن خادماً خبيثاً لا يزال بإمكانه سرقة بياناتك، حتى عندما ترسل تحديثات LoRA الصغيرة تلك فقط، وحتى عندما يكون لديك جمل طويلة أو صور معقدة.
إليك كيف يعمل "السطو"، باستخدام تشبيه بسيط:
- كتاب الوصفات المسموم: قبل أن تبدأ حتى، يرسل لك الخادم "نموذجاً مدرباً مسبقاً" (الوصفة الأساسية). يقوم الخادم بتعديل هذا الكتاب سراً. الأمر يشبه إضافة حبر متوهج غير مرئي إلى صفحات محددة من الوصفة. لن تلاحظ ذلك لأن الوصفة لا تزال تعمل جيداً للطهي.
- الإشارة السرية: عندما تستخدم هذا الكتاب المسموم للطهي باستخدام مكوناتك السرية الخاصة (بياناتك الخاصة)، فإن رياضيات عملية الطهي تخلق إشارة خاصة. لقد صمم الخادم "الحبر المتوهج" بحيث عندما تحسب التغييرات الطفيفة (التدرجات) لإرسالها، تعمل هذه التغييرات ككشاف ضوئي.
- تأثير كشاف الضوء: عادةً ما تكون التغييرات التي ترسلها مزيجاً فوضوياً من جميع مكوناتك. ولكن بسبب خدعة الخادم، تصبح التغييرات لأجزاء معينة من الوصفة ضخمة وصاخبة لجزء واحد محدد وتصبح هادئة لكل شيء آخر. الأمر يشبه إذا كنت تخلط "سموذي"، وقام الخهد بجعل الخلاط يصرخ بصوت عالٍ جداً فقط عندما تضيف الفراولة، لكنه يظل صامتاً عند إضافة الموز.
- إعادة البناء: يتلقى الخادم تحديثك الصغير. وبسبب تأثير كشاف الضوء، يمكن للخادم رياضياً عزل "الصرخة" ومعرفة المكون الذي تسبب فيها بالضبط. ومن خلال القيام بذلك لأجزاء مختلفة من الوصفة، يمكن للخادم تجميع وصفة "السموذي" السرية الخاصة بك، كلمة بكلمة أو بكسل بكسل.
ما وجدوه (وما لم يجدوه)
اختبر الباحثون هذا على نوعين مختلفين تماماً من البيانات: النصوص (مثل المقالات الإخبارية والمراجعات) والصور (مثل صور القطط والسيارات).
- بالنسبة للنصوص: استخدموا نماذج مثل BERT وRoBERTA. كانت النتائج مذهلة بدقة. في اختباراتهم، استعاد الخادم النص بدقة شبه مثالية. إذا كانت الجملة الأصلية هي "Microsoft sends digital business cards"، فإن النص المستعاد كان متطابقاً تقريباً، حيث حصل على درجة 1.0 (مثالية) على مقاييس القياس القياسية مثل BLEU وROUGE-L.
- بالنسبة للصور: اختبروا على صور من مجموعات بيانات CIFAR-10 وCIFAR-100. كانت الصور المستعادة تشبه الأصلية إلى حد كبير. قاس الباحثون الفرق باستخدام مقياس يسمى LPIPS، وحصلوا على درجات حوالي 0.20 إلى 0.21، مما يشير إلى أن الصور قريبة جداً من الأصلية بصرياً.
- أسطورة "كثرة الرموز" (Tokens): فشل هجوم سابق يسمى DAGER إذا كان لديك كلمات في جملتك أكثر من "الرتبة" (مقياس الحجم) لوحدة LoRA. أظهر مؤلفو هذه الورقة أن MineGrad يعمل حتى عندما يكون عدد الكلمات أكبر بكثير من الرتبة. لقد أثبتوا أنه من خلال استخدام "طبقات" متعددة من النموذج (مثل استخدام عدة كشافات بدلاً من واحد)، يمكنهم استعادة البيانات حتى مع رتب LoRA الصغيرة (منخفضة تصل إلى 4) والتسلسلات الطويلة.
حدود الهجوم
من المهم ملاحظة ما لا تقوله هذه الورقة. يعتمد الهجوم على كون الخادم خبيثاً ولديه السيطرة على النموذج الأولي الذي تقوم بتنزيله. إذا قمت بتنزيل نموذج من مصدر موثوق يمكنك التحقق منه، أو إذا كان الخادم صادقاً، فإن هذا الهجوم المحدد لا يعمل.
أيضاً، تشير الورقة إلى أن هذا الهجوم يكون أكثر فعالية عندما لا يهتم الخادم بجودة النموذج النهائي. نظرًا لأن الخادم يتلاعب بالوصفة لسرقة البيانات، فقد يتراجع أداء النموذج قليلاً. ومع ذلك، يشير المؤلفون إلى أنه في العديد من السيناريوهات الواقعية (مثل التدريب أثناء الليل بينما يشحن هاتفك)، لا يراقب المستخدمون أداء النموذج عن كثب، لذا قد لا يلاحظون أن النموذج أصبح "أغبى" قليلاً أثناء سرقة بياناتهم.
اختبر الباحثون أيضاً ما يحدث إذا أرسلت مجموعة كاملة من الجمل في وقت واحد (مثل 64 جملة). في هذه الحالات، لا تكون الاستعادة مثالية لكل كلمة على حدة، لكنهم وجدوا أنه حتى مع حجم دفعة يبلغ 64، لا يزال بإمكانهم استعادة حوالي 52.2% من الرموز (الكلمات) في بعض مجموعات البيانات.
لماذا هذا مهم
هذه الورقة لا تقول فقط "إنه ممكن"؛ بل تقدم مخططاً عملياً (الكود متاح عبر الإنترنت) يوضح بالضبط كيف تعمل الرياضيات. إنها تشير إلى أن ضمانات الخصوصية التي اعتقدنا أننا نملكها مع الطرق الفعالة مثل LoRA قد تكون وهماً إذا كان الخادم غير جدير بالثقة.
خلص المؤلفون إلى أننا بحاجة إلى طرق جديدة للتحقق مما إذا كانت النماذج التي نقوم بتنزيلها آمنة، لأن مجرد الثقة في الخادم قد لا يكون كافياً. هم لم يحلوا مشكلة كيفية إيقاف ذلك؛ بل بدلاً من ذلك، أطلقوا إنذاراً عالياً جداً، موضحين أنه بدون دفاعات أفضل، يمكن استخراج بياناتنا الخاصة مباشرة من التحديثات الصغيرة التي اعتقدنا أنها آمنة للمشاركة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.