Simple Yet Effective: Extracting Private Data Across Clients in Federated Fine-Tuning of Large Language Models
تُثبت هذه الورقة أن المشاركين "حسن النية" (semi-honest) في تدريب النماذج اللغوية الكبيرة الاتحادية يمكنهم استخراج معلومات تحديد الهوية الشخصية بفعالية من بيانات العملاء الآخرين باستخدام استراتيجيات بسيطة تعتمد على البادئات، مما يكشف عن مخاطر خصوصية جسيمة ويضع معياراً جديداً لتقييم مثل هذه التهديدات في المجال القانوني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مجموعة من الجيران (مستشفيات، بنوك، محاكم) يمتلك كل منهم وصفات سرية لأطباقه الشهيرة. يريدون إنشاء "كتاب طهي خارق" يجمع أفضل التقنيات من مطابخ الجميع لصنع الوجبة المثالية. ومع ذلك، فهم شديدو الخصوصية لدرجة تمنعهم من مشاركة قوائم مكوناتهم الفعلية أو وصفات عائلاتهم السرية مع بعضهم البعض.
لذا، يستخدمون طريقة خاصة تسمى "التعلم الاتحادي" (Federated Learning). فبدلاً من إرسال وصفاتهم الفعلية إلى طباخ مركزي، يرسلون فقط ملاحظات صغيرة حول كيفية تعديلهم للطبخ (مثل "أضف رشة ملح إضافية"). يقوم الطباخ المركزي بخلط هذه الملاحظات لتحديث "كتاب الطهي الخارق"، ثم يرسل النسخة المحسنة مرة أخرى إلى الجميع. لا أحد يرى المكونات الخام للآخرين أبداً.
المشكلة: "كتاب الطهي الخارق" لديه ذاكرة
يجادل البحث بأنه على الرغم من أن الجيران لم يشاركوا وصفاتهم الفعلية، إلا أن "كتاب الطهي الخارق" نفسه يعاني من ذاكرة سيئة. فنماذج اللغات الكبيرة (الطهاة في هذا التشبيه) بارعة جداً في التعلم، لدرجة أنها قد تحفظ أحياناً تفاصيل محددة من ملاحظات التدريب.
اكتشف الباحثون أن جاراً "نصف أمين" (شخص يتبع القواعد ولكنه فضولي) يمكنه خداع كتاب الطهي الخارق لجعله يبوح بالأسرار.
الهجوم: كيف يتسلل الجار لاستخراج الأسرار
أظهر الباحثون ثلاث طرق ذكية يمكن للجار الفضولي من خلالها استخراج المعلومات الخاصة (مثل الأسماء، العناوين، أو تواريخ الميلاد) التي تخص الجيران الآخرين، رغم أنه لم يرَ بياناتهم قط.
خدعة "البادئة السياقية" (العبارة المألوفة):
تخيل أن الجار الفضولي يعرف أنه في مطبخه الخاص، يقول دائماً: "المدعى عليه يسكن في..." قبل ذكر العنوان. فيسأل كتاب الطهي الخارق: "المدعى عليه يسكن في...".
ولأن النموذج حفظ أنماطاً مشابهة من بيانات الجيران الآخرين، فقد ينتهي به الأمر بالخطأ بإكمال الجملة بعنوان حقيقي لأحد الجيران الآخرين. الأمر يشبه سؤال صديق: "ما هو اسم الشارع الذي تسكن فيه؟" فيقوم هو دون قصد بنطق اسم شارعك لأن صدى السؤال جعله يذكر ما سمعه في حلم ما.خدعة "التكرار" (العبارات الأكثر شيوعاً):
وجد الباحثون أنه إذا استخدمت العبارات الأكثر شيوعاً التي تظهر عادةً قبل المعلومات الخاصة (مثل "المريض جون دو ولد في...")، فإن النموذج يكون أكثر عرضة لتسريب البيانات. الأمر يشبه معرفة أنه في غرفة مزدحمة، تكون الأصوات الأكثر صخباً هي الأكثر عرضة للسماع. ومن خلال التركيز على أكثر العبارات "الصاخبة" تكراراً، يحصل المهاجم على نتائج أفضل.خدعة "الضبط الدقيق" (جلسة المذاكرة):
هذه هي الطريقة الأكثر قوة. يأخذ الجار الفضولي "كتاب الطهي الخارق" ويعطيه "جلسة مذاكرة" سريعة باستخدام بياناته المحلية. هو يعلمه: "مهلاً، عندما ترى كلمة 'العنوان:'، فكر في 'شارع مـين رقم 123'".
هذا يقوي الرابط في عقل النموذج بين "المُدخل" و"السر". بعد جلسة المذاكرة هذه، يصبح النموذج أفضل بكثير في تخمين أسرار الجيران الآخرين، رغم أنه لم يرَ بياناتهم مباشرة.
النتائج: تسريب للخصوصية
اختبر الباحثون هذا على مجموعة بيانات من الوثائق القانونية الصينية (مثل القضايا القضائية). ووجدوا أن:
- الهجوم كان فعالاً بشكل مفاجئ. حيث تمكنوا من استعادة أكثر من 56% من التفاصيل الخاصة الفريدة (الأسماء، العناوين، تواريخ الميلاد) التي تخص الجيران "الضحايا" فقط.
- كانت الأسماء، العناوين، وتواريخ الميلاد هي الأسهل في السرقة.
- حتى لو حاول الجيران إخفاء البيانات باستبدال الأسماء بعلامات النجوم (مثل
***)، فإن النموذج قد يسرب المعلومات الحقيقية أحياناً لأنه قد "تعلم" بالفعل النمط من بيانات تدريبه الضخمة.
الخلاة المستفادة
هذا البحث هو بمثابة جرس إنذار. فهو يوضح أن التعلم الاتحادي ليس درعاً سحرياً. مجرد عدم مشاركتك لبياناتك الخام لا يعني أن أسرارك في أمان. إذا حفظ "كتاب الطهي الخارق" (نموذج الذكاء الاصطناعي) الكثير من التفاصيل، يمكن لمشارك فضولي استخدام حيل ذكية لإعادة بناء حياتك الخاصة.
ما الحل؟
نحن بحاجة لبناء "أقفال" أفضل لهذه الكتب الطهوية الخارقة. لا يمكننا الاعتماد فقط على عدم مشاركة البيانات؛ بل نحتاج للتأكد من أن النموذج ينسى التفاصيل المحددة للأفراد بينما يستمر في تعلم القواعد العامة للمهنة. لقد أطلق الباحثون أدواتهم وبياناتهم لكي يتمكن الآخرون من اختبار هذه الدفاعات ولجعل التعلم الاتحادي آمناً حقاً للمجالات الحساسة مثل القانون، والتمويل، والرعاية الصحية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.