🤖 machine learning

Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach

تقدم هذه الورقة ProjRes، وهو هجوم استدلال عضوي سلبي جديد وعالي الكفاءة يستفيد من بقايا الإسقاط (projection residuals) لتمثيلات التضمين الخفية لتقويض نماذج اللغات الكبيرة الاتحادية بشكل فعال، محققاً دقة تقارب الكمال حتى ضد دفاعات الخصوصية التفاضلية القوية.

المؤلفون الأصليون: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "نحو هجمات استنتاج العضوية الفعالة ضد النماذج اللغوية الكبيرة في التعلم الاتحادي: نهج بقايا الإسقاط" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: مشكلة "الوصفة السرية"

تخيل مجموعة من الطهاة المشهورين (العملاء - Clients) الذين يريدون ابتكار حساء عالمي المستوى معاً. يمتلك كل منهم وصفات عائلية سرية (بياناتهم الخاصة) لا يمكنهم مشاركتها بسبب قوانين الخصوصية أو أسرار المهنة.

لحل هذه المشكلة، يستخدمون نظام التعلم الاتحادي (Federated Learning). فبدلاً من إرسال وصفاتهم إلى قدر مركزي، يرسلون فقط ملاحظات حول كيفية ضبط النكهة (التدرجات - Gradients) إلى رئيس طهاة (الخادم - Server). يقوم رئيس الطهاة بخلط هذه الملاحظات لتحسين وصفة الحساء الرئيسية، ثم يعيد الوصفة المحدثة إلى الجميع.

المخاوف: يفترض الجميع أنه بما أن الوصفات الفعلية لم تغادر المطبخ أبداً، فإن المكونات السرية في أمان.

الواقع: تكشف هذه الورقة أن "ملاحظات النكهة" التي يرسلها الطهاة تسرب في الواقع معلومات كافية لمعرفة المكونات المحددة التي كانت موجودة في وصفاتهم الأصلية بالضبط. لقد بنى المؤلفون أداة جديدة فائقة الكفاءة تسمى ProjRes لإثبات ذلك.

المشكلة: لماذا لم تنجح الحيل القديمة؟

قبل هذه الورقة، حاول الباحثون الأمنيون سرقة هذه "ملاحظات النكهة" باستخدام حيل قديمة مصممة للنماذج الأصغر والأبسط (مثل تلك المستخدمة للتعرف على القطط في الصور). فشلت هذه الحيل القديمة ضد النماذج اللغبية الكبيرة (LLMs) لثلاثة أسباب:

ضخمة جداً: النماذج اللغوية الكبيرة هائلة الحجم. محاولة بناء نسخة "ظلية" من النموذج لاختبارها (مثل دمية تدريب) تتطلب قوة حوسبة هائلة تجعل الأمر مستحيلاً.
سريعة جداً: تتعلم النماذج اللغبية الكبيرة بسرعة كبيرة بحيث لا تظهر التغييرات البطيئة والتدريجية التي تبحث عنها الحيل القديمة.
متشابهة جداً: في هذه النماذج، تبدو "ملاحظات النكهة" القادمة من مكونات مختلفة متطابقة تقريباً، مما يجعل من الصعب التمييز بينها.

الحل: "بقايا الإسقاط" (ProjRes)

أدرك المؤلفون، غويلين دينغ وفريقه، أنهم ليسوا بحاجة لبناء نموذج ظلي. بدلاً من ذلك، استخدموا خدعة هندسية ذكية.

التشبيه: "الظل" على الحائط

تخيل أنك في غرفة مظلمة مع كشاف ضوئي (التدرج - Gradient). تمسك بجسم محدد (وصفاتك السرية). هذا الجسم يلقي بظله على الحائط.

الإعداد: يجمع رئيس الطهاة (الخادم) كل الظلال التي ألقتها الأجسام من المجموعة. تشكل هذه الظلال "شكلاً" أو "فضاءً فرعيًا" (Subspace) معيناً على الحائط.
الهجوم: يأخذ المهاجم جسماً جديداً (عينة غامضة) ويسلط الضوء عليه.
- إذا كان الجسم جزءاً من المجموعة: فإن ظله سيتناسب تماماً مع الشكل الذي شكلته ظلال المجموعة. إنه يتوافق تماماً.
- إذا لم يكن الجسم جزءاً من المجموعة: فإن ظله سيبرز خارج الإطار. لن يتناسب مع الشكل. ستكون هناك "فجوة" أو بقايا (Residual) بين مكان الظل الذي يجب أن يكون فيه وبين مكانه الفعلي.

يقيس ProjRes هذه الفجوة (البقايا).

فجوة صغيرة: "آها! هذه العينة كانت بالتأكيد جزءاً من بيانات التدريب."
فجوة كبيرة: "لا، هذه العينة لم يسبق رؤيتها من قبل من قبل هذا الطاهي."

لماذا هذا أمر خطير (لحظة الإدراك!)

تظهر الورقة أن هذه الطريقة فعالة بشكل مرعب:

دقة قريبة من المثالية: في العديد من الاختبارات، خمن ProjRes بشكل صحيح بنسبة 100% من الوقت. لم يكن مجرد تخمين؛ بل كان يعرف يقيناً.
لا تتطلب أدوات إضافية: على عكس الطرق القديمة، لا تحتاج هذه الطريقة إلى تدريب نموذج ثانٍ أو انتظار جولات عديدة من التدريب. يمكن القيام بذلك باستخدام مجموعة واحدة فقط من الملاحظات (التدرجات) من جولة واحدة.
تعمل على النماذج الكبيرة: تعمل على أكبر النماذج الموجودة اليوم، مثل Llama3 و Qwen.
صعبة الإيقاف: اختبر المؤلفون هذه الطريقة ضد دفاعات شائعة مثل إضافة "الضجيج" (الاستاتيكية) إلى الملاحظات أو حذف التفاصيل الصغيرة. حتى مع هذه الدفاعات، ظل الهجوم فعالاً، وغالباً ما كان يفشل فقط إذا كان الضجيج عالياً جداً لدرجة أنه أفسد الحساء (النموذج) بالكامل.

"السبب" وراء السحر

لماذا ينجح هذا؟ توضح الورقة أنه في هذه النماذج الكبيرة، تكون الرياضيات صارمة للغاية. "ملاحظات النكهة" (التدرجات) مرتبطة رياضياً بـ "المكونات" (التمثيلات/Embeddings).

فكر في الأمر كأنه قفل ومفتاح.

التدرجات هي القفل.
بيانات التدريب هي المفتاح الذي صنع القفل.
إذا حاولت استخدام مفتاح عشوائي (غير عضو)، فلن يدور القفل.
إذا استخدمت المفتاح الأصلي (عضو)، فسيدور بشكل مثالي.

وجد المؤلفون أنه نظرًا لأن هذه النماذج ضخمة جداً، فإن "القفل" محدد للغاية. حتى الاختلاف البسيط في المفتاح يخلق فجوة (بقايا) ضخمة وقابلة للقياس يمكن للمهاجم رصدها فوراً.

الخلاصة

هذه الورقة هي بمثابة جرس إنذار. إنها تخبرنا أن التعلم الاتحادي للنماذج اللغوية الكبيرة ليس خاصاً كما كنا نعتقد.

مجرد عدم مشاركتك لبياناتك الخام لا يعني أن بياناتك في أمان. "البصمات" الرياضية التي تتركها خلفك عندما تساعد في تدريب نموذج هي مميزة للغاية لدرجة أن مهاجماً ذكياً يمكنه إعادة بناء ما أدخلته في النظام بالضبط.

يخلص المؤلفون إلى: يجب أن نتوقف عن افتراض أن "التعلم الاتحادي = الخصوصية" بالنسبة للنماذج اللغوية الكبيرة. نحن بحاجة إلى دفاعات جديدة وأقوى لا تكتفي بإضافة الضجيج فح، بل تغير جذرياً كيفية تعلم هذه النماذج لحماية أسرارنا.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "نحو هجوم استدلال العضوية الفعال ضد النماذج اللغوية الكبيرة في التعلم الاتحادي: نهج بقايا الإسقاط (ProjRes)".

1. بيان المشكلة

السياق: تتيح النماذج اللغوية الكبيرة الاتحادية (FedLLMs) لعدة أطراف التعاون في الضبط الدقيق للنماذج اللغوية الكبيرة دون مشاركة البيانات الخام، مما يعالج قيود الخصوصية والموارد. ومع ذلك، فإن تبادل تدرجات النموذج أو تحديثات المعلمات يخلق ثغرة أمنية لهجمات استدلال العضوية (MIAs)، حيث يحاول المهاجم (على سبيل المثال، خادم نزيه ولكن فضولي) تحديد ما إذا كانت عينة بيانات معينة جزءًا من مجموعة بيانات العميل.

الفجوة: تفشل تقنيات MIA الحالية، التي تم تطويرها للتعلم الاتحادي التقليدي (FL) مع النماذج الأصغر، أمام نماذج FedLLM بسبب ثلاث خصائص فريدة:

المقاييس الضخمة للمعلمات: تدريب النماذج الظلية (Shadow Models) -وهو أمر مطلوب في العديد من الهجمات الحالية- يعد مكلفًا حوسبيًا للغاية بالنسبة للنماذج اللغوية الكبيرة.
التقارب السريع: تبدأ نماذج FedLLM من نماذج مدربة مسبقًا وتتقارب بسرعة (غالبًا في أقل من حقبة تدريب واحدة)، مما يحد من الديناميكيات الزمنية اللازمة للهجمات القائمة على "ديناميكيات التدريب".
التدرجات المتفرقة وغير المتعامدة: على عكس التعلم الاتحادي التقليدي حيث تصبح التدرجات متعامدة عند التقارب، تظل تدرجات FedLLM (خاصة تحت الضبط الدقيق الفعال للمعلمات مثل LoRA/Adapters) مرتبطة بشدة بالمدخلات وغير متعامدة، مما يجعل هجمات "تعامد التدرج" غير فعالة.

الهدف: يسعى المؤلفون إلى تطوير هجوم MIA فعال وقوي وسلبي مصمم خصيًا للخصائص الهيكلية وديناميكيات التدريب لنماذج FedLLM.

2. المنهجية: ProjRes

الطريقة المقترحة، ProjRes، هي هجوم MIA سلبي لا يتطلب نماذج ظلية، أو مصنفات مساعدة، أو تحديثات تاريخية. وهي تعتمد على العلاقة الجبرية بين تضمينات المدخلات (Input Embeddings) وتحديثات التدرج.

المفهوم الجوهري

يعيد ProjRes صياغة استدلال العضوية كـ مشكلة مطابقة بقايا الإسقاط (Projection Residual Matching Problem). ويفترض أن العينة $x$ إذا استُخدمت في التدريب، فإن متجه التضمين المخفي الخاص بها $f(x)$ يجب أن يقع ضمن (أو قريب جدًا من) الفضاء الجزئي الخطي الذي تشغله تدرجات المعلمات القابلة للتدريب (مثل طبقات الـ Adapter) التي رفعها العميل.

خطوات التنفيذ

بناء تمثيل العينة:
- يقوم المهاجم (الخادم) بإجراء تمرير أمامي (Forward Pass) على عينة مستهدفة $x$ لاستخراج متجه التضمين المخفي $f(x)$ عند الطبقة التي تسبق الوحدة القابلة للتدريب (مثل الـ Adapter).
- بخلاف الطرق السابقة التي تعتمد على قيم الخسارة (Loss) أو درجات الثقة، يستخدم ProjRes متجه التضمين الخام كتمثيل للعينة.
رسم خرائط الفضاء الدلالي (بناء الفضاء الجزئي):
- يبني الخادم فضاءً جزئيًا خطيًا $S$ تشغله متجهات التدرج ( $\nabla W$ ) للوحدة القابلة للتدريب (مثل طبقة الإسقاط السفلي لـ Adapter) التي تم رفعها من قبل العميل.
- بناءً على قاعدة السلسلة في التفاضل، فإن تدرج طبقة متصلة بالكامل ( $\nabla W = \alpha X$ ) هو مزيج خطي من بيانات المدخلات $X$ . لذلك، فإن الفضاء الجزئي للتدرج يشفر ضمنيًا التوزيع الدلالي لبيانات التدريب.
الإسقاط وحساب البقايا:
- يقوم الخادم بإسقاط التضمين المستهدف $f(x)$ على الفضاء الجزئي للتدرج $S$ للحصول على التمثيل المعاد بناؤه $f(x)_{rec}$ .
- يتم حساب بقايا الإسقاط $r$ باستخدام معيار $\ell_1$ -norm للفرق: $r = \|f(x) - f(x)_{rec}\|_1$ .
قرار العضوية:
- عضو (Member): إذا كانت $x$ موجودة في مجموعة التدريب، فإن $f(x)$ يتوافق مع فضاء التدرج الجزئي، مما يؤدي إلى بقايا صغيرة ( $r < \tau$ ).
- غير عضو (Non-Member): إذا لم تكن $x$ في مجموعة التدريب، فإن $f(x)$ يكون متعامدًا أو بعيدًا عن الفضاء الجزئي، مما يؤدي إلى بقايا كبيرة.
- تم اختيار معيار $\ell_1$ -norm لأنه يعمل بفعالية على تجميع الانحرافات الطفๆ لكل بُعد في الفضاءات عالية الأبعاد، وهو ما قد تغفله معايير $\ell_2$ أو تشابه جيب التمام (Cosine Similarity).

3. المساهمات الرئيسية

أول هجوم MIA قائم على بقايا الإسقاط لـ FedLLMs: يعد ProjRes أول هجوم سلبي مصمم خصيصًا للخصائص الفريدة لنماذج FedLLMs، مما يلغي الحاجة إلى نماذج ظلية مكلفة.
رؤية نظرية: يوضح المؤلفون أنه في النماذج اللغوية الكبيرة عالية الأبعاد، تحتوي تدرجات المكونات القابلة للتدريب (مثل Adapters و LoRA) على معلومات دلالية قابلة للعكس حول المدخلات. وقد أثبتوا أن خطر تسريب الخصوصية يتناسب طرديًا مع أبعاد الوحدات القابلة للتدريب.
القوة أمام الدفاعات: تظل الطريقة فعالة حتى في ظل وجود دفاعات قوية مثل الخصوصية التفاضلية (Differential Privacy) وتقليم التدرج (Gradient Pruning)، بشر_ط ما لم يكن الضجيج أو التقليم شديدًا لدرجة تدمير فائدة النموذج.
القدرة على التعميم: تعمل الطريقة عبر استراتيجيات ضبط دقيق مختلفة (Adapters, LoRA, Q/K/V projections) وهياكل متنوعة للنماذج اللغوية الكبيرة (BERT, GPT, Llama, Qwen).

4. النتائج التجريبية

قيم المؤلفون ProjRes على 4 نماذج لغوية كبيرة (BERT-Base, GPT2-Large, Llama3-8B, Qwen2.5-14B) و 4 مجموعات بيانات (CoLA, Yelp, SST-5, IMDB).

الدقة: حقق ProjRes دقة تقترب من 100% (AUC $\approx$ 1.0) في معظم السيناريوهات، متفوقًا بشكل كبير على أفضل النماذج المرجعية (مثل FedLoss و Cosine Similarity و FTA) بنسبة تصل إلى 75.75%.
الكفاءة:
- الذاكرة: يتطلب ProjRes ذاكرة إضافية ضئيلة (حوالي 0.014 ميجابايت لـ BERT-Base) مقارنة بالهجمات القائمة على النماذج الظلية التي تتطلب مئات الميجابايتات.
- الوقت: رغم أنه أبطأ قليلاً من عمليات التحقق البسيطة القائمة على الخسارة بسبب حسابات الإسقاط، إلا أنه قابل للتنفيذ حوسبيًا ولا يتطلب إعادة تدريب النماذج.
القوة (Robustness):
- مراحل التدريب: على عكس النماذج المرجعية التي تتدهور مع تقارب النموذج، يحافظ ProjRes على دقة مثالية عبر جميع حقبات التدريب (من البداية وحتى النهاية).
- آليات الدفاع: في ظل الخصوصية التفاضلية، ظل ProjRes فعالاً ما لم يكن مقياس الضجيج ( $\sigma$ ) مرتفعًا بما يكفي لخفض دقة النموذج إلى أقل من 55%. وتحت تقليم التدرج، ظل فعالًا حتى عند معدلات تقليم تصل إلى 99.9% مع أحجام دفعات صغيرة.
تأثير البنية: ارتبطت أبعاد التضمين الأكبر والمكونات القابلة للتدريب الأكبر (عدد أكبر من الخلايا العصبية) بارتفاع معدلات نجاح الهجوم، مما يؤكد الارتباط النظري بين سعة النموذج وتسرب الخصوصية.

5. الأهمية والآثار المترتبة

إعادة تقييم الأمن: تكشف الورقة عن ثغرة أمنية تم التغاضي عنها سابقًا في نماذج FedLLMs: وهي الارتباط الجبري الحتمي بين تضمينات المدخلات وتحديثات التدرج في الوحدات القابلة للتدريب. هذا يشير إلى أن مجرد تجميد غالبية معلمات النموذج اللغوي الكبير (عبر PEFT) ليس كافيًا لضمان الخصوصية.
محدودية الدفاعات الحالية: تسلط الدراسة الضوء على أن الدفاعات خفيفة الوزن الحالية (DP، تقليم التدرج) تواجه مقايضة شديدة: لإيقاف ProjRes، يجب عليهم خفض فائدة النموذج إلى مستوى غير مقبول.
دعوة للعمل: تستوجب هذه النتائج إعادة فحص الافتراضات الأمنية في التعلم الاتحادي للنماذج اللغوية الكبيرة. يجب أن يركز العمل المستقبلي على تطوير آليات دفاع تكسر الرابط الجبري بين التدرجات والمدخلات دون التضحية بفائدة النموذج الذي خضع للضبط الدقيق.

في الختام، يثبت ProjRes أن نماذج FedLLMs معرضة بشدة لهجمات استدلال العضوية بسبب الخصائص المتأصلة في تحديثات تدرجاتها، مما يتحدى فكرة أن توطين البيانات في التعلم الاتفادي يضمن الخصوصية للنماذج اللغوية واسعة النطاق.