💻 computer science

FedSpy-LLM: Towards Scalable and Generalizable Data Reconstruction Attacks from Gradients on LLMs

تقدم هذه الورقة FedSpy-LLM، وهو إطار هجوم قابل للتوسع والتعميم يستفيد من استراتيجية مبتكرة لتفكيك التدرج لإعادة بناء بيانات التدريب الخاصة من تدرجات التعلم الاتحادي، متجاوزاً بذلك بفعالية القيود المتعلقة بحجم الدفعة، وطول التسلسل، وبنية النموذج — بما في ذلك تلك التي تستخدم الضبط الدقيق كفء المعلمات (PEFT).

المؤلفون الأصليون: Syed Irfan Ali Meerza, Feiyi Wang, Jian Liu

نُشر 2026-04-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Syed Irfan Ali Meerza, Feiyi Wang, Jian Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وأصدقاؤك تحاولون حل لغز صور (jigsaw puzzle) عملاق معاً، لكنكم تعيشون في مدن مختلفة. لكي تعملوا معاً دون إرسال قطع اللغز الفعلية (التي قد تحتوي على صوركم الخاصة)، يرسل كل منكم رسماً تخطيطياً صغيراً وضبابياً لكيفية ملاءمة قطعتكم. هذا هو التعلم الاتحادي (Federated Learning): وهي طريقة لكي تتعلم الحواسيب معاً دون مشاركة بياناتكم الخاصة.

عادةً ما نعتقد أن هذه الرسومات التخطيطية الضبابية آمنة. لكن هذه الورقة البحثية، FEDSPY-LLM، تكشف عن سر مخيف: تلك الرسومات التخطيطية هي في الواقع مفصلة بما يكفي لإعادة بناء لغزكم بالكامل.

إليك قصة كيف فعلوا ذلك، مشروحة ببساطة:

1. المشكلة: "الرسم التخطيطي الضبابي" أكثر وضوحاً مما ينبغي

في الماضي، كان بإمكان المتسللين تخمين كلمات قليلة فقط من هذه الرسومات، وفقط إذا كانت المجموعة صغيرة. ولكن الذكاء الاصطنا العالمي (نماذج اللغات الكبيرة - LLMs) ضخم جداً، ولجعل تشغيله أسرع على الأجهزة الشخصية، نستخدم حيلة تسمى PEFT (الضبط الدقيق كفء المعلمات). فكر في PEFT على أنها عملية تلوين حواف قطع اللغز فقط بدلاً من تلوين القطعة بأكملها.

وجد الباحثون أنه حتى مع هذه التحديثات التي تقتصر على "الحواف" فقط، فإن الرسومات التخطيطية (التدرجات - gradients) لا تزال تسرب معلومات كافية لإعادة بناء جمل طويلة، ومجموعات كبيرة من الناس، وسجلات طبية معقدة. كانت أدوات الاختراق السابقة تشبه محاولة تخمين رواية كاملة من خلال النظر إلى حرف واحد فقط؛ لقد فشلت عندما يصبح النص طويلاً أو عندما تصبح المجموعة كبيرة.

2. الحل: FEDSPY-LLM (المحقق الخارق)

بنى المؤلفون أداة جديدة تسمى FEDSPY-LLM. تخيل محققاً لا يكتفي بالتخمين فحسب، بل يستخدم مجموعة خاصة من القواعد لحل اللغز. إليك خدعه الثلاث الرئيسية:

الخدعة (أ): "خريطة الفضاء الفرعي" (إيجاد الغرفة الصحيحة)

تخيل أن قطع اللغز تطفو في مستودع ضخم ومظلم. معظم المستودع عبارة عن مساحة فارغة. أدرك الباحثون أن هذه "الرسومات التخطيطية الضبابية" توجد فقط في ممر ضيق ومحدد داخل ذلك المستودع.

التشبيه: بدلاً من البحث في المستودع المظلم بأكمله عن القطعة الصحيحة، يسلط FEDSPY-LLM ضوء كشاف فقط في ذلك الممر المحدد. هذا يجعل العثور على الكلمات الصحيحة (الرموز - tokens) سريعاً ودقيقاً للغاية، حتى لو كان هناك آلاف الأشخاص (حجم دفعة كبير) يعملون على اللغز في وقت واحد.

الخدعة (ب): "مرشح الضجيج" (تجاهل التشويش)

عند استخدام حيلة "تلوين الحواف فقط" (PEFT)، تكون الإشارة ضعيفة جداً ومليئة بضجيج التشويش. الأمر يشبه محاولة سماع همس وسط عاصفة ريح.

التشبيه: يستخدم FEDSPY-LLM مرشحاً خاصاً (يسمى Null Space Regularization) يعمل مثل سماعات إلغاء الضجيج. إنه يتجاهل "الرياح" (الأجزاء من الرسم التخطيطي التي لا تهم) ويركز فقط على "الهمس" (البيانات الفعلية). هذا يسمح له بسماع الكلمات السرية حتى عندما تكون الإشارة ضعيفة جداً.

الخدعة (ج): "معيد ترتيب الجمل" (إصلاح الفوضى)

أحياناً، تجد الأداة كل الكلمات الصحيحة ولكنها تضعها في الترتيب الخاطئ. تخيل أنك وجدت الكلمات "كلب"، "يعض"، "رجل". قد تخمن الأداة "رجل يعض كلب" بدلاً من "كلب يعض رجل". كلتا الجملتين تستخدمان نفس الكلمات، لكن المعنى مختلف تماماً.

التشبيه: يحتوي FEDSPY-LLM على خطوة نهائية تسمى Sequence Order Calibration. يعمل مثل ضابط قواعد اللغة. يقوم باختبار كل ترتيب ممكن للكلمات مقابل "الرسم التخطيطي الضبابي" الأصلي. ويسأل: "هل جملة 'كلب يعض رجل' تناسب الرسم التخطيطي بشكل أفضل من 'رجل يعض كلب'؟" ويحتفظ بالترتيب الذي يناسب الرسم بشكل أفضل، مما يضمن أن الجملة المعاد بناؤها منطقية تماماً.

3. النتائج: جرس إنذار

اختبر الباحثون هذه الأداة الجديدة على أنواع مختلفة من نماذج الذكاء الاصطناعي (بعضها يقرأ، وبعضها يكتب، وبعضها يفعل كليهما) ووجدوا أن:

إنها تعمل مع المجموعات الضخمة: يمكنها سرقة البيانات من 128 شخصاً في وقت واحد، بينما فشلت الأدوات القديمة مع 8 أشخاص فقط.
إنها تعمل على القصص الطويلة: يمكنها إعادة بناء فقرات طويلة، وليس فقط عبارات قصيرة.
إنها تعمل حتى مع حيلة "الحواف فقط": إنها تكسر خصوصية طريقة PEFT الفعالة.

الخلاصة الكبرى

فكر في FEDSPY-LLM كخبير فتح أقفال وجد طريقة لفتح قفل خزنة "آمنة" كان الجميع يعتقد أنها غير قابلة للاختراق.

تخلص الورقة البحثية إلى أن التعلم الاتحادي ليس خاصاً كما كنا نظن. مجرد عدم إرسالك لبياناتك الخام لا يعني أنها آمنة. "البصمات الرياضية" (التدرجات - gradients) التي ترسلها لا تزال مفصلة بما يكفي ليتمكن مهاجم ذكي من إعادة بناء محادثاتك الخاصة، أو سجلاتك الطبية، أو وثائقك القانونية.

الدرس المستفاد: نحن بحاجة إلى بناء أقفال أفضل (دفاعات خصوصية أقوى) قبل أن نثق بهذه الأنظمة بأسرارنا الأكثر حساسية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FEDSPY-LLM: نحو هجوم استعادة بيانات قابل للتوسع والتعميم من التدرجات على النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

يُعتمد التعلم الاتحادي (Federated Learning - FL) المدمج مع الضبط الدقيق بكفاءة المعلمات (Parameter-Efficient Fine-Tuning - PEFT) على نطاق واسع لتدريب النماذج اللغوية الكبيرة (LLMs) مع الحفاظ على خصوصية البيانات. ومع ذلك، تظل هذه البنية عرضة لـ هجمات عكس التدرج (Gradient Inversion Attacks - GIA)، حيث يقوم المهاجم (على سبيل المثال، خادم نزيه ولكن فضولي) بإعادة بناء بيانات تدريب العميل الخاصة من التدرجات المشتركة.

تواجه هجمات استعادة البيانات الحالية قيوداً حرجة في سياق النماذج اللغوية الكبيرة الحديثة:

القابلية للتوسع (Scalability): تفشل معظم الطرق السابقة (مثل DLG وTAG وLAMP) في التوسع لما يتجاوز أحجام الدفعات الصغيرة (1–8) والتسلسلات القصيرة بسبب طبيعة مشهد التحسين غير المحدب وتشابك معلومات الرموز (Tokens).
تشتت الـ PEFT: تقوم طرق الـ PEFT (مثل LoRA وAdapters) بتحديث مجموعة فرعية صغيرة فقط من المعلمات، مما ينتج عنه تدرجات متفرقة (Sparse). هذا التشتت يخلق "فضاءً صفرياً" (Null Space) كبيراً، مما يجعل من الصعب على الهجمات التقليدية التمييز بين تضمينات الرموز (Token Embeddings) الحقيقية والضجيج.
التعميم المعماري (Architectural Generalization): صُممت العديد من الهجمات لتناسب بنيات محددة (مثل المشفر فقط مقابل فك التشفير فقط)، وتفشل في التعميم عبر هياكل النماذج اللغوية الكبيرة المتنوعة (المشفر، وفك التشفيد، والمشفر-فك التشفيد).
استعادة ترتيب التسلسل: يصعب استعادة الترتيب الصحيح للرموز لأن تضمينات الموضع (Positional Embeddings) غالباً ما تكون مجمدة في التعلم الاتحادي، كما أن التدرجات تتوسط عبر الدفعة (Batch)، مما يحجب الإشارات الموضعية.

2. المنهجية: FEDSPY-LLM

يقترح المؤلفون FEDSPY-LLM، وهو إطار عمل هجومي قابل للتوسع والتعميم مصمم للتغلب على التحديات المذكورة أعلاه. تتكون الطريقة من ثلاثة مكونات أساسية:

أ. توجيه الفضاء الجزئي للتدرج (استعادة الرموز)

الأساس النظري: يستفيد المؤلفون من الملاحظة القائلة بأن تدرجات النماذج اللغوية الكبيرة هي بطبيعتها منخفضة الرتبة (Low-rank). وتحديداً، تقع متجهات تضمين المدخلات ضمن الامتداد العمودي لمصفوفة التدرج (النظرية 2).
الآلية: بدلاً من البحث في كامل فضاء التضمين عالي الأبعاد، يقوم الهجوم بإسقاط التضمينات الوهمية المرشحة على الفضاء العمودي (Column Space) لمصفوفة التدرج (تحديداً من مصفوفة الاستعلام "Query" في طبقة الانتباه الأولى).
الفائدة: هذا يقيد عملية البحث في التحسين داخل فضاء جزئي منخفض الأبعاد، مما يحسن سرعة التقارب بشكل كبير ويمكّن من التعامل مع أحجام دفعات أكبر وتسلسلات أطول.

ب. تنظيم الفضاء الصفري (التعامل مع PEFT)

التحدي: في الـ PEFT، تكون مصفوفة التدرج ذات رتبة منخفضة جداً ( $r \ll d$ )، مما يخلق فضاءً صفرياً كبيراً حيث تنتج العديد من التضمينات المختلفة تدرجات متطابقة، مما يؤدي إلى الغموض.
الحل: يقدم FEDSPY-LLM حداً لـ تنظيم الفضاء الصفري (Null Space Regularization). حيث يقوم بحساب الفضاء الصفري لمصفوفة التدرج ويضيف عقوبة إلى دالة الخسارة لأي انحراف للتضمين المستعاد نحو هذا الفضاء الصفري.
الأثر: هذا يجبر التضمينات المستعادة على البقاء قريبة من التضمينات الحقيقية من خلال منع الانحراف في الأبعاد غير المقيدة، مما يقلل بفعالية من الغموض الناتج عن تدرجات الـ PEFT المتفرقة.

ج. معايرة ترتيب التسلسل

التحدي: مرحلة استعادة الرموز تنتج مجموعة من الرموز الصحيحة ولكن بترتيب عشوائي.
الحل: يقترح المؤلفون مرحلة معايرة ترتيب التسلسل (Sequence Order Calibration) التكرارية.
- تعتمد على الحدس بأن تدرج تسلسل جزئي مرتب بشكل صحيح يكون أكثر توافقاً مع تدرج التسلسل الكامل من التسلسل غير المرتب.
- تقوم الخوارزمية بتعيين الرموز للمواضع بشكل تكراري عبر حساب تشابه جيب التمام (Cosine Similarity) بين التدرج المنعزل لرمز مرشح في موضع معين وتدرج التسلسل الكامل.
- يتم تثبيت الرمز الذي يحقق أعلى درجة توافق، وتتكرر العملية للموضع التالي.

د. دالة الخسارة

يقوم الهجوم بتحسين دالة خسارة مركبة:
$L_{FEDSPY-LLM} = L_{rec} + \gamma L_{dis} + \eta \|P_N x^*_i\|^2$

$L_{rec}$ : تشابه جيب التمام الموزون طبقة تلو الأخرى بين التدرجات الحقيقية والوهمية.
$L_{dis}$ : خسارة مسافة الإسقاط التي تضمن وقوع التضمين الوهمي ضمن الامتداد العمودي للتدرج.
$\|P_N x^*_i\|^2$ : عقوبة الفضاء الصفري (تُستخدم عند تفعيل PEFT).

3. المساهمات الرئيسية

القابلية للتوسع: نجح FEDSPY-LLM في استعادة البيانات من دفعات تصل إلى 128 وتسلسلات طويلة، وهو تحسن كبير مقارنة بالطرق السابقة التي تتدهور عند أحجام دفعات أكبر من 8.
المرونة تجاه PEFT: هو أول طريقة تستطيع بفعالية استعادة البيانات من تدرجات PEFT (مثل LoRA وAdapters) باستخدام تنظيم الفضاء الصفري للتعامل مع تشتت التدرجات.
ๆ الاستقلال عن البنية: تعمل الطريقة عبر بنيات المشفر (BERT)، وفك التشفيد (GPT-2, Llama)، والمشفر-فك التشفيد (T5) دون الاعتماد على ميزات خاصة بالبنية مثل طبقات الـ Pooler.
استعادة التسلسل: قدمت الطريقة آلية مبتكرة لاستعادة الترتيب الصحيح للرموز، مما يعالج فجوة كبيرة في هجمات استعادة النصوص السابقة.
المتانة: يظل الهجوم فعالاً حتى في ظل دفاعات الخصوصية مثل تقليم التدرج (Gradient Clipping) والخصوصية التفاضلية (Differential Privacy - DP)، رغم أن الأداء ينخفض كما هو متوقع.

4. النتائج التجريبية

قيم المؤلفون FEDSPY-LLM على نماذج متنوعة (BERTBase, GPT-2, Llama-7B/13B/70B, T5base) ومجموعات بيانات (CoLA, Rotten Tomatoes, MIMIC-III).

الأداء مقابل النماذج المرجعية: تفوق FEDSPY-LLM باستمرار على أفضل النماذج المرجعية (DLG, TAG, LAMP, FILM, DAGER).
- عند حجم دفعة 8، أظهر تحسناً بنسبة 55%–160% في درجات ROUGE لمهام التصنيف وزيادة بنسبة 250% في التنبؤ بالكلمة التالية مقارم أفضل النماذج المرجعية.
- عند حجم دفعة 128، وبينما انهارت طرق البحث مثل DAGER وغيرها (حيث انخفضت درجات ROUGE إلى الصفر تقريباً)، حافظ FEDSPY-LLM على جودة استعادة قوية.
أداء PEFT: عانت النماذج المرجعية بشكل كبير تحت ظروف PEFT (SLoRA, FedAdapter). استعاد FEDSPY-LLM تسلسلات فرعية أطول بنسبة 17%–28% من أفضل النماذج المرجعية.
ترتيب التسلسل: أكدت دراسات الاستئصال (Ablation studies) أن مرحلة معايرة ترتيب التسلسل حسنت بشكل كبير درجات ROUGE-2 وROUGE-L (التي تقيس الـ bigram وهيكل التسلسل) مع الحفاظ على درجات ROUGE-1 (الـ unigram).
حجم النموذج: ظل الهجوم فعالاً عبر أحجام نماذج تتراوح من 7 مليار إلى 70 مليار معلمة، حيث ساعدت النماذج الأكبر أحياناً في عملية الاستعادة بسبب قوة إشارات التدرج.
دفاعات الخصوصية: حتى مع وجود ضجيج غاوسي ( $\sigma=10^{-5}$ ) وتقليم التدرج ( $\epsilon=0.3$ )، استعاد FEDSPY-LLM أجزاءً جوهرية من النص، متفوقاً بشكل كبير على الهجمات الأخرى.

5. الأهمية

تقييم مخاطر الخصوصية: تثبت الورقة أن الجمع بين التعلم الاتحادي (FL) والضبط الدقيق بكفاءة المعلمات (PEFT)، والذي يُروج له غالباً كحل للحفاظ على الخصوصية، لا يوفر حماية كافية ضد هجمات عكس التدرج المتطورة.
فجوة القابلية للتوسع: تسلط الورقة الض الضوء على فجوة حرجة في دفاعات الخصوصية الحالية؛ فمع انتقال النماذج اللغوية الكبيرة نحو أحجام دفعات أكبر والاعتماد على PEFT من أجل الكفاءة، تصبح آليات الخصوصية الحالية غير كافية.
دعوة للتحرك: تؤكد النتائج على الحاجة الملحة لتقنيات أكثر متانة للحفاظ على الخصوصية (تتجاوز مجرد إخفاء التدرج) للنماذج اللغوية الاتحادية، حيث تفشل الطرق الحالية في منع تسرب البيانات الخاصة الحساسة (مثل السجلات الطبية أو الآراء الشخصية) حتى في ظل الظروف المقيدة.

في الختام، يمثل FEDSPY-LLM تقدماً كبيراً في فهم الثغرات الأمنية في النماذج اللغوية الكبيرة، حيث يثبت أن تسرب التدرجات يظل تهديداً خطيراً حتى في عصر التدريب عالي الكفاءة والتعلم الاتحادي.