ملخص تقني: استكشاف الحفظ المتقاطع لبيانات التدريب في النماذج اللغوية الكبيرة للتعلم الاتحادي

بيان المشكلة

يتيح التعلم الاتحادي (Federated Learning - FL) التدريب التعاوني للنماذج اللغوية الكبيرة (LLMs) دون مشاركة البيانات الخام، بهدف الحفاظ على الخصوصية. ومع ذلك، لا يقضي التعلم الاتحادي على خطر الحفظ (Memorization)، حيث تقوم النماذج عن غير قصد بتشفير وإعادة إنتاج بيانات التدريب الحساسة. تعتمد تقنيات الكشف الحالية للتعلم الاتحادي بشكل أساسي على حقن الكناري (Canary Injection) (إدراج عبارات خارج التوزيع) أو التركيز على الحفظ الحرفي ضمن عينة واحدة. تفشل هذه النهج في التقاط الحفظ عبر العينات (Cross-sample memorization)، حيث قد يعيد النموذج إنتاج لاحقة (suffix) من عينة تدريب واحدة عند استدعائه بمقدمة (prefix) من عينة أخرى. في سياق التعلم الاتحادي، يمتد هذا الخطر إلى الحفظ عبر العملاء (Cross-client memorization)، حيث يمكن لمقدمة من عميل ما أن تحفز توليد لاحقة خاصة بعميل آخر. وتفترض الطرق الحالية لقياس الحفظ عبر العينات في التعلم المركزي (Centralized Learning - CL) إمكانية الوصول المركزي إلى البيانات، وبالتالي لا يمكن تطبيقها مباشرة في بيئة التعلم الاتحادي اللامركزية.

المنهجية

يقترح المؤلفون إطار عمل لتقدير كل من الحفظ داخل العميل الواحد (Intra-client) وبين العملاء (Inter-client) في التعلم الاتحادي من خلال تكييف تقنيات قياس العينات الدقيقة من التعلم المركزي.

تصميم إطار العمل

1. تعريف الحفظ: يعمم البحث تعريف الحفظ داخل التوزيع (In-distribution memorization) ليشمل التعلم الاتحادي. إذا أدت المقدمة $p_j$ من العميل $C_j$ إلى حفظ بيانات العميل $C_k$ (أي أن النموذج $M(p_j)$ يولد نصاً مشابهاً بما يكفي للاحقة $s_k$ من العميل $C_k$ وفقاً لدالة تمييزية $F$).
2. القياس الزوجي: يحسب إطار العمل نسبة الحفظ الزوجي ($MR_{j \to k}$)، والتي تمثل كسر المقدمات من $C_j$ التي تحفز حفظ لواحق من $C_k$.
   • داخل العميل ($MR_{Intra}$): المتوسط حيث $j=k$.
   • بين العملاء ($MR_{Inter}$): المتوسط حيث $j \neq k$.
3. عملية التقدير:
   • أخذ العينات: يتم أخذ عينات فرعية صغيرة من المقدمات ($\tilde{P}_j$) واللواحق ($\tilde{S}_k$) من العملاء.
   • التوليد: يقوم النموذج بتوليد نص $M(\tilde{p})$ لكل مقدمة مأخوذة.
   • الاسترجاع: يتم استعلام النصوص المولدة مقابل مجموعة اللواحق $\tilde{S}_k$ باستخدام Elasticsearch لاسترجاع أكثر $n'$ لواحق تشابهاً.
   • كشف التشابه: تُستخدم أداة كشف الانتحال PAN2014 كدالة تمييزية $F$. وهي تقيم التشابه عند ثلاثة مستويات: الحرفي (Verbatim)، إعادة الصياغة (Paraphrase)، ومستوى الفكرة (Idea-level).
   • الحساب: إذا تطابقت أي من أفضل $n'$ لواحق مع النص المولد تحت أي مستوى من المستويات، تُحسب المقدمة كعامل محفز للحفظ.

الإعداد التجريبي

• مجموعات البيانات: تم تقييم أربع مهام: التلخيص (ArxivAbstract)، الحوار (MedDialog)، الإجابة على الأسئلة (PubMedQA)، والتصنيف (PubMed 200k RCT). تم تقسيم البيانات بشكل غير متماثل (non-IID) عبر ثلاثة عملاء لكل مهمة.
• النماذج: استخدمت التجارب الأساسية نموذج Qwen2.5-3B، مع نتائج تكميلية لـ Llama3.2-3B وGPT-2.
• المتغيرات: حللت الدراسة تأثير استراتيجيات فك التشفير (درجة الحرارة، top-k، top-p)، أطوال المقدمات (10، 30، 50، 100 رمز)، خوارزميات التعلم الاتحادي (FedAvg، FedProx)، أحجام النماذج، وجولات الاتصال.

المساهمات الرئيسية

1. صياغة المشكلة: صاغ المؤلفون تحدي اكتشاف الحفظ الدقيق عبر العينات في التعلم الاتحادي من خلال تكييف طرق التقييم من التعلم المركزي.
2. إطار عمل مبتكر: صمموا إطار عمل قادراً على قياس كل من الحفظ داخل العميل وبين العملاء في التعلم الاتحادي، مما يسمح بتقدير كمية تسرب الخصوصية عبر العملاء.
3. رؤى تجريبية: من خلال دراسات الاستئصال المكثفة، حددت الورقة عوامل محددة تؤثر على معدلات الحفظ في بيئات التعلم الاتحادي.

النتائج والمكتشفات

• وجود الحفظ: نماذج التعلم الاتحادي تحفظ بيانات التدريب بالفعل. والأهم من ذلك، أن الحفظ داخل العميل الواحد ($MR_{Intra}$) يكون باستمرار أعلى من الحفظ بين العملاء ($MR_{Inter}$) عبر جميع المهام التي تم تقييمها (التلخيص، الحوار، الإجابة على الأسئلة).
• السلوك الخاص بالمهمة: أظهرت مهمة التصنيف نسبة حفظ بلغت 0.000% لكل من سيناريوهات الحفظ داخل العميل وبين العملاء. وكشف التحليل أن هذا يعود إلى الطول القصير للمخرجات المولدة في مهام التصنيف، والتي غالباً ما تكون أقل من الحد الأدنى للمطابقة (50 حرفاً) المطلوب من قبل كاشف PAN2014.
• التعلم الاتحادي مقابل التعلم المركزي: خلافاً لبعض الأعمال السابقة التي تشير إلى أن التعلم الاتحادي يقلل من الحفظ، وجدت هذه الدراسة عدم وجود اتجاه واضح يشير إلى أن التعلم الاتحادي يؤدي إلى انخفاض الحفظ مقارنة بالتعلم المركزي عند قياس البيانات داخل التوزيع. كانت نسب الحفظ الإجمالية ($MRTotal$) متقاربة بين إعدادات التعلم المركزي والتعلم الاتحادي.
• العوامل المؤثرة:
  • استراتيجية فك التشفير: تميل استراتيجيات فك التشفير المتطورة مثل top-k وtop-p إلى زيادة معدلات الحفظ مقارنة بفك التشفير القائم على درجة الحرارة (temperature decoding).
  • طول المقدمة: أدت المقدمات الأقصر عموماً إلى معدلات حفظ أعلى.
  • خوارزمية التعلم الاتحادي: أدى FedProx إلى معدلات حفظ أعلى من FedAvg، وكان الخوارزمية الوحيدة التي تسببت في حدوث حفظ في مهمة التصنيف.
  • خصائص اللواحق: كانت مجموعات معينة من البيانات (مثل المجموعة 3 في مهمة الحوار) أكثر عرضة للحفظ من غيرها، مما يشير إلى أن خصائص مجموعة البيانات تلعب دوراً.
  • حجم النموذج والجولات: لم يتم ملاحظة ارتباط واضح بين حجم النموذج أو عدد جولات الاتصال ومعدلات الحفظ.

الأهمية والادعاءات

تدعي الورقة أنها تسد الفجوة بين تقييم الحفظ المركزي والتعلم الاتحادي من خلال توفير طريقة لقياس التسرب عبر العملاء. تكمن الأهمية الأساسية في إثبات أن التعلم الاتحادي لا يقضي بطبيعته على مخاطر الحفظ؛ فالنماذج لا تزال تشفر البيانات الخاصة، لا سيالما ضمن توزيع العميل نفسه.

يؤكد المؤلفون أنه بينما يعد التسرب بين العملاء انتهاكاً مباشراً للخصوصية، فإن التسرب داخل العميل (الذي يعرض الضرر) يمثل أيضاً مخاطر إذا كانت المقدمات عامة. تشير النتائج إلى أن آليات الحفاظ على الخصوصية في التعلم الاتحادي يجب أن تأخذ في الاعتبار الحفظ عبر العينات داخل التوزيع، وليس فقط الاستخراج الحرفي. وتخلص الدراسة إلى أن عوامل مثل استراتيجيات فك التشفير، وطول المقدمة، واختيار خوارزمية التعلم الاتحادي تؤثر بشكل كبير على الحفظ، مما يستلزم تهيئة دقيقة للتخفيف من مخاطر الخصوصية في تدريب النماذج اللغوية الكبيرة اللامركزية.

يشير المؤلفون بتواضع إلى القيود، بما في ذلك الاعتماد على كاشف PAN2014 (الذي قد يصنف المخرات غير المترابطة بشكل خاطئ) والتقيد بالنصوص الإنجليزية. كما حددوا التفسير النظري لسبب تجاوز الحفظ داخل العميل للحفظ بين العملاء كاتجاه للبحوث المستقبلية.