💬 NLP

Extracting Training Data from Diffusion Language Models via Infilling

تقدم هذه الورقة البحثية مفهوم "استخراج ملء الفراغات" (infilling extraction) لتوضيح أن نماذج اللغة الانتشارية (diffusion language models) أكثر عرضة بشكل كبير لحفظ بيانات التدريب من النماذج التوليدية ذات الترتيب التلقائي (autoregressive models)، حيث تسمح قدرات إزالة الضجيج ثنائية الاتجاه الخاصة بها للمهاجمين باستخراج ما يصل إلى ثلاثة أضعاف التسلسلات الحرفية، بما في ذلك معلومات الهوية الشخصية المحجوبة، باستخدام أقنعة مشروطة بالحواف.

المؤلفون الأصليون: Yihan Wang, N. Asokan

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yihan Wang, N. Asokan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد مكتبة عملاق وذكي للغاية (نموذج لغوي كبير - LLM) قد قرأ الملايين من الكتب ورسائل البريد الإلكتروني والمستندات. تريد أن تعرف: إذا طلب شخص ما من هذا المساعد تكرار جملة محددة من ذاكرته، فما مدى احتمالية أن "يفشي الأسرار"؟

لفترة طويلة، كان الباحثون يختبرون ذلك فقط عن طريق طلب "إكمال الجملة" بدءاً من بدايتها. الأمر يشبه إظهار النصف الأول من قصة لشخص ما وسؤاله عن بقية القصة. هذا يعمل بشكل جيد مع نماذج الذكاء الاصطناعي القياسية التي تقرأ من اليسار إلى اليمين، مثل الإنسان الذي يقرأ كتاباً.

لكن هذه الورقة البحثية تقدم نوعاً جديداً من الذكاء الاصطناعي يسمى نموذج لغة الانتشار (Diffusion Language Model - DLM). فكر في الـ DLM ليس كقارئ، بل كـ مرمم للوحات التالفة. إذا أخذت لوحة فنية رائعة وغطيت أجزاء عشوائية منها بطلاء أبيض (أقنعة)، فإن مهمة الـ DLM هي النظر إلى الصورة الكاملة — ماذا يوجد على اليسار، وماذا يوجد على اليمين، وماذا يوجد في المنتصف — وتخمين الأجزاء المخفية التي يجب أن تكون هناك.

يقول مؤلفو هذه الورقة: "مهلاً، نحن نختبر مرممي اللوحات هؤلاء بالطريقة الخاطئة!"

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القددة (المشروطة بالبادئة - Prefix-Conditioned): تخيل أنك تظهر للمرمم الحافة اليسرى فقط من لوحة وتطلب منه: "ماذا يأتي بعد ذلك؟". وجدت الورقة أنه إذا فعلت هذا فقط، فإن الـ DLM يبدو آمناً إلى حد ما؛ فهو لا يسرب الكثير من المعلومات السرية.
الطريقة الجديدة (استخراج الملء الفراغي - Infilling Extraction): أدرك المؤلفون أنه نظرًا لأن نماذج DLM يمكنها النظر إلى كلا الجانبين من الفجوة، يمكن لمهاجم ماكر أن يغطي منتصف الجملة ويطلب منه "ملء الفراغ". أو يمكنه تغطية الأطراف والسؤال: "ماذا يوجد في المنتصف؟".
- التشبيه: الأمر يشبه لعب لعبة "Mad Libs" (إكمال الكلمات الناقصة). إذا أعطيت الذكاء الاصطناعي بداية ونهاية الجملة، فقد يتمكن من تخمين الكلمة الموجودة في المنتصف بشكل مثالي، حتى لو لم يكن بإمكانه تخمين النهاية إذا أعطيته البداية فقط.

2. الاكتشاف الكبير: "الحافة" هي منطقة الخطر

اختبر الباحثون طرقاً مختلفة لإخفاء أجزاء من النص (الأقنعة). ووجدوا أن كيفية إخفاء النص تهم أكثر مما تعتقد.

تأثير "الحافة": إذا كشفت عن بداية الجملة ونهايتها (مع إخفاء المنتصف)، فإن الـ DLM يكون أكثر عرضة بـثلاث مرات لتسريب الكلمات الدقيقة مقارنة بما لو كشفت البداية فقط.
لماذا؟ لأن الـ DLM يستخدم الأدلة من كلا الجانبين لإعادة بناء المنتصف. الأمر يشبه وجود شخصين يهمسان ببداية ونهاية سر لشخص ثالث؛ يمكنهما معرفة السر الكامل بسهولة أكبر مما لو همس شخص واحد بالبداية فقط.

3. سيناريو "المستند المشطوب"

تنظر الورقة في سيناريو واقعي مخيف للغاية:

تخيل أن شركة قامت بتدريب ذكاء اصطناعي على رسائل بريد إلكتروني خاصة، ثم قامت بشطب (تعتيم) جميع أرقام الهواتف والأسماء قبل إصدار البيانات أو النموذج.
الهجوم: يقوم مخترق بأخذ النموذج ويقول: "لدي البريد الإلكتروني الذي تم حجب الاسم فيه. من فضلك املأ الفراغ".
النتيجة: على الرغم من أن الذكاء الاصطناعي تم تدريبه على بيانات مشطوبة، إلا أن "مرمم اللوحات" (DLM) بارع جداً في النظر إلى السياق المحيط، لذا يمكنه غالباً تخمين الاسم أو الرقم المحجوب بشكل أفضل مما يستطيع فعله نموذج "قراءة الكتب" القياسي.
الخلاصة: مجرد قيامك بتغطية المعلومات الحساسة في بيانات التدريب لا يعني أن الذكاء الاصطناعي لن يتذكرها. في الواقع، بالنسبة لهذا النوع من الذكاء الاصطناعي، قد يكون من الأسهل تخمين السر إذا أعطيته السياق من كلا الجانبين.

4. ضبط إعدادات "الترميم"

وجد الباحثون أيضاً أن الإعدادات المستخدمة لـ "ترميم" النص (مثل عدد الخطوات التي يتخذها الذكاء الاصطناعي للتخمين) تغير مقدار ما يسربه.

بطيء ومستمر: إذا جعلت الذكاء الاصطناعي يتخذ خطوات صغيرة ودقيقة كثيرة لملء الفراغات، فإنه يسرب معلومات سرية أكثر.
سريع وعشوائي: إذا جعلته يخمن بسرعة، فإنه يسرب معلومات أقل.
الدرس المستفاد: "المقابض" التي تديرها لجعل الذكاء الاصطناعي أسرع أو أذكى تتحكم أيضاً في مقدار ما يتذكره. لا يمكنك تدوير مقبض واحد للسرعة دون التأثير على السلامة.

5. الضبط الدقيق لا يحل المشكلة

أخيراً، سألوا: "إذا علمنا الذكاء الاصطناعي أن يكون روبوت دردشة مهذب (عملية تسمى SFT)، هل ينسى الأسرار؟"

الإجابة: لا. الأمر يشبه محاولة تعليم ببغاء التوقف عن قول الكلمات البذيئة عن طريق تعليمه كلمات جديدة. قد يتوقف الببغاء عن قولها أحياناً، ولكن إذا سألته السؤال الصحيح (باستخدام خدعة "الحافة")، فسيظل يلفظ السر القديم. الذاكرة لا تزال موجودة؛ لقد تمت إعادة ترتيبها فحسب.

الملخص

تحذرنا هذه الورقة البحثية من أن نماذج لغة الانتشار (DLMs) تشبه مرممي اللوحات، وليس مجرد قارئي الكتب. إذا اختبرتموها فقط بطلب إنهاء جملة من بدايتها، فستظنون أنها آمنة. ولكن إذا اختبرتموها بطلب ملء منتصف الجملة (باستخدام أدلة من كلا الجانبين)، فمن المرجح جداً أن تسرب معلومات خاصة، حتى لو تم شطب تلك المعلومات من بيانات تدريبها.

الخلاصة الرئيسية: يجب أن نتوقف عن اختبار هذه النماذج بعين واحدة فقط (النظر من اليسار إلى اليمين) ونبدأ في اختبارها بكلتا العينين (النظر إلى الصورة الكاملة)، وإلا فإننا سنقلل كثيراً من تقدير حجم البيانات الخاصة التي تحتفظ بها.

ملخص تقني: استخراج بيانات التدريب من نماذج اللغة الانتشارية عبر عملية التكميل (Infilling)

بيان المشكلة

بينما تمت دراسة حفظ بيانات التدريب في نماذج اللغة ذات التوليد الذاتي (ARMs) بشكل مكثف من خلال الاستخراج المشروط بالبادئة (حيث يقدم المهاجم بادئة ويقوم النموذج بتوليد التكملة)، فإن هذا النهج يفشل في رصد كامل ملف المخاطر الخاص بـ نماذج اللغة الانتشارية (DLMs). تعمل نماذج DLMs عبر عملية إزالة الضجيج المتكررة وتمتلك انحيازاً استقرائياً ثنائي الاتجاه، مما يسمح لها بإعادة بناء الرموز (tokens) في أي موقع كان بناءً على السياق المحيط. إن الاعتماد فقط على فحص البادئة المشروطة، وهو بروتوكول موروث من أبحاث نماذج ARM، يقلل بشكل كبير من تقدير مخاطر استخراج بيانات التدريب في نماذج DLM لأنه يتجاهل قدرة النموذج على "تكميل" الرموز المقنعة باستخدام السياق السابق واللاحق معاً.

المنهجية

يقدم المؤلفون بروتوكول استخراج التكميل (Infilling Extraction)، وهو بروتوكول استخراج بيانات معمم يتم ضبطه بواسطة قناع ثنائي $m$ . في هذا البروتوكول، يتم إخفاء جزء من تسلسل التدريب، ويُكلف نموذج DLM بإعادة بناء الرموز المقنعة بناءً على السياق غير المقنع. تُعتبر البيانات "مستخرجة" إذا تطابقت عملية إعادة البناء مع النص الأصلي المقنع.

الإعداد التجريبي

تقيم الدراسة هذا البروتوكول على نموذجي DLM واسعي النطاق (LLaDA-8B و Dream-7B) وتقارنهما بنموذج أساسي من نوع ARM مكافئ في الحجم (LLaMA-2-7B). تغطي التجارب:

خمسة أنماط للاستخراج:
- المشروط بالبادئة (Prefix-conditioned): الكشف عن أول $k$ من الرموز (معيار ARM القياسي).
- المشروط بالتذييل (Suffix-conditioned): الكشف عن آخر $k$ من الرموز.
- المشروط بالحواف (Edge-conditioned): الكشف عن أول وآخر $k/2$ من الرموز (سياق التأطير).
- المشروط بالمنتصف (Middle-conditioned): الكشف عن نطاق متصل في المنتصف.
- العشوائي (Random): الكشف عن مجموعة فرعية عشوائية موحدة من $k$ من الرموز.
- المستهدف (Targeted): يتم إخفاء الكيانات الحساسة فقط (PII)، مع الكشف عن التسلسل المحيط بالكامل.
ثلاثة مسارات تدريب: الضبط الدقيق الكامل (FT)، التكيف منخفض الرتبة (LoRA)، والضبط الدقيق الخاضع للإشراف (SFT) تحت قالب دردشة.
ثلاث مجموعات بيانات:
- MIMIR Pile: لاستخراج التسلسلات الحرفية.
- رسائل Enron الإلكترونية: لاستخراج المعلومات الشخصية (PII) (عناوين البريد الإلكتروني وأرقام الهواتف).
- Tulu3: لتسرب المطالبات/الاستجابات في بيئات الضبط الدقيق للتعليمات.
معلمات فك التشفير (Decoding Parameters): تدرس الدراسة تأثير خطوات إزالة الضجيج ( $T$ )، وحجم الكتلة شبه الذاتي ( $b$ )، ودرجة الحرارة ( $\tau$ )، واستراتيجيات إعادة القناع.

المساهمات الرئيسية

صياغة استخراج التكميل: يعرّف البحث بروتوكولاً مقنعاً (mask-parameterized) يعمم استخراج البادئة المشروطة، مع مراعاً صراحةً الطبيعة ثنائية الاتجاه لنماذج DLM.
التقييم المنهجي: تقدم الدراسة أول دراسة منهجية للذاكرة في نماذجم DLM واسعة النطاق عبر أنماط وصول، ونظم تعرض، وتكوينات استدلال متنوعة.
تحديد قنوات تسرب جديدة: يثبت العمل تجريبياً أن الوصول ثنائي الاتجاه يفتح قنوات تسرب غير متاحة هيكلياً لنماذج ARM، مثل استعادة مطالبات المستخدم من استجابات النموذج.

النتائج الرئيسية

1. هندسة القناع تحكم القدرة على الاستخراج

يؤثر وضع السياق المكشوف بشكل كبير على نجاح الاستخراج.

تفوق المشروط بالحواف: استخرجت الأقنعة المشروطة بالحواف (التي تكشف البداية والنهاية) تسلسلات حرفية تزيد بمقدار ثلاث مرات عن الأقنعة المشروطة بالبادئة. على سبيل المثال، في نموذج LLaDA-8B-FT، حقق نمط الحافة معدل ASR قدره 0.41% مقارنة بـ 0.18% لنمط البادئة.
الانحياز ثنائي الاتجاه: يؤكد هذا أن نماذج DLM تستفيد من السياق من كلا الاتجاهين لإعادة بناء الرموز المقنعة، وهي قدرة لا يتم استغلالها في فحص البادئة القياسي.

2. الوصول ثنائي الاتجاه يفتح قنوات تسرب جديدة

استعادة المطالبات (Prompt Recovery): في النماذج المضبوطة بالتعليمات (SFT)، يمكن للمهاجمين استعادة مطالبات المستخدم من استجابات النموذج المعروفة (استخراج مشروط بالاستجابة). وبينما أظهر الاستخراج المشروط بالمطالبة (القياسي) معدل ASR بنحو 10%، حقق الاستخراج المشروط بالاستجابة معدل A% غير ضئل (~1.78–3.36%)، وهو مسار مستحيل لنماذج ARM.
الرمز مقابل التسلسل: بينما يمكن أن يكون استرداد الرموز (TER) مرتفعاً (مثلاً 56% للأقنعة العشوائية)، يظل الاستخراج الحرفي الدقيق (ASR) منخفضاً، مما يشير إلى أن الرموز المكشوفة توفر هيكلاً يساعد على الاسترداد الجزئي ولكنها لا تضمن إعادة إنتاج التسلسل بالكامل.

3. نموذج التهديد الواقعي: البيانات المحجوبة والمعلومات الشخصية (PII)

تحاكي الدراسة سيناريو واقعياً حيث يحصل المهاجم على نسخة محجوبة من بيانات التدريب (مثلاً عبر إصدار تنظيمي أو تسريب جزئي) ويستخدم النموذج لاستعادة المعلومات الشخصية (PII) المحجوبة.

التكميل المستهدف: عندما يتم إخفاء رموز PII فقط مع الكشف عن السياق المحيط، تظهر نماذج DLM قدرة عالية على الاستخراج. في مجموعة بيانات Enron، حقق نموذج LLaDA-8B المضبط بدقة استعادة بنسبة 40.5% لعناوين البريد الإلكتروني و 28.9% لأرقام الهواتف.
المقارنة مع نماذج ARM: تحت هجوم مشروط بالبادئة صارم، بدت نماذج DLM أكثر أماناً من نماذج ARM (LLaDA: 16.3% مقابل LLaMA: 35.9% استعادة للرسائل الإلكترونية). ومع ذلك، تحت التكميل المستهدف، طابقت نماذج DLM أو تجاوزت خط الأساس لـ ARM (LLaDA: 40.5% مقابل LLaMA: 35.9%). يشير هذا إلى أن تقييمات البادئة فقط تقلل بشدة من تقدير مخاطر DLM في السيناريوهات الواقعية التي تتضمن بيانات محجوبة.

4. تأثير معلمات فك التشفير

خطوات إزالة الضجيج ( $T$ ): كلما زادت $T$ (خطوات صقل أكثر)، زادت نسبة الاستعادة، بينما تعمل إعدادات $T$ المنخفضة الموجهة نحو الإنتاجية على إخفاء المحتوى المحفوظ.
حجم الكتلة ( $b$ ): تزيد أحجام الكتل الأكبر (إزالة ضجيج متوازية بالكامل) من نجاح الاستخراج بشكل كبير مقارنة بالكتل الصغيرة (سلوك يشبه AR)، مما يحدد التوازي ثنائي الاتجاه كمحرك رئيسي للتسرب.
استراتيجية إعادة القناع: تعزز إعادة القناع القائمة على الثقة (الالتزام بالتنبؤات عالية الثقة) الاستخراج مقارنة بإعادة القناع العشوائي.
درجة الحرارة ( $\tau$ ): عادة ما ينتج فك التشفير الجشع ( $\tau \to 0$ ) أقوى استخراج.

5. الاستمرارية عبر الضبط الدقيق للتعليمات (SFT)

مرحلة الضبط الدقيق اللاحقة (SFT) على بيانات التعليمات تعيد توزيع الذاكرة ولكنها لا تقضي عليها. بينما انخفضت استعادة البريد الإلكتروني قليلاً بعد SFT، ظلت استعادة أرقام الهواتف دون تغيير إلى حد كبير، مما يشير إلى أن السلاسل الرقمية القصيرة والغريبة هي أمور مستقلة عن أهداف اتباع التعليمات وتنجو من عملية المحاذاة.

الأهمية والادعاءات

يجادل البحث بأن التقييم الحالي لسلامة نماذج DLM غير مكتمل لأنه يعتمد على بروتوكولات مشروطة بالبادئة مصممة لنماذج ARM. من خلال تقديم "استخراج التكميل"، يثبت المؤلفون أن:

نماذج DLM تشكل خطراً أكبر من تسرب بيانات التدريب مما كان يُعتقد سابقاً، خاصة عندما يمكن للمهاجمين الاستفادة من السياق ثنائي الاتجاه أو الوصول إلى بيانات التدريب المحجوبة.
هندسة القناع عامل حاسم في الذاكرة، حيث يكشف نمط الحواف والتكميل المستهدف عن ثغرات غير مرئية في فحص البادئة فقط.
معلمات فك التشفير تعمل كرافعات لكل من التضخيم والتخفيف؛ ويمكن للممارسين ضبط هذه المعلمات لموازنة الأداء ومقاومة التسرب.

يخلص المؤلفون إلى أنه بينما قد تبدو نماذج DLM أكثر أماناً تحت مقاييس البادئة التقليدية، فإن طبيعتها ثنائية الاتجاه تخلق قنوات فريدة وقوية لاستخراج البيانات يجب معالجتها في أبحاث السلامة واستراتيجيات النشر المستقبلية.