💻 computer science

Combating Data Laundering in LLM Training

تقدم هذه الورقة البحثية "عكس بيانات التوليف" (SDR)، وهو إطار عمل مبتكر لمواجهة غسيل البيانات في تدريب النماذج اللغوية الكبيرة عبر استنتاج التحويلات الأسلوبية غير المعروفة وتوليد استعلامات بشكل تكراري لاستعادة الإشارات القابلة للكشف للاستخدام غير المصرح به للبيانات.

المؤلفون الأصليون: Muxing Li, Zesheng Ye, Sharon Li, Feng Liu

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muxing Li, Zesheng Ye, Sharon Li, Feng Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طباخ مشهور تملك وصفة سرية ولذيذة لكعكة خاصة. أنت قلق من أن تقوم سلسلة مطاعم كبيرة بسرقة وصفتك، وخبز آلاف الكعكات، وبيعها على أنها ملكها دون دفع أي مستحقات لك.

في عالم الذكاء الاصطناعي، هذه "الوصفة" هي النصوص المحمية بحقوق الطبع والنشر (مثل الكتب، أو المقالات، أو الأكواد البرمجية) — وسلسلة المطاعم هي شركة تقوم بتدريب نموذج لغوي كبير (LLM) — وهو ذكاء اصطناعي فائق الذكاء يتعلم من خلال القراءة من كميات هائلة من النصوص.

المشكلة: "التنكر السحري" (غسيل البيانات)

عادةً، إذا سرقت شركة ما وصفتك، يمكنك الإمساك بها. كيف؟ تعطي الذكاء الاصطناعي "طعمًا" من كعكتك الأصلية. إذا كان الذكاء الاصطناعي قد أكل وصفتك من قبل، فسيتعرف على النكهة فوراً وسيقول: "أوه، أنا أعرف هذا! إنه يشبه تماماً بيانات التدريب الخاصة بي!" ويصبح واثقاً جداً من نفسه.

لكن، وجد الأشرار حيلة جديدة تسمى غسيل البيانات (Data Laundering).

بدلاً من سرقة وصفتك واستخدامها كما هي بالضبط، يقومون باستئجار فريق من "الكُتّاب الأشباح" (أو يستخدمون ذكاءً اصطناعياً آخر) لإعادة كتابة وصفتك. هم يحتفظون بـ المكونات و التعليمات كما هي، لكنهم يغيرون الأسلوب.

الأصل: "اخلط الدقيق والسكر."
البيانات المغسولة: "ذات مرة، في أرض من المسحوق الأبيض، بدأت رقصة سحرية بين الحبوب والبلورات الحلوة..."

يتم تدريب الذكاء الاصطناعي فقط على هذه النسخ "الشاعرية" و"المعدلة". هو لا يرى أبداً نصك الأصلي البسيط.

الآن، عندما تذهب إلى المطعم وتسأل: "هل استخدمت وصفتي البسيطة؟" وتعرض عليهم النص البسيط، سيقول الذكاء الاصطناعي: "كلا، لم أرَ هذا من قبل." هو لا يتعرف على النص البسيط لأن كل ما تعلمه هو النسخة "الشاعرية". لقد اختفى الدليل. هذا هو غسيل البيانات: إخفاء السرقة عن طريق تغيير "الملابس" التي ترتديها البيانات.

الحل: "عكس بيانات التوليف" (SDR)

ابتكر مؤلفو هذه الورقة البحثية، وهم لي، ويه، ولي، وليو، أداة كشف ذكية تسمى SDR.

فكر في SDR كـ لعبة تحقيق من خطوتين حيث تحاول تخمين "تعليمات التنكر" التي استخدمها السارق.

الخطوة 1: تخمين "النوع الأدبي" (الهدف)

ينظر المحقق (SDR) إلى أكثر 23 طريقة شائعة يعيد بها الناس كتابة القصص (مثل "تقرير إخباري"، "قصيدة"، "مقابلة"، "وصفة طعام"، "عقد قانوني").

يأخذ المحقق قطعة صغيرة من نصك الأصلي ويسأل ذكاءً اصطناعياً مساعداً: "إذا حولنا هذا إلى قصيدة، كيف سيكون شكل الجملة الأولى؟"
ثم يسأل المحقق الذكاء الاصطناعي المشتبه به: "إليك السطر الأول من قصيدة. ماذا يأتي بعده؟"
إذا أجاب الذكاء الاصطناعي المشتبه به بـ ثقة عالية، فهذا يعني أنه تدرب على القصائد!
يجرب المحقق جميع الأنواع الـ 23. إذا كان الذكاء الاصطناعي واثقاً جداً عندما يتم تحويل النص إلى "وصفة طعام"، فإن المحقق يعرف: "آها! لقد حول اللص بياناتك إلى وصفات طعام!"

الخطوة 2: تخمين "التفاصيل" (الخصوصيات)

حسناً، نحن نعلم أن اللص حول بياناتك إلى وصفات طعام. ولكن أي نوع من الوصفات؟

هل جعلها تبدو مثل مذكرات جدة؟
هل جعلها تبدو مثل تقرير مختبر علمي؟
هل أضاف الكثير من الرموز التعبيرية (Emojis)؟

يلعب المحقق الآن لعبة "ساخن وبارد":

يطلب من الذكاء الاصطناعي المساعد إعادة كتابة نصك بأسلوب "وصفة بطابع الجدة".
يطلب من الذكاء الاصطناعي المشتبه به إكمال القصة.
إذا كان الذكاء الاصطناعي المشتبه به واثقاً جداً، يقول المحقق: "تخمين جيد! لنحتفظ بهذه التفاصيل."
إذا كان الذكاء الاصطناعي المشتبه به مرتبكاً، يقول المحقق: "خطأ. لنحاول أسلوب 'تقرير المختبر العلمي'."

يستمر المحقق في تعديل التعليمات (الأمر/Prompt) حتى يجد الأسلوب الدقيق الذي استخدمه اللص.

النتيجة: الإمساك باللص

بمجرد أن يكتشف المحقق التعليمات الدقيقة التي استخدمها اللص ("أعد كتابة كل شيء كأنها وصفة بطابع الجدة مع صور خيالية حية")، فإنه يعيد كتابة نصك الأصلي باستخدام تلك التعليمات نفسها.

الآن، عندما تعرض هذه "الوصفة ذات طابع الجدة" على الذكاء الاصطناعي المشتبه به، سيقول الذكاء الاصطناعي: "نعم! أنا أعرف هذا! لقد أكلت هذا على الإفطار!"

ترتفع ثقة الذكاء الاصطناعي بشكل حاد، ويتم استعادة الدليل. يمكنك الآن أن تثبت: "انظروا؟ لقد تم تدريب هذا الذكاء الاصطناعي على بياناتي، رغم أنهم حاولوا إخفاء ذلك!"

لماذا هذا مهم؟

للمبدعين: يمنح الكتاب والفنانين والشركات وسيلة لإثبات سرقة أعمالهم، حتى لو حاول اللصوص تمويهها.
لشركات الذكاء الاصطناعي: يجبرهم ذلك على أن يكونوا صادقين بشأن مصدر بياناتهم. لا يمكنك مجرد "غسل" البيانات المسروقة والتظاهر بأنها نظيفة.
للجميع: يساعد في بناء إنترنت أكثر عدلاً حيث يحصل الأشخاص على التقدير (والدفع) مقابل عملهم، ويتم تدريب الذكاء الاصطناعي على بيانات يوافق الجميع على استخدامها.

باخت-القول: تعلمنا الورقة البحثية كيفية هندسة عكسية لـ "التنكر السحري" الذي يستخدمه اللصوص لإخفاء البيانات المسروقة، مما يقلب الطاولة بحيث لا يستطيع الذكاء الاصطناعي التظاهر بأنه لا يعرف الحقيقة.

إليك ملخص تقني مفصل لورقة البحث "مكافحة غسيل البيانات في تدريب النماذج اللغوية الكبيرة (LLM)" من قبل Li وآخرون.

1. تعريف المشكلة: غسيل البيانات في النماذج اللغوية الكبيرة (LLMs)

تتناول الورقة ثغرة حرجة في الكشف اللاحق غير المصرح به عن بيانات التدريب.

الكشف القياسي: تعتمد الطرق الحالية على "تأثير الحفظ" (memorization effect) للنماذج اللغوية الكبيرة. إذا تم تدريب نموذج على بيانات مملوكة محددة، فإنه عادة ما يظهر خسارة أقل (ثقة أعلى) على تلك البيانات مقارنة بالبيانات غير المرئية. يقوم أصحاب الحقوق باستعلام النموذج باستخدام نصوص مملوكة أصلية للكشف عن هذه الإشارة.
التهديد (غسيل البيانات): يمكن لمزودي النماذج التهرب من الكشف عن طريق غسيل البيانات. يتضمن ذلك تحويل النص المملوك إلى تنسيق مختلف أسلوبياً ولكنه متشابه دلالياً (على سبيل المثال، إعادة كتابة مقالات ويكيبيديا كقصص للأطفال أو كلمات أغاني) قبل عملية التدريب.
النتيجة: عندما يتم تدريب النموذج فقط على هذه المتغيرات المغسولة، فإنه يحفظ أسلوب البيانات المعاد كتابتها، وليس الأصل. وبناءً على ذلك، عندما يستعلم أصحاب الحقوق من النموذج باستخدام النصوص الأصلية، لا يظهر النموذج أي فجوة في الأداء (خسارة/ثقة) مقارنة بالبيانات غير المستخدمة في التدريب. يتم بذلك محو إشارة الكشف، مما يجعل أدوات الكشف القياسية غير فعالة.
التحدي: يمتلك أصحاب الحقوق عادةً وصولاً بنظام الصندوق الأسود (Black-box access) فقط إلى النموذج المستهدف، ولا يعرفون التحويل (المطالبة/Prompt) المحدد المستخدم لغسيل البيانات. مساحة البحث عن التحويلات المحتملة لانهائية، مما يجعل البحث بالقوة الغاشمة أمراً مستحيلاً من الناحية العملية.

2. المنهجية: عكس بيانات التصنيع (Synthesis Data Reversion - SDR)

يقترح المؤلفون إطار عمل عكس بيانات التصنيع (SDR)، وهو إطار مكون من مرحلتين مصمم للهندسة العكسية لتحويل الغسيل المجهول وتصنيع استعلامات "شبيهة ببيانات التدريب" لاستعادة إشارات الكشف.

التجريد الجوهري: مخطط الهدف-التفاصيل (Goal-Details Schema)

لجعل مساحة البحث اللانهائية قابلة للمعالجة، جرد المؤلفون تحويل الغسيل إلى مستويين:

الهدف (السجل - Register): تحول أسلوبي رفيع المستوى (مثل "إعادة الكتابة كأغنية"، "إعادة الكتابة كعقد قانوني"). وقد قاموا بتأصيل ذلك في تصنيف من 23 سجلاً لغوياً (مثل: غنائي، محادثة، مقابلة، إخباري، وصفة طهي).
التفاصيل: قيود دقيقة تعمل على تنقيح الأسلوب (مثل "استخدام صور حية"، "تضمين دعوة لاتخاذ إجراء"، "الحفاظ على نبرة إقناعية").

العملية المكونة من مرحلتين

يستخدم نظام SDR نموذجاً لغوياً مساعداً ( $M_a$ ) لتصنيع البيانات، ونموذجاً لغوياً مستهدفاً ( $M_t$ ) لتقديم التغذية الراجعة.

المرحلة الأولى: تحديد الهدف (اختيار السجل)

الهدف: تحديد أي من السجلات الـ 23 المحددة مسبقاً يطابق هدف الغسيل بشكل أفضل.
العملية:
1. لكل سجل، يقوم النموذج اللغوي المساعد بتوليد "مطالبة قياسية" (Standard-prompt) لإعادة كتابة النص وفقاً لهذا السجل.
2. يقوم بإعادة كتابة الجمل الافتتاحية لمجموعة صغيرة من البيانات المملوكة في كل سجل.
3. تُغذى هذه الافتتاحيات المعاد كتابتها إلى النموذج اللغوي المستهدف ( $M_t$ ).
4. المقياس: يقيس النظام ثقة الاستكمال (continuation confidence) للنموذج المستهدف. إذا كان النموذج المستهدف قد تدرب على بيانات في سجل معين، فسيكون أكثر ثقة في إكمال الجمل في ذلك السجل.
5. يتم اختيار أفضل 5 سجلات ذات أعلى ثقة كمرشحين. ويتم اختيار السجل النهائي ( $r^*$ ) بناءً على أي منها يحقق أفضل أداء كشف عند تصنيع البيانات الكاملة.

المرحلة الثانية: استنتاج التفاصيل (تنقيح المطالبة)

الهدف: استعادة التفاصيل الدقيقة (القيود) المفقودة من المطالبة القياسية.
العملية:
1. البدء بالمطالبة القياسية للسجل المختار.
2. تصنيع بيانات مملوكة باستخدام هذه المطالبة.
3. تغذية الجملة الافتتاحية للنص المصنع إلى النموذج اللغوي المستهدف لتوليد استكمال لها.
4. استنتاج الشرط (Condition Inference): يقارن النموذج اللغوي المساعد بين النص المصنع وبين الاستكمال الذي ولده النموذج المستهدف. ومن ثم يستنتج "التفاصيل المفقودة" (مثل نبرة معينة، أو تنسيق معين) التي تسببت في جعل النموذج المستهدف يولد ذلك الاستكمال المحدد.
5. التنقيح التكراري: تُضاف التفاصيل المستنتجة إلى المطالبة. يقيم النظام ما إذا كانت هذه المطالبة الجديدة تحسن درجة الكشف (مثل AUC أو ASR). إذا تحسنت، يتم تحديث المطالبة؛ وإلا يتم تجاهلها.
6. تتكرر هذه الحلقة حتى يصل الأداء إلى مرحلة الثبات، مما ينتج عنه مطالبة منقحة تحاكي بدقة عملية تحويل الغسيل الأصلية.

3. المساهمات الرئيسية

صياغة المشكلة: صياغة رسمية لتهديد غسيل البيانات في تدقيق النماذج اللغوية الكبيرة بنظام الصندوق الأسود، وإثبات أن الكشف القياسي يفشل عندما يتم تحويل أسلوب بيانات التدريب.
تجريد الهدف-التفاصيل: تقديم مساحة بحث مهيكلة (23 سجلاً + تفاصيل دقيقة) لجعل استنتاج التحويلات المجهولة أمراً قابلاً للتنفيذ.
1. إطار عمل SDR: تطوير طريقة عملية مكونة من مرحلتين تستخدم نموذجاً لغوياً مساعداً للهندسة العكسية لمطالبة الغسيل وتصنيع بدائل "شبيهة بالتدريب".
2. استعادة الكشف: إثبات أن SDR يمكنه استعادة فعالية أدوات الكشف الجاهزة (مثل Loss و Min-K و Recall) حتى عندما يكون النموذج المستهدف قد تدرب حصرياً على بيانات مغسولة.

4. النتائج التجريبية

قيم المؤلفون SDR باستخدام معيار MIMIR على نماذج مستهدفة متنوعة (Pythia, Llama-2, Falcon) ونماذج مساعدة (GPT-4o, Claude, DeepSeek).

استعادة الأداء:
- بدون SDR، غالباً ما تنخفض مقاييس الكشف (AUC) على البيانات المغسولة إلى مستوى قريب من العشوائية (~0.5–0.6).
- مع SDR، تحسن AUC باستمرار ليصل إلى 0.73–0.81 عبر مختلف أدوات الكشف ومجموعات البيانات.
- مثال: بالنسبة لكاشف "الخسارة" (Loss) على نموذج Pythia-6.9B الذي تم تدريبه باستخدام غسيل "غنائي"، ارتفع AUC من 0.637 إلى 0.766.
القوة والمتانة:
- السجلات المختلطة: نجح SDR في التعامل مع المطالبات التي تدمج سجلين (مثل: "مدونة رأي مع نبرة إقناعية").
- نقل النموذج (Cross-Model Transfer): ظل SDR فعالاً حتى عندما اختلف النموذج المساعد المستخدم للتصنيع عن النموذج الذي استخدمه المزود لغسيل البيانات (على سبيل المثال، المزود يستخدم GPT-4o، والمدقق يستخدم DeepSeek).
- البشر مقابل الذكاء الاصطناعي: عمل SDR على البيانات التي غسلها البشر (مثل إعادة كتابة نص غير مهذب إلى نص مهذب) وكذلك على النصوص المولدة بواسطة الذكاء الاصطناعي.
- الغسيل الجزئي: ظل SDR فعالاً حتى لو تم غسل جزء فقط من البيانات المملوكة.
التحكم السلبي (Negative Control): في السيناريوهات التي لم يحدث فيها غسيل، لم يقم SDR بتزييف نتائج إيجابية كاذبة، حيث حافظ على درجات كشف قريبة من 0.5.
دراسة الاستئصال (Ablation Study): ثبت أن كلتا المرحلتين (تحديد الهدف واستنتاج التفاصيل) لا غنى عنهما، حيث أدى حذف أي منهما إلى تدهور كبير في الأداء.

5. الأهمية والآثار المترتبة

إغلاق الثغرة: تغلق هذه الورقة ثغرة كبيرة في حوكمة الذكاء الاصطناعي. فهي تثبت أن مجرد إعادة كتابة بيانات التدريب لا يكفي لإخفاء انتهاكات حقوق الطبع والنشر أو انتهاكات الخصوصية عن المدققين.
مخطط عملي: توفر هذه الورقة لأصحاب الحقوق في البيانات أداة عملية لتدقيق النماذج بنظام الصندوق الأسود، مما ينقل العبء من "البحث عن البيانات المسروقة بدقة" إلى "استنتاج عملية التحويل".
الاتجاهات المستقبلية: يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على تطوير تصنيفات أكثر دقة للسجلات للتعامل مع أساليب التحويل الغريبة أو المتخصدة للغاية التي قد تغفل عنها تصنيفات الـ 23 سجلاً الحالية.

باختاً، تقدم الورقة حلاً قوياً ضد غسيل البيانات، حيث تحول مشكلة البحث المستعصية إلى مهمة تحسين مهيكلة تنجح في استعادة القدرة على كشف استخدام البيانات غير المصرح به في النماذج اللغوية الحديثة.