💬 NLP

No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

تُثبت هذه الورقة أن كشف التلوث عبر توزيع المخرجات (CDD) غير فعال إلى حد كبير بالنسبة للنماذج اللغوية الصغيرة (70 مليون - 410 مليون معلمة) لأنه يفشل في اكتشاف الحفظ الحرفي، في حين تتفوق عليه باستمرار الطرق القائمة على الاحتمالية مثل الارتياب (perplexity) واحتمالية Min-k% عبر مختلف المعايكات.

المؤلفون الأصليون: Omer Sela (Tel Aviv University)

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Omer Sela (Tel Aviv University)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تحاول معرفة ما إذا كان أحد الطلاب قد غش في الاختبار. لديك طريقتان مختلفتان للإيقاع به:

اختبار "المقلد" (CDD): تطلب من الطالب حل نفس المسألة 50 مرة. إذا كان يغش، فسيقوم بحفظ الإجابة بدقة ويكتبها بشكل متطابق تمامًا في كل مرة، حتى لو طلبت منه أن يحاول أن يكون مبدعًا.
اختبار "الألفة" (Perplexity/Min-k%): أنت تراقب فقط كيف يفكر الطالب في المسألة. حتى لو لم يكتب نفس الإجابة تمامًا في كل مرة، فإن عقله يتفاعل مع السؤال بشعور غريب من نوع "أوه، لقد رأيت هذا من قبل!". قد يتعثر أقل أو يستخدم كلمات محددة حفظها عن ظهر قلب.

هذه الورقة البحثية تدور حول اختبار هاتين الطريقتين على نماذج ذكاء اصطناعي صغيرة وذكية (مثل طالب يمتلك دماغًا أصغر) لمعرفة أيهما يعمل بالفعل.

الاكتشاف الكبير: "الغشاش الصامت"

اكتشف الباحثون مشكلة كبيرة في اختبار "المقلد" (المسمى CDD في الورقة البحثية).

اكتشفوا أن اختبار CDD يعمل فقط إذا كان الطالب قد قام بـ الحفظ الصم للإجابة مثل الببغاء. أما إذا كان الطالب قد تعلم المفهوم بالفعل ولكن لم يحفظ الكلمات بدقة، فإن CDD يفشل تمامًا.

إليك التشبيه:

السيناريو: تخيل أن طالبًا تم إعطاؤه مسألة رياضية 10 مرات أثناء الدراسة.
"الحفظ الكامل" (النماذج الكبيرة/التدريب المكثف): يكتب الطالب نفس الحل بالضبط 10 مرات. إذا سألته مرة أخرى، سيكتب الطريقة نفسها تمامًا في كل مرة. اختبار CDD يمسك بهذا النوع.
"التعلم الذكي" (النماذج الصغيرة/التدريب الخفيف): الطالب يفهم الرياضيات. عندما تطلب منه حلها 10 مرات، يحصل على الإجابة الصحيحة، لكنه يصيغها بطرق مختلفة قليلاً في كل مرة. قد يقول "18 ناقص 9" في مرة، و"نصف الـ 18" في مرة أخرى.
- المشكلة: نظرًا لأن الإجابات مختلفة، يعتقد اختبار "المقلد" (CDD): "أوه، إنه يبدع! لم يغش!".
- الواقع: لقد غش بالفعل (لقد رأى المسألة من قبل)، لكنه ذكي بما يكفي لتغيير صياغة إجابته. اختبار CDD يخطئ في تقديره تمامًا ولا يكتشف ذلك.

لماذا يحدث هذا؟

اختبر الباحثون هذا على نماذج ذكاء اصطنا-صغيرة (تتراوح من 70 مليون إلى 410 مليون "خلية دماغية"، أو بارامتر). ووجدوا أن:

الأدمغة الصغيرة + التدريب الخفيف = لا يوجد تأثير الببغاء: عندما تستخدم نموذجًا صغيرًا وتدربه بقوة خفيفة (باستخدام طريقة تسمى LoRA، وهي تشبه إعطاء الطالب ورقة غش صغيرة بدلًا من إعادة كتابة دماغه بالكامل)، يتعلم النموذج النمط ولكنه لا يجمد الكلمات الدقيقة. يظل مرنًا.
"نقطة التحول": هناك نقطة حرجة. إذا دربت النموذج بقوة كافية أو جعلته أكبر حجمًا، فإنه يتوقف عن كونه مرنًا ويبدأ في التصرف كالببغاء (يحفظ عن ظهر قلب). عندها فقط، يعمل اختبار "المقلد".
النقطة العمياء: في العالم الحقيقي، غالبًا ما نستخدم نماذج صغيرة مع تدريب خفيف لتوفير المال والوقت. في هذه "المنطقة المثالية"، يكون اختبار "المقلد" عديم الفائدة. فهو يعطيك شعورًا زائفًا بالأمان، ويخبرك أن البيانات نظيفة بينما هي في الواقع ملوثة.

الحل الأفضل: اختبار "الألفة"

تظهر الورقة البحثية أن الطرق الأخرى (Perplexity و Min-k% Prob) هي محققة أفضل بكثير.

كيف تعمل: بدلًا من انتظار الطالب ليكتب نفس الجملة تمامًا 50 مرة، تنظر هذه الطرق إلى الثقة الداخلية للنموذج.
التشبيه: حتى لو كتب الطالب جملة مختلفة، فإن دماغه لا يزال يشعر بـ "شرارة التعرف" عند رؤية السؤال. ليس عليهم حفظ الإجابة ليشعروا بـ الألفة مع السؤال.
النتيجة: نجحت هذه الطرق في كشف الغش في كل الحالات، حتى عندما كان النموذج مرنًا ومبدعًا. إنها تعمل سواء كان النموذج ببغاءً أو عبقريًا.

الخلاصة للجميع

إذا كنت تحاول التحقق مما إذا كان الذكاء الاصطناعي قد تدرّب على بيانات لا ينبغي له رؤيتها (مثل أسئلة الاختبار):

لا تعتمد على اختبار "المقلد" (CDD) إذا كنت تستخدم نماذج صغيرة أو تدريبًا خفيفًا. فمن المرجح أن يخبرك بأن كل شيء على ما يرام بينما ليس كذلك. الأمر يشبه التحقق من الغش عبر مراقبة الطلاب الذين يكتبون إجاباتهم بخط يد متطابق تمامًا فقط.
استخدم اختبار "الألفة" بدلاً من ذلك. قد يكون أكثر دقة، لكنه يكشف "الغشاشين الأذكياء" الذين يتعلمون المادة دون حفظ النص حرفيًا.

باختصار: اختبار "المقلد" يمسك فقط بالطلاب الكسالى الذين لا يفكرون. أما اختبار "الألفة" فيمسك بالطلاب الأذكياء بما يكفي للغش دون أن يتم كشفهم. بالنسبة لنماذج الذكاء الاصطناعي الصغيرة، أنت بحاجة إلى النوع الثاني.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "لا حفظ، لا كشف: الكشف عن التلوث بناءً على توزيع المخرجات في النماذج اللغوية الصغيرة" للباحث عمر سلا.

1. بيان المشكلة

يحدث تلوث البيانات (Data Contamination) عندما يتم تضمين معايير التقييم (مثل GSM8K وHumanEval) عن غير قصد في مجموعة بيانات تدريب النموذج، مما يقوض صحة نتائج المعايير.

التحدي: مع تدريب النماذج على مجموعات بيانات ضخمة وغير شفافة، يصبح الكشف عن التلوث دون الوصول إلى بيانات التدريب أمراً بالغ الأهمية.
الفجوة المحددة: يدعي منهج حديث، وهو CDD (الكشف عن التلوث عبر توزيع المخرجات)، القدرة على كشف التلوث من خلال قياس "حدة" (peakedness) توزيع مخرجات النموذج (أي ما إذا كان النموذج ينتج مخرجات متطابقة عند أخذ عينات متعددة من نفس المطالبة). وبينما أظهر CDD نجاحاً في النماذج الكبيرة ذات 7 مليارات معلمة، فإن فعاليته في النماذج اللغوية الصغيرة (SLMs) (من 70 مليون إلى 410 مليون معلمة) وفي ظل أنظمة الضبط الدقيق بكفاءة المعلمات (PEFT) (مثل LoRA) لم يتم التحقق منها بعد.
الفرضية: يبحث المؤلفون فيما إذا كان اعتماد CDD على "انهيار توزيع المخرجات" (المرتبط بالحفظ) يجعله أعمى عن التلوث في السيناريوهات التي تتعلم فيها النماذج من البيانات دون حفظها حرفياً.

2. المنهجية

تستخدم الدراسة تجارب تلوث محكومة باستخدام مجموعة نماذج Pythia (70 مليون، 160 مليون، و410 مليون معلمة).

التصميم التجريبي

مجموعات البيانات: GSM8K (الرياضيات)، HumanEval (البرمجة)، وMATH (مسابقات الرياضيات).
حقن التلوث: تم تكرار أمثلة الاختبار 0، 1، 5، أو 10 مرات وإضافتها إلى مجموعة التدريب.
متغيرات الضبط الدقيق:
- حجم النموذج: 70 مليون، 160 مليون، 410 مليون.
- السعة (Capacity): ضبط دقيق كامل (100% من المعلمات)، LoRA برتبة 256 (~~4-6% من المعلمات)، LoRA برتبة 8 (~~0.1-0.2% من المعلمات).
- المدة: 3 دورات تدريبية (epochs) و20 دورة تدريبية.
طرق الكشف المقارنة:
1. CDD: يقيس نسبة المخرجات المأخوذة عبر عينات حرارية ( $t=0.8$ ) والتي تقع ضمن مسافة تحرير صغيرة من المخرج الجشع (greedy output) ( $t=0$ ). "الحدة" العالية تعني الحفظ.
2. تداخل N-gram: خط أساس يتطلب الوصول إلى متن التدريب (الحقيقة الأرضية).
3. الارتباك (Perplexity - PPL): يشير الارتباك المنخفض في مطالبات الاختبار إلى التعرض المسبق.
4. Min-k% Prob: يحدد النصوص التي تكون فيها الرموز (tokens) ذات الاحتمالية الأدنى ذات احتمالات عالية بشكل غير عادي (مما يشير إلى الألفة).

3. المساهمات والنتائج الرئيسية

أ. "عتبة الحفظ" (The Memorization Threshold)

النتيجة المركزية هي أن CDD يعمل فقط إذا أنتج الضبط الدقيق حفظاً حرفياً (verbatim memorization).

نمط الفشل: في الإعدادات ذات السعة المنخفضة (مثل LoRA برتبة 8، و3 دورات تدريبية)، تتعلم النماذج البيانات (ينخفض فقد التدريب) ولكنها لا تسبب انهيار توزيع مخرجاتها. فهي تنتج إجابات متنوعة وصحيحة (إلى حد ما) عند أخذ العينات. نتيجة لذلك، تظل دقة CDD عند مستوى الصدفة (~50%)، رغم أن البيانات ملوثة بشكل مؤكد.
نمط النجاح: تقفز دقة CDD بشكل حاد إلى أكثر من 90% فقط عندما تتجاوز سعة التدريب (حجم النموذج + رتبة LoRA + الدورات التدريبية) عتبة معينة تجبر النموذج على التقارب نحو تسلسل مخرجات واحد.

ب. تفوق الطرق القائمة على الاحتمالية

تتفوق الطرق القائمة على الاحتمالية (Perplexity و Min-k% Prob) باستمرار على CDD في جميع الظروف.

الحساسية: تكتشف هذه الطرق التلوث حتى عندما تكون النماذج قد تعلمت البيانات ولكنها لم تحفظها.
التلوث منخفض المستوى: في السيناريوهات الواقعية مع تلوث التكرار الواحد ( $c=1$ )، يعمل CDD عند مستوى الصدفة، بينما تظهر طرق Perplexity و Min-k% Prob إشارات كشف كبيرة.
البيانات: عبر 27 شرطاً تجريبياً، تجاوز CDD مستوى الصدفة في 5 حالات فقط، بينما تجاوزت Perplexity و Min-k% Prob الصدفة في 24 و25 حالة على التوالي.

ج. فقد التدريب ليس مؤشراً على قابلية الكشف

تكشف الدراسة عن انفصال بين التعلم وقابلية الكشف:

يمكن للنماذج تحقيق فقد تدريب منخفض (مما يشير إلى أنها تعلمت المهمة) بينما يظل CDD عند مستوى الصدفة.
ترتفع دقة CDD فقط عندما يقترب فقد التدريب من الصفر، مما يشير إلى انهيار كامل لتوزيع المخرجات. لا توجد "منطقة وسيطة" يعمل فيها CDD جزئياً.

د. متانة المعلمات الفائقة (Hyperparameter Robustness)

أكدت دراسات الاستئصال (Ablation studies) على المعلمات الفائقة لـ CDD (عتبة الحدة $\alpha$ ، درجة الحرارة $t$ ، عدد العينات $n$ ) أن الضبط لا يمكنه إنقاذ CDD في الأنظمة ذات السعة المنخفضة. إذا لم يحفظ النموذج البيانات، فلن يؤدي أي ضبط للمعلمات الفائقة إلى توليد توزيع حاد.

4. ملخص النتائج

النماذج الصغيرة + PEFT: في السيناريو الأكثر شيوعاً للتكيف الحديث (النماذج اللغوية الصغيرة + LoRA)، يعد CDD عديم الفائدة فعلياً للكشف عن التلوث.
الحجم مهم: النماذج الأكبر (410 مليون) مع رتب LoRA أعلى (256) أو ضبط دقيق كامل تتجاوز في النهاية عتبة الحفظ، مما يسمح لـ CDD بالعمل. ومع ذلك، حتى في هذه الحالات، تكتشف الطرق القائمة على الاحتمالية التلوث في وقت مبكر وبشكل أكثر موثوقية.
استقلالية المجال: كان فشل CDC ونجاح الطرق القائمة على الاحتمالية متسقاً عبر مجالات الرياضيات (GSM8K, MATH) والبرمجة (HumanEval).

5. الأهمية والآثار المترتبة

نقطة عمياء عملية: تحدد الورقة "نمط فشل صامت" للكشف القائم على توزيع المخرجات. مع تحول المجتمع نحو الضبط الدقيق بكفاءة المعلمات (LoRA) للنماذج الصغيرة، يوفر CDD طمأنينة كاذبة بأن النماذج نظيفة بينما هي ملوثة في الواقع.
تحول منهجي: يجادل المؤلفون بأن الطرق القائمة على الاحتمالية (Perplexity, Min-k% Prob) هي الأفضل لتدقيق النماذج اللغوية الصغيرة لأنها تكتشف "الألفة" مع البيانات، وليس فقط "الحفظ الحرفي".
التوفيق مع الأعمال السابقة: تفسر هذه النتائج سبب عمل CDD على نماذج 7B (حيث توفر حتى رتبة LoRA 8 ملايين المعلمات القابلة للتدريب، وهي كافية للحفظ) وفشله في نماذج 70M–410M (حيث توفر نفس الرتبة سعة ضئيلة جداً). العامل الحاسم هو العدد المطلق للمعلمات القابلة للتدريب، وليس الرتبة نفسها.

الخاتمة

تخلص الورقة إلى أن CDD غير كافٍ للكشف عن التلوث في النماذج اللغوية الصغيرة، خاصة تحت نظام الضبط الدقيق بكفاءة المعلمات. يعتمد الكشف على "عتبة حفظ" حادة غالباً ما لا يتم بلوغها في عمليات التكيف العملية للنماذج اللغوية الصغيرة. ويوصي المؤلفون باستخدام الطرق القائمة على الاحتمالية (Perplexity, Min-k% Prob) كمعيار لتدقيق النماذج في هذا النطاق.