ملخص تقني: Gap-K% - قياس فجوة التنبؤ بالخيار الأول للكشف عن بيانات التدريب المسبق

تعريف المشكلة

تخلق ضبابية مجموعات البيانات الضخمة المستخدمة في التدريب المسبق للنماذج اللغوية الكبيرة (LLMs) مخاطر كبيرة تتعلق بالخصوصية وحقوق الطبع والنشر، بما في ذلك احتمال تسريب المعلومات الشخصية (PII) والمحتوى المحمي بحقوق الطبع والنشر. علاوة على ذلك، فإن الإدراج غير المقصود لمجموعات البيانات المرجعية (benchmarks) في بيانات التدريب المسبق يمكن أن يؤدي إلى تضخم أداء النموذج، مما يؤدي إلى مقارنات غير عادلة. التحدي الجوهري الذي يعالجه هذا البحث هو الكشف عن بيانات التدريب المسبق، وهو حالة محددة من هجمات استنتاج العضوية (MIA)، والتي تهدف إلى تحديد ما إذا كان تسلسل نصي معين جزءًا من مجموعة بيانات تدريب النموذج.

تعتمد الأساليب الحالية المتطورة (مثل Min-K% و Min-K%++) بشكل أساسي على احتمالات مستوى الرمز (token-level likelihoods)، حيث تعامل الرموز بشكل مستقل. وغالبًا ما تغفل هذه النهج جانبين حاسمين:

1. الفجوة بين التنبؤ بالخيار الأول (top-1 prediction) وبين الرمز المستهدف (target token).
2. الارتباطات المحلية (local correlations) بين الرموز المتجاورة داخل التسلسل.

المنهجية: Gap-K%

يقترح المؤلفون Gap-K%، وهي طريقة كشف قائمة على ديناميكيات التحسين في التدريب المسبق للنماذج اللغوية التوليدية (autoregressive LLM pretraining).

الرؤية النظرية

تستند الطريقة إلى سلوك هدف التنبؤ بالرمز التالي. أثناء التدريب، تعمل دالة خسارة الإنتروبيا المتقاطعة (cross-entropy loss) صراحةً على معاقبة الحالات التي لا يتطابق فيها التنبؤ بالخيار الأول ($v_{max}$) مع الرمز المستهدف الحقيقي ($y_t$).

• بيانات التدريب: يتعلم النموذج تقليل الفجوة بين لوغاريتم احتمال الرمز المستهدف ولوغاريتم التنبؤ بالخيار الأول. وبناءً على ذلك، بالنسبة لعينات التدريب، يكون الرمز المستهدف هو التنبؤ بالخيار الأول بشكل متكرر، مما يؤدي إلى حد أدنى من الفجوة.
• البيانات غير التدريبية: بالنسبة للبيانات غير المرئية، يعتمد النموذج على الارتباطات النحوية والدلالية المتعلمة بدلاً من الحفظ. وهذا يؤدي غالبًا إلى "تنبؤات خاطئة واثقة" (confident mispredictions)، حيث يخصص النموذج احتمالية عالية لرمز غير صحيح متميز عن الرمز المستهدف. وينتج عن ذلك فجوة أكبر في الاحتمالية اللوغاريتمية بين الرمز المستهدف والتنبؤ بالخيار الأول.

المكونات الخوارزمية

يقيس Gap-K% هذه الظاهرة من خلال ثلاث خطوات:

1. تسجيل فجوة الخيار الأول (Top-1 Gap Scoring):
   لكل رمز $x_t$، تحسب الطريقة درجة الفجوة المعيارية $g_t$:
   $$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$$
   حيث $\sigma_t$ هو الانحراف المعياري للاحتمالات اللوغاريتمية. وعلى عكس Min-K%++، التي تقوم بالمعايرة نسبة إلى متوسط التوزيع، يقوم Gap-K% بالمعايرة نسبة إلى المنوال (mode) (أي التنبؤ بالخيار الأول). وهذا يسمح للمقياس بالتمييز بين التنبؤات غير المؤكدة (توزيع مسطح) والتنبؤات الخاطئة الواثقة (توزيع ذروي على رمز غير صحيح).

2. التنعيم المتسلسل (Sequential Smoothing):
   لالتقاط الارتباطات المحلية وتخفيف التقلبات على مستوى الرمز، يتم تطبيق نافذة منزلقة بحجم $w$ على درجات الفجوة:
   $$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$$
   تعمل هذه الخطوة على تجميع الإشارات عبر مقاطع متصلة، مما يعكس الملاحظة القائلة بأن إشارات العضوية تمتد عبر العبارات بدلاً من الرموز المنعزلة.

3. مقياس Gap-K%:
   درجة الكشف النهائية هي متوسط أدنى $k\%$ من درجات الفجوة المنعمة في التسلسل. تشير الدرجة القريبة من 0 إلى فجوة صغيرة (مما يشير إلى العضوية)، بينما تشير الدرجة السالبة الكبيرة إلى فجوة كبيرة (مما يشير إلى عدم العضوية).

المساهمات الرئيسية

1. تحديد إشارة جديدة: حدد المؤلفون التباين بين تنبؤات الخيار الأول والرموز المستهدفة كإشارة كشف فعالة، وهي قائمة على ديناميكيات التدرج في التنبؤ بالرمز التالي.
2. منهجية مبتكرة (Gap-K%): اقترحوا طريقة تستفيد من فجوات تنبؤ الخيار الأول هذه وتجمع إشارات مستوى الرمز عبر التنعيم المتسلسل لالتقاط الارتباطات المحلية، مما يعالج قيود تحليل الرموز المستقلة.
3. أداء رائد (State-of-the-Art): حققت الطريقة أداءً فائقًا في الاختبارات القياسية عبر مختلف أحجام النماذج وأطوال المدخلات.

النتائج التجريبية

قيم المؤلفون Gap-K% على اختبارين: WikiMIA (المعتمد على ويكيبيديا) و MIMIR (المعتمد على Pile، وهو أكثر صعوبة مع وجود فروق توزيعية ضئيلة).

• أداء WikiMIA:

  • عبر خمسة نماذج (Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B) وأطوال مدخلات (32، 64، 128)، تفوق Gap-K% باستمرار على النماذج المرجعية بما في ذلك Loss، Zlib، Neighbor، Min-K%، و Min-K%++.
  • في الإعداد الأصلي، حقق Gap-K% تحسينات مطلقة في AUROC بنسبة 9.7% فوق متوسط النماذج المرجعية الحالية و 2.4% فوق أقوى نموذج مرجعي (Min-K%++).
  • في إعداد إعادة الصياغة (paraphrased setting)، حقق مكاسب بنسبة 5.7% فوق متوسط النماذج المرجعية و 1.7% فوق Min-K%++.
  • أظهرت الطريقة أيضًا متانة على النماذج الحديثة (LLaMA 3.1, Gemma2) ونسخها المضبوطة للتعليمات (instruction-tuned).

• أداء MIMIR:

  • في اختبار MIMIR الأكثر صعوبة، حقق Gap-K% أعلى متوسط أداء عبر نماذج Pythia التي تتراوح من 1.4B إلى 12B معلمة، متفوقًا على Min-K%++ في جميع الأحجام التي تم تقييمها.

• دراسات الاستئصال (Ablation Studies):

  • المحلية المتسلسلة (Sequential Locality): أدى التنعيم فقط إلى تحسين الأداء عندما تم تطبيقه على ترتيب الرموز الأصلي، مما يؤكد أن إشارات العضوية تظهر محلية متسلسلة.
  • تحليل المكونات: أدت استبدال المعايرة القائمة على المتوسط بالاعتماد على فجوة الخيار الأول وحدها إلى مكاسب طفيفة، كما أدى التنعيم وحده إلى تحسين الأداء بشكل متوسط. أما الجمع بينهما (طريقة Gap-K% الكاملة) فقد حقق أكبر مكسب في الأداء، مما يشير إلى أن فجوة الخيار الأول توفر إشارة تمييزية يتم تثبيتها وتعزيزها عبر التنعيم المتسلسل.
  • المتانة: ظل Gap-K% فعالاً تحت تأثير إعادة الصياغة العدائية القوية (باستخدام DIPPER)، متفوقًا على جميع النماذج المرجعية.

الأهمية والقيود

الأهمية:
يجادل البحث بأن فهم ديناميكيات التحسين للنماذج اللغوية الكبيرة — وتحديدًا كيف يفرض التدريب المحاذاة بين تنبؤات الخيار الأول والحقيقة الأرضية (ground truth) — يوفر آلية قوية للكشف عن بيانات التدريب المسبق. ومن خلال الانتقال لما وراء مجرد احتمالات الرمز إلى تحليل "ثقة" التنبؤات الخاطئة وسياقها المحلي، يقدم Gap-K% أداة كشف أكثر دقة وفعالية. توضح هذه الرؤية أهمية سلوك تنبؤ الخيار الأول والارتباطات المتسلسلة في فهم الحفظ ومخاطر الخصوصية.

القيود:

• افتراض الصندوق الرمادي (Gray-Box): تتطلب الطة الوصول إلى مخرجات احتمالية الرمز (logits)، مما يحد من تطبيقها على النماذج أو واجهات البرمجة (APIs) التي لا توفر هذه المعلومات. وهي لا تعمل حاليًا في بيئة "الصندوق الأسود" الكاملة.
• نطاق النموذج: رغم اختبارها على عائلات حديثة (LLaMA 3.1, Gemma2)، إلا أن التقييم يقتصر على نماذج تصل إلى عشرات المليارات من المعلمات؛ ولم يتم التحقق من السلوك عند مقياس مئات المليارات.
• المتانة ضد الهجمات العدائية: رغم متانتها تجاه إعادة الصياغة القياسية، لم تُختبر الطريقة ضد الخصوم التكيفيين المصممين خصيصًا للتهرب من الكشف عبر التلاعب بالإحصائيات على مستوى الرمز.

يؤكد المؤلفون أن عملهم مخصص للبحث الأكادسي غير التجاري لتحسين فهم الشفافية والخصوصية في النماذج اللغوية الكبيرة.