Detecting RLVR Training Data via Structural Convergence of Reasoning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كشف بيانات تدريب RLVR عبر التقارب الهيكلي للاستدلال".

1. تعريف المشكلة

تتناول الورقة مسألة حرجة وهي تلوث المعايير المرجعية (Benchmark Contamination) في النماذج اللغوية الكبيرة (LLMs) الحديثة التي يتم تدريبها باستخدام التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR).

• السياق: يُعد RLVR التقنية المهيمنة في مرحلة ما بعد التدريب لتحسين قدرات الاستدلال (مثل الرياضيات والبرمجة) من خلال تحسين النماذج بناءً على التغذية الراجعة للمكافآت من مسارات الاستدلال المولدة ذاتياً.
• التحدي: على عكس التدريب المسبق (Pretraining) أو الضبط الدقيق الخاضع للإشراف (SFT)، حيث يمكن اكتشاف التعرض للبيانات عبر احتمالات مستوى الرمز (Token-level likelihoods) أو الارتياب (Perplexity)، يقوم RLVR بتحسين توزيع مسارات الاستدلال بدلاً من احتمالات رموز محددة. وبناءً على ذلك، تفشل طرق الكشف التقليدية القائمة على الاحتمالية (مثل Min-K% Prob و Perplexity) في اكتشاف ما إذا كان استعلام معين جزءاً من مجموعة بيانات تدريب RLVR.
• الهدف: تطوير كاشف "الصندوق الأسود" (Black-box detector) يمكنه تحديد ما إذا كان استعلام $x$ ينتمي إلى مجموعة بيانات تدريب $D_{RL}$ دون الوصول إلى مكونات النموذج الداخلية، أو احتمالات الرموز، أو النماذج المرجعية.

2. الملاحظات الرئيسية والمنهجية

يقترح المؤلفون أن RLVR يسبب تقارباً هيكلياً (Structural Convergence) فريداً في مسارات الاستدلال، وهو ما يعمل كبصمة يمكن اكتشافها.

أ. الظاهرة الجوهرية: التقارب الهيكلي

من خلال تحليل مكثف لديناميكيات تدريب RLVR (باستخدام خوارزميات DAPO و GRPO)، لاحظ المؤلفون:

1. الجمود في المطالبات المرئية (Seen Prompts): بالنسبة للمطالبات التي واجهت نموذج RLVR أثناء التدريب، تنهار مسارات الاستدلال المولدة من قبل النموذج إلى مجموعة صغيرة من الأنماط الهيكلية المتكررة والجامدة. تنخفض تنوع المخرجات (اللفظي، والمنطقي، والدلالي) بشكل كبير.
2. التنوع في المطالبات غير المرئية (Unseen Prompts): بالنسبة للمطالبات غير المرئية، يحتفظ النموذج بتباين أعلى ولا يتقارب إلى نفس العناقيد الضيقة.
3. الضغط الرمزي (Symbolic Compression): يكون التقارب أكثر وضوحاً في مكونات الاستدلال الرمزية والجبرية (مثل التحويلات الرياضية المعيارية، وتعريفات الدوال)، والتي تصبح معيارية للغاية.

ب. الطريقة المقترحة: مسافة Min-kNN

بناءً على ملاحظة الانهيار الهيكلي، قدم المؤلفون مقياس مسافة Min-kNN، وهو مقياس بسيط يعمل كصندوق أسود.

• الإجراء:
  1. بالنظر إلى مطالبة $x$، يتم أخذ عينات من $m$ من الإكمالات ($O(x) = \{o_1, ..., o_m\}$) من النموذج الذي تم ضبطه بواسطة RLVR.
  2. حساب مسافة تحرير ليفنشتاين المعيارية ($D_{ij}$) بين جميع الإكمالات المولدة.
  3. لكل إكمال $o_i$، يتم إيجاد مسافة أقرب جار ($NN_i$).
  4. ترتيب هذه المسافات واختيار أصغر $k$ من القيم.
  5. حساب مسافة Min-kNN كمتوسط لأصغر هذه المسافات الـ $k$:
     $$\text{Min-kNN}(x) = \frac{1}{k} \sum_{t=1}^{k} NN_{(t)}(x)$$
• قاعدة القرار:
  • المطالبات المرئية (بيانات التدريب): تظهر مسافة Min-kNN منخفضة (تشابه هيكلي عالٍ/انهيار).
  • المطالبات غير المرئية: تظهر مسافة Min-kNN عالية (تنوع هيكلي عالٍ).
• المزايا: يتطلب فقط الوصول إلى أخذ العينات (صندوق أسود)، ولا يتطلب احتمالات الرموز، ولا النماذج المرجعية.

3. المساهمات الرئيسية

1. التحليل المنهجي لسلوك RLVR: تقدم الورقة أول كمّ منهجي لكيفية إعادة تشكيل RLVR لسلوك الاستدلال، مما يكشف عن تقارب في الفضاء الهيكلي لمسارات الاستدلة، لا سيالما في المكونات الرمزية.
2. طريقة كشف مبتكرة: تقديم مسافة Min-kNN، وهو كاشف قوي يعمل كصندوق أسود ويستفيد من الانهيار الهيكلي بدلاً من الاحتمالية.
3. التقييم الشامل: أظهرت التجارب المكثفة عبر نماذج متنوعة (Qwen, DeepSeek, SimpleRL)، وخوارزميات RL مختلفة (DAPO, GRPO, PPO)، وأنواع بيانات مختلفة (الرياضيات، البرمجة)، تفوق الطريقة على جميع النماذج المرجعية.

4. النتائج التجريبية

قيم المؤلفون مسافة Min-kNN مقابل عدة نماذج مرجعية (PPL, Min-K% Prob, CDD, Self-Critique) عبر سيناريوهات متعددة:

• الأداء العام: حققت مسافة Min-kNN متوسط AUC قدره 0.70، مما يمثل تحسناً نسبياً بنسبة 17% عن أقوى نموذج مرجعي. وقد تفوقت باستمرار على جميع الطرق الأخرى عبر أحجام النماذج المختلفة (من 1.5B إلى 32B بارامتر).
• المتانة تجاه إعادة الصياغة (Paraphrasing): ظلت الطريقة فعالة (AUC 0.71) حتى عند إعادة صياغة مطالبات التدريب، مما يشير إلى أنها تكتشف الانهيار الهيكلي بدلاً من مطابقة السلاسل النصية السطحية.

3. كشف التقطير (Distillation Detection): نجحت الطريقة في اكتشاف المطالبات المستخدمة في تقطير النماذج (AUC 0.76)، مما يشير إلى أن إشارة الانهيار الهيكلي تنتقل من النموذج المعلم إلى النموذج الطالب.

• الأداء عبر المجالات:
  • الرياضيات: AUC 0.80 (أداء عالٍ بسبب الاستدلال المنظم).
  • البرمجة: AUC 0.69 (أقل قليلاً ولكنها لا تزال متفوقة على النماذج المرجعية، ويرجع ذلك على الأرجه إلى المرونة العالية في مهام البرمجة).
• التلوث ثنائي المراحل: أثبتت الطريقة أنها أكثر فعالية في اكتشاف تلوث مرحلة RL في البيانات ذات التلوث المنخفض في مرحلة التدريب المسبق، مما يؤكد خصوصيتها لمرحلة تدريب RL.

5. الأهمية والتأثير

• الشفافية في الذكاء الاصطناعي: يوفر هذا العمل أداة حاسمة للتحقق مما إذا كانت نماذج الاستدلال مفتوحة المصدر قد تعرضت لـ "فرط التخصيص" (Overfitting) لمشكلات معيارية محددة، مما يعالج القلق المتزايد بشأن ادعاءات التعميم المبالغ فيها.
• ما وراء الاحتمالية: إنها تنقل نموذج الكشف عن التعرض للبيانات من تحليل احتمالية الرموز (الذي يفشل في حالة RL) إلى التحليل الهيكلي لتنوع الاستدلال.
• الفائدة العملية: باعتبارها طريقة تعمل كصندوق أسود بالكامل، يمكن للمدققين والباحثين تطبيقها على أي نموذج مُضبط بـ RLVR متاح للجمهور دون الحاجة إلى الوصول إلى بيانات التدريب المملوكة أو أوزان النموذج.

في الختام، تثبت الورقة أن تدريب RLVR يترك "بصمة" مميزة من الجمود الهيكلي في مسارات الاستدلال. ومن خلال قياس هذا الانهيار عبر مسافة Min-kNN، يقدم المؤلفون حلاً موثوقاً للكشف عن تعرض بيانات التدريب في عصر نماذج الاستدلال القائمة على التعلم التعزيزي.