ملخص تقني: تدقيق عضوية البيانات في التعلم التعزيزي ذو المكافآت القابلة للتحقق

1. تعريف المشكلة والدوافع

برز التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR) كمرحلة تدريب حاسمة للنماذج اللغوية الكبيرة (LLMs)، لا سيما لتعزيز قدرات الاستنتاج في نماذج مثل DeepSeek-R1 و Kimi-k2.5. وبخلاف الضبط الدقيق الخاضع للإشراف (SFT) التقليدي أو المحاذاة القائمة على التفضيلات (RLHF)، يقوم RLVR بتوليد استجابات مرشحة من النموذج نفسه وتعزيز تلك التي تستوفي الموثقات القائمة على القواعد (مثل الإجابات الرياضية الصحيحة أو تنفيذ الكود البرمجي).

يخلق هذا النموذج تحديًا فريدًا لـ تدقيق التعرض للبيانات. تعتمد هجمات استدلال العضوية (MIAs) الحالية عادةً على اكتشاف فرط التخصيص (overfitting) لنموذج ما تجاه سلسلة مستهدفة ثابتة (مثل إجابة محددة في SFT أو استجابة مفضلة في RLHF). ومع ذلك، فإن RLVR لا يحسن نحو استجابة محددة مسبقًا؛ بل يحسن السياسة لزيادة احتمالية توليد أي استجابة تجتاز الموثق. نتيجة لذلك، تفشل طرق MIA القائمة على الاحتمالية (likelihood-based) لأنها لا تملك سلسلة مستهدفة ثابتة لتقييمها.

يعالج البحث الحاجة إلى تدقيق ما إذا كانت مطالبات (prompts) معينة (التي غالبًا ما تكون اختبارات معيارية مملوكة أو مسارات خاصة) قد استُخدمت في مرحلة ما بعد تدريب RLVR، حتى في غياب استجابات مستهدفة ثابتة.

2. المنهجية: تدقيق التباين في السلوك (DIBA)

يقترح المؤلفون إطار عمل DIBA (تدقيق التباين في السلوك)، وهو إطار تدقيق أبيض الصندوق (white-box) على مستوى الاستعلام. يعمل DIBA من خلال مقارنة النموذج الذي تم ضبطه بدقة عبر RLVR ($\pi_{ft}$) مع نقطة المرجعية السابقة لـ RLVR ($\pi_{ref}$).

الرؤية الجوهرية

يلاحظ المؤلفون أنه بينما لا يقوم RLVR بملاءمة سلسلة ثابتة، فإنه يترك آثارًا سلوكية قابلة للملاحظة عبر بُعدين:

1. أدلة جانب المكافأة: يغير RLVR وتيرة تحقيق النجاح القابل للتحقق على مطالبة معينة.
2. أدلة جانب السياسة: يسبب RLVR انحرافًا سلوكيًا في توزيع احتمالية المسارات المولدة بالنسبة للسياسة المرجعية.

إطار عمل DIBA

يقوم DIBA بتجميع الإشارات من عمليات سحب عشوائية متعددة ($N$ من العينات) لاستعلام معين $q$ لإنتاج إشارة تدقيق مستقرة. ويقوم ببناء سمات على محورين:

• إشارة جانب المكافأة (الميزة/Advantage):

  • يحسب المكافأة المتوقعة للنموذج الذي تم ضبطه بدقة ($FT_{score}$) والنموذج الأساسي ($Base_{score}$) باستخدام موثق قائم على القواعد $R$.
  • $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$.
  • يلتقط هذا ما إذا كان RLVR قد حسن قدرة النموذج على حل المهمة.

• إشارة جانب السياسة (التباين/Divergence):

  • تباعد K3: يقيس التباعد على مستوى الرمز (token-level) بين $\pi_{ft}$ و $\pi_{ref}$ بناءً على عمليات السحب الخاصة بالنموذج المضبوط بدقة باستخدام مُقدر تباعد KL غير متحيز.
  • تحول الثقة: يحسب نسبة اللوغاريتم (log-likelihood ratio) ($\log \pi_{ft} - \log \pi_{ref}$) ومتغيرًا معياريًا بنظام Zlib لالتقاط التحولات في ثقة النموذج والوفرة (redundancy).
  • من الأهمية بمكان أن النموذج المرجعي يعمل كـ خط أساس نشط للمقارنة المضادة للواقع (counterfactual comparison)، وليس مجرد معاير لهدف ثابت.

يتم دمج هذه السمات وتغذيتها في متنبئ تراكمي (Random Forest + Logistic Regression) لإخراج درجة عضوية على مستوى المطالبة.

3. المساهمات الرئيسية

1. دراسة منهجية لتدقيق RLVR: يثبت البحث أن خطر التعرض في RLVR يرتبط بشكل أفضل بـ الآثار السلوكية المشروطة بالمطالبة بدلاً من الملاءمة المستهدفة الثابتة.
2. اقتراح DIBA: إطار تدقيق مقارن يقدر إشارات التعرض من خلال تحليل التغيرات في جانب المكافأة والتباين السلوكي في جانب السياسة بالنسبة لنموذج مرجعي.
3. تقييم شامل: يحدد المؤلفون حدود تدقيق RLVR، موضحين متى ينجح (آثار التعلم النشط) ومتى يفشل (المطالبات التي تم إتقانها بالفعل أو المكافآت المشبعة). كما يوسعون التحليل ليشمل النماذج اللغوية البصرية (VLMs) ومختلف إعدادات النقل (transfer settings).

4. النتائج التجريبية

الأداء

• إعداد الصندوق الأبيض (White-Box): يتفوق DIBA باستمرار على النماذج المرجعية القوية المنقولة (بما في ذلك النسخ المعايرة والمولدة ذاتيًا من LOSS و Zlib و Min-K%، إلخ).
  • AUC: يحقق حوالي 0.8 عبر نماذج مختلفة (Qwen-3B/7B) وخوارزميات متنوعة (GRPO, DAPO).
  • نظام الدقة العالية: يحقق TPR@0.1%FPR أعلى بمراحل من النماذج المرجعية (على سبيل المثال، 0.154 لـ DAPO-3B مقابل ~0.01 للنماذج المرجعية).
• تحليل السمات:
  • توفر درجة FT (المكافأة) ترتيبًا عامًا قويًا (AUC مرتفع) ولكنها تفشل في أنظمة FPR المنخفضة.
  • يعد التباين (Divergence) السمة الأكثر فعالية للكشف عالي الدقة (FPR منخفض)، مما يسلط الضوء على أهمية انحراف السياسة.
  • يؤدي الجمع بين إشارات المكافأة والسياسة إلى تحسينات تآزرية.

أنظمة التدقيق والحدود

• المطالبات المتعلمة بنشاط: يكون DIBA أكثر فعالية هنا، حيث يسبب RLVR تغييرات سلوكية غير ضئيلة.
• المطالبات المتقنة بالفعل: يكون الكشف في أضعف حالاته. إذا كان النموذج الأساسي يحل المطالبة بشكل مثالي بالفعل، فإن RLVR يسبب تحديثات إضافية ضئيلة، مما لا يترك أي أثر قابل للكشف.
• المطالبات التي لم تُتعلم أبدًا: يكون الكشف ضعيفًا أيضًا إذا فشل النموذج تمامًا في تعلم المهمة.
• ديناميكيات التدريب: ترتبط قوة إشارة التدقيق بالفجوة الآخذة في الاتساع بين مكافآت التدريب والاختبار؛ وهي تظهر تدريجيًا مع تقدم التدريب.

القابلية للنقل والتعميم

• حجم النموذج: النقل عبر أحجام النماذج (3B مقابل 7B) ضمن نفس خوارزمية RLVR يتميز بالمتانة.
• عدم تطابق الخوارزمية: النقل بين خوارزميات RLVR المختلفة (مثل GRPO إلى DAPO) أقل استقرارًا، خاصة في أنظمة الدقة العالية.
• إعداد الصندوق الرمادي (Grey-Box): مع اختيار بيانات الظل بعناية، يظل DIBA مفيدًا (AUC > 0.7) حتى بدون مطابقة التوزيع بدقة.
• النماذج متعددة الوسائط (VLMs): يمتد DIBA إلى النماذج اللغوية البصرية (AUC ~0.7)، رغم أن الكشف عالي الدقة (TPR@0.1%FPR) أصعب بسبب الضوضاء من المشفرات البصرية.
• نقل المهام: تستمر الإشارات في مجموعات بيانات اتباع التعليمات واستخدام الأدوات.

التخفيف من الآثار

• التنظيم (Regularization): يوفر زيادة تنظيم KL ($\beta$) حماية محدودة؛ إذ غالبًا ما يؤدي إلى نقص في الملاءمة (underfitting) بدلاً من الحفاظ الحقيقي على الخصوصية.
• التعمية اللاحقة (Post-hoc Obfuscation): يمكن لإعادة صياغة المخرات أن تقلل من قابلية التدقيق النصي (خفض AUC/TPR) ولكنها لا تلغي التعرض إذا كان لدى المدقق إمكانية الوصول إلى أوزان النموذج أو الـ logits.

5. الأهمية والادعاءات

يضع البحث DIBA كـ مدقق عملي لامتثال RLVR في إعدادات الصندوق الأبيض. تكمن أهميته الأساسية في تحويل نموذج استدلال العضوية من "الملاءمة لهدف ثابت" إلى "اكتشاف التباين السلوكي".

يدعي المؤلفون أن:

1. التعرض قابل للكشف: يترك تدريب RLVR آثارًا محددة للمطالبة يمكن إظهارها من خلال التدقيق المستهدف، حتى بدون وجود سلاسل مستهدفة ثابتة.
2. السياق مهم: قابلية تدقيق التعرض للبيانات ليست موحدة؛ فهي أقوى عندما يسبب التدريب تغييرات مكافأة وانحرافات سلوكية ملحوظة، وأضعف عندما يمتلك النموذج الأساسي القدرة بالفعل.
3. القيود: الطريقة حساسة للإعدادات (تعتمد على خوارزمية RL وعائلة النموذج) ولا يمكنها اكتشاف استخدام المطالبات التي كان النموذج الأساسي يحلها بشكل مثالي بالفعل (قيد "المعرفة المسبقة").

يسلط العمل الضوء على خطر الخصوصية الحرج في نموذج RLVR الناشئ، مشيرًا إلى أن مجموعات المطالبات المملوكة المستخدمة لتعزيز الاستنتاج معرضة لتدقيق التعرض، مما يستوجب استراتيجيات جديدة للحفاظ على الخصوصية في تدريب RLVR.