ملخص تقني: ديناميكيات الحالة الخفية أحادية التوليد لاختيار البيانات في التعلم المعزز ذو المكافأة القابلة للتحقق (RLVR)

صياغة المشكلة

تعالج الورقة البحثية الاختناق الحرج في التعلم المعزز ذو المكافأة القابلة للتحقق (RLVR): وهو اختيار عينات التدريب عالية التأثير من مجموعة كبيرة غير مصنفة. وبينما يُعرف عن RLVR كونه عالي الكفاءة في استخدام البيانات —حيث يمكن أن يحقق مكاسب كبيرة في الاستدلال من خلال عدد قليل جداً من الأمثلة— إلا أن أداءه حساس للغاية لـ نوع الأمثلة التي يتم اختيارها.

تعتمد مسارات اختيار البيانات الحالية عادةً على:

1. إشارات وقت التدريب: تشغيل ضبط دقيق جزئي أو تعلم معزز (RL) على مجموعة مرشحة لمراقبة ديناميكيات التحسين (مثل مسارات المكافأة، أو تباين التدرج).
2. الاعتماد على الحقيقة الأرضية (Ground-truth): الوصول إلى مكافآت قابلة للتحقق أو إجابات صحيحة للمجموعة المرشحة بأكملها لتصنيف المثيلات.

هذه المتطلبات غالباً ما تكون غير مجدية في المجالات المتخصصة ذات الموارد المحدودة (مثل الأسئلة الطبية متعددة الاختيارات) حيث تكون عمليات التصنيف مكلفة، كما أن تشغيل تدريب تجريبي على آلاف المرشحين يعد هدراً حسابياً. يصيغ المؤلفون مرحلة ما قبل التعلم المعزز (pre-RL regime) حيث يجب إجراء الاختيار على مجموعة كبيرة غير مصنفة دون أي تسميات حقيقة أرضية، أو مكافآت قابلة للتحقق، أو إشارات تحسين وقت التدريب.

المنهجية: SHIFT

يقترح المؤلفون SHIFT، وهو مُنتقي (selector) يعمل بمرّة واحدة (one-shot)، ولا يتطلب تدريباً، وخالٍ من التسميات (label-free). يعتمد SHIFT على ديناميكيات الحالة الخفية أثناء الاستدلال لتقدير فائدة المثيل لعملية RLVR اللاحقة دون إجراء أي تدريب.

الآلية الجوهرية: إزاحة التمثيل المستحثة بالاستدلال (RIRS)

الفرضية المركزية هي أن الديناميكيات الداخلية للنموذج أثناء تتبع عملية الاستدلال تشفر إمكانات التعلم لديه.

1. توليد أحادي حتمي (Single Deterministic Rollout): لكل مثيل مرشح $x$، يقوم SHIFT بتشغيل تتبع استدلال حتمي واحد باستخدام فك الترميز الجشع (greedy decoding) عند $T=0$.
2. استخراج المرتكزات (Anchor Extraction): يحدد الحالات الخفية في بداية ($s(x)$) ونهاية ($e(x)$) تتبع الاستدلال (تحديداً بداية ونهاية جزء سلسلة الأفكو - Chain-of-Thought).
3. حساب RIRS: يتم حساب إزاحة التمثيل المستحثة بالاستدلال كفرق بين هاتين الحالتين:
   $$\Delta(x) = e(x) - s(x)$$
   تعمل قيمة $\|\Delta(x)\|_2$ كبديل خفيف الوزن لـ فائدة (informativeness) المثيل، بافتراض أن الإزاحات الأكبر تشير إلى مشاركة أقوى للحوسبة الداخلية للنموذذج.

خوارزمية الاختيار: مجموعة النواة (CoreSet) الأبعد-الأول ذات الوزن النوعي

لضمان أن المجموعة المختارة عالية الجودة ومتنوعة في آن واحد، يستخدم SHFT استراتيجية اختيار جشعة في فضاء ميزات مُعزز:

1. بناء الميزات: يتم تمثيل كل مثيل بمتجه متصل $\phi(x) = [s(x); \Delta(x)]$، مُطبع إلى كرة الوحدة. هذا يلتقط كلاً من السياق الأولي ($s(x)$) والتحول الاستدلالي ($\Delta(x)$).
2. تسجيل الفائدة (Utility Scoring): يتم اشتقاق درجة الفائدة $\tilde{q}(x)$ من مقدار RIRS (باستخدام التحويل اللوغاريتمي لتحقيق الاستقرار).
3. الاختيار الجشع:
   • تبدأ المجموعة $S$ بالمثيل الذي يمتلك أعلى فائدة.
   • يتم اختيار المثيل التالي $x^*$ الذي يعظم حاصل ضرب فائدته في المسافة بينه وبين المجموعة الحالية:
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     هذا يوازن بين المعلوماتية (RIRS مرتفع) والتغطية (التنوع في فضاء RIRS المُعزز).

المساهمات الرئيسية

1. صياغة المشكلة: تحديد مشكلة اختيار بيانات RLVR في سياق صارم لما قبل RL حيث لا تتوفر تسميات، أو مكافآت، أو إشارات تدريب أثناء الاختيار.
2. إطار عمل SHIFT: تقديم مُنتقي لا يتطلب تدريباً يعتمد على ديناميكيات الحالة الخفية أثناء الاستدماء، وتحديداً مقياس RIRS.
3. الابتكار الخوارزمي: تطوير خوارزمية CoreSet "الأبعد-الأول" ذات وزن نوعي وتوليد واحد، والتي تتوسع لتشمل مجموعات غير مصنفة ضخمة.
4. التحقق التجريبي: إثبات تحسينات مستمرة على الخطوط المرجعية (baselines) الخالية من التدريب (مثل أخذ العينات العشوائي، واستدلالات الصعوبة، وطرق القائمة على عدم اليقين) عبر اختبارات الاستدلال الرياضي والأسئلة الطبية تحت ميزانيات ضئيلة جداً (0.1%–4% من البيانات).

النتائج التجريبية

قيم المؤلفون SHIFT على نماذج Qwen (بأحجام 1.5B و 1.7B) عبر مجالين:

• الاستدلال الرياضي (MATH-500 & AMC): تحت ميزانية 2%، حقق SHIFT دقة بنسبة 62.67% على MATH-500 و 38.55% على AMC (خارج التوزيع - OOD)، متفوقاً بشكل ملحوظ على أخذ العينات العشوائي (+8.94 / +12.77) وعلى غيرها من الخطوط المرجعية. والجدير بالذكر أنه تفوق على مرجع RLVR للبيانات الكاملة في اختبار AMC (خارج التوزيع).
• الأسئلة الطبية (MEDQA & Transfer): تحت ميزانية 0.1%، حقق SHFT نسبة 50.35% على MEDQA، متفوقاً على العينة العشوائية (45.28%) وغيرها من الاستدلالات. وأظهر قدرة قوية على الانتقال (transfer) إلى المجموعات الفرعية الصعبة سريرياً (MedXpertQA)، مقترباً من أداء البيانات الكاملة باستخدام 0.1% فقط من البيانات.

تحليل الاستبعاد (Ablation) والتحليل

• صلاحية RIRS: أكد تحليل الارتباط أن RIRS ليس مجرد بديل لطول المدخلات/المخرجات (ارتباط Spearman $\rho \approx 0$ مع طول الاستجابة).
• ارتباط الفائدة: أظهرت دراسة تجريبية ارتباطاً إيجابياً قوياً (Spearman $\rho = 0.818$) بين ترتيب RIRS قبل مرحلة RL والمكسب الفعلي لـ RLVR اللاحق.
• اختبارات الاستبعاد: أدى حذف إما التغطية القائمة على RIRS ($\phi_{s+\Delta}$) أو الوزن النوعي ($\tilde{q}(x)$) إلى تراجع الأداء، مما يؤكد أن كلاً من إشارات التنوع والفائدة متكاملتان.
• كفاءة الحوسبة: يتطلب SHIFT توليداً حتمياً واحداً فقط لكل مرشح، مما يجعله أرخص بكثير في وقت الاختيار مقارنة بخطوط الاتساق الذاتي (self-consistency) التي تتطلب حوالي 32 توليداً عشوائياً.

الأهمية والادعاءات

تدعي الورقة أن SHIFT يتيح التكيف الفعال لـ RLVR في السيناريوهات التي كانت تعتبر سابقاً غير ممكنة بسبب تكاليف التسمية والقيود الحسابية. من خلال تحديد الأمثلة "المؤثرة" عبر ديناميكيات الحالة الخفية المستحثة بالاستدلال بدلاً من إشارات التدريب، يسمح SHIFT بـ:

• تقليل هائل في تكاليف التسمية والتدريب: تحقيق أداء قوي باستخدام أقل من 1% من البيانات.
• سهولة الوصول: جعل التكيف عبر التعلم المعزز (RL) ممكناً في المجالات المتخصصة (مثل الطب) حيث تندر التسميات الحقيقية.
• التعميم: تحسين الانتقال إلى إعدادات التقييم الأكثر صعوبة وخارج نطاق التوزيع مقارنة بالاختيار القياسي القائم على التنوع أو الصعوبة.

يتبنى المؤلفون موقفاً متواضعاً، حيث يقرون بأن RIRS هو بديل تجريبي مدفوع بديناميكيات مستوى الكتلة (block-level dynamics) وليس اشتقاقاً رسمياً، وأن المتانة عبر عائلات النماذج الأوسع وتصنيف الأخطاء الحساسة للسلامة تظل مجالاً مفتوحاً للعمل المستقبلي.