💬 NLP

Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs

تُثبت هذه الورقة أن التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) يُحسّن قدرة النماذج اللغوية الكبيرة على الاستنتاج من خلال تحولات توزيعية مستهدفة وعالية الندرة على مستوى الرموز (tokens)، حيث تكون نسبة ضئيلة من قرارات الرموز الحرجة هي المسؤولة عن مكاسب الأداء، ويمكن عزلها عبر تدخلات أخذ العينات المتقاطعة.

المؤلفون الأصليون: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً (النموذج الأساسي) وهو جيد في الرياضيات، لكنه أحياناً يعلق أو يتخذ مساراً خاطئاً عند حل مشكلة صعبة حقاً. قررت أن تمنحه معلماً خاصاً باستخدام التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR). المعلم لا يعيد كتابة شخصية الطالب بالكامل؛ بل يهمس له بنصائح محددة في اللحظات المناسبة تماماً لمساعدته على الوصول إلى الإجابة الصحيحة.

هذه الورقة البحثية هي "تحقيق جنائي" في كيفية عمل هذا التدريس بالضبط. أراد الباحثون معرفة: هل يغير المعلم كل ما يقوله الطالب، أم أنه يكتفي بتعديل كلمات قليلة وحرجة؟

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. اكتشاف "المشرط مقابل المطرقة"

كان معظم الناس يعتقدون أن المعلم (RL) يشبه المطرقة، التي تحطم عادات الطالب القديمة وتعيد بناءها من الصفر.

الواقع: المعلم هو في الحقيقة مشرط.
النتيجة: عند مقارنة الطالب قبل وبعد التدريس، وجد الباحثون أن 98% من الكلمات التي يقولها الطالب تظل كما هي تماماً. التغييرات نادرة للغاية. المعلم يغير رأي الطالب في جزء ضئيل جداً من الكلمات (أقل من 2% في بعض الحالات).

2. تجربة "أخذ العينات المتقاطع" (المفتاح السحري)

لإثبات أن هذه الكلمات القليلة كانت هي الشيء الوحيد المهم، أجرى الباحثون تجربة ذكية تسمى أخذ العينات المتقاطع (Cross-Sampling). تخيل نسختين من الطالب:

الطالب (أ) (نجم المعلم): يحصل دائماً على الإجابة الصحيحة.
الطالب (ب) (الأصلي): غالباً ما يعلق.

التجربة 1: "الحقن السحري"
أخذوا مقال الطالب (ب) واستبدلوا فيه سراً بـ 4% فقط من كلمات الطالب (أ) في اللحظات المحددة التي اتخذ فيها الطالب (أ) قراراً مختلفاً.

النتيجة: فجأة، بدأ الطالب (ب) في الحصول على الإجابات الصحيحة! من خلال تغيير عدد قليل جداً من الكلمات، أطلقوا العنان للذكاء الكامل للمعلم.

التجربة 2: "التخريب"
أخذوا مقال الطالب (أ) المثالي واستبدلوا فيه 5% فقط من كلمات الطالب (ب) (النسخة الأصلية الأقل ذكاءً) في تلك الللمات الحرجة نفسها.

النتيجة: انهار مقال الطالب (أ) المثالي. وأصبحت الإجابة خاطئة.
الدرس المستفاد: نجاح النموذج "الذكي" بأكمله يعتمد على قرارات قليلة ومحددة وعالية المخاطر. إذا أفسدت تلك الكلمات القليلة فقط، فإن سلسلة الاستنتاج بأكملها تنهار.

3. ما هي نوعية الكلمات التي تتغير؟

نظر الباحثون بدقة إلى الكلمات التي تم استبدالها.

هم لا يخترعون كلمات جديدة: المعلم لا يعلم الطالب استخدام مفردات لم يكن يعرفها.
هم يعيدون ترتيب الخيارات: تخيل أن لدى الطالب قائمة من 10 خطوات تالية محتملة. النموذج الأساسي يفكر: "الخيار 3 يبدو جيداً، لكن الخيار 1 هو الأفضل". المعلم يقول: "في الواقع، انظر إلى الخيار 3 مجدداً؛ هذا هو الخيار الذي يؤدي إلى الحل".
التشبيه: الأمر يشبه نظام تحديد المواقع (GPS). السيارة (النموذج) تعرف كل الطرق. الـ GPS (RL) لا يبني طرقاً جديدة؛ هو فقط يقول: "لا تسلك الطريق السريع (الخيار 1)؛ بل اسلك هذا الشارع الجانبي الصغير (الخيار 3) بدلاً منه". كان الشارع الجانبي موجوداً دائماً، لكن السيارة كانت بحاجة إلى دفعة لتختاره.

4. أين تحدث هذه التغييرات؟

التغييرات ليست عشوائية، بل تحدث في مكانين رئيسيين:

البداية: عندما يقرر الطالب لأول مرة كيفية التعامل مع المشكلة (قرار "التفرع").
النهاية: عندما يقوم الطالب بتنسيق الإجابة النهائية أو يقرر التوقف.
المنتصف: ومن المثير للدهشة أن منتصف عملية الاستنتاج يظل كما هو تقريباً. بمجرد أن يسلك الطالب المسار الصحيح (بفضل الدفعة المبكرة)، يمكنه عادةً إتمام المهمة بمفرده.

5. مقياس "التباعد"

استخدم الباحثون أداة تسمى تباعد جينسن-شانون (Jensen-Shannon Divergence) لقياس مدى اختلاف عقول الطالبيْن عند كل خطوة.

الرسم البياني: إذا رسمت هذا على رسم بياني، فسيبدو كخط مستوٍ بالقرب من الصفر مع وجود بعض القمم الحادة.
المعنى: بالنسبة لمعظم الكلمات، يتفق الطالبان تماماً. "القمم" هي اللحظات الحرجة حيث تدخل المعلم لتغيير الاتجاه.

6. فكرة "الميزة المرجحة" (المستقبل)

لأنهم وجدوا أن كلمات قليلة فقط هي المهمة، جرب الباحثون حيلة تدريب جديدة. بدلاً من معاملة كل الكلمات بالتساوي أثناء التدريب، أخبروا الذكاء الاصطناعي: "انتبه بشكل خاص للكلمات التي تغير رأيك فيها أكثر من غيرها".

النتيجة: جعل هذا التدريب أكثر كفاءة قليلاً، مما أثبت أن التركيز على هذه "القلة الحرجة" هو المفتاح لتحسين الاستنتاج.

الملخص: "التحسين المستهدف"

الخلاصة الكبرى هي أن RLVR (التعلم التعزيزي) لا يعيد كتابة الدماغ؛ بل يصقل المسار.

فكر في النموذج الأساسي كمتنزه يعرف الغابة جيداً ولكنه أحياناً يضل طريقه عند مفترق طرق. عملية RLVR لا تعطي المتنزه خريطة جديدة أو أرجل جديدة. هي فقط تضع لافتة صغيرة عند ذلك المفترق المحدد حيث يميل المتنزه عادةً للالتفاف يساراً، لتخبره أن يلتف يميناً بدلاً من ذلك. وبمجرد أن يلتف يميناً، يمكنه إكمال الطريق إلى الكنز بمفرده.

تثبت الورقة أن "سحر" تحسينات الاستنتاج في الذكاء الاصطناائي ليس عملية إصلاح شاملة، بل هو تدخل مستهدف ونادر عند نقاط اتخاذ القرار الأكثر حرجاً.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs" (نادر ولكن حاسم: تحليل على مستوى الرمز للتحولات التوزيعية في الضبط الدقيق لـ RLVR للنماذج اللغوية الكبيرة).

1. بيان المشكلة

أدى التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR)، مثل تحسين السياسة النسبي للمجموعات (GRPO) وDAPO، إلى تحسين قدرات الاستدلال للنماذج اللغوية الكبيرة (LLMs) بشكل كبير في معايções مثل AIME وGPQA. ومع ذلك، فإن الآليات الكامنة وراء هذه التحسينات لا تزال غامضة.

الفجوة: تعتمد معظم التقييمات على مقاييس تجميعية (الدقة، المكافأة)، مما يقدم رؤية عالية المستوى فقط. ومن غير الواضح كيف يعيد RLVR تشكيل التوزيعات التنبؤية على مستوى الرمز (token-level) للنموذج الأساسي.
الأسئلة الرئيسية:
1. ما مدى انتشار التحولات التوزيعية عبر مواضع الرموز (token positions)؟
2. هل هذه التحولات هي المسؤولة عن مكاسب الاستدلال اللاحقة؟
3. ما هي الطبيعة الدقيقة لهذه التغييرات (على سبيل المثال، رموز جديدة مقابل إعادة ترتيب الرموز الموجودة)؟

2. المنهجية

أجرى المؤلفون دراسة تجريبية منهجية باستخدام Qwen2.5-32B (وغيرها من المتغيرات مثل Qwen2.5-Math-7B، Qwen3-8B، Mistral-Small-24B) التي تم تدريبها باستخدام طرق RLVR (مثل DAPO وSimpleRL) على مجموعات بيانات الاستدلال الرياضي (AIME 2024/2025، GPQA).

تنقسم الدراسة إلى ثلاثة تحليلات أساسية:

أ. توصيف التوزيع على مستوى الرمز

المقياس: استُخدم تباعد جينسن-شانون (JS Divergence) لقياس الفرق بين توزيع النموذج الأساسي ( $\pi_{base}$ ) وتوزيع النموذج المضبوط بدقة عبر RL ( $\pi_{RL}$ ) عند كل موضع رمز.
النهج: تقييم التوزيعات الشرطية على سياقات تسلسل متطابقة تم إنشاؤها بواسطة سياسة RL.
المقارنات: تمت مقارنة RLVR مع الضبط الدقيق الخاضع للإشراف (SFT)، وتحليل تأثير المعلمات الفائقة (مثل إعدادات clip-higher في DAPO).

ب. تدخلات أخذ العينات المتقاطعة (الأهمية الوظيفية)

لتحديد ما إذا كانت التحولات النادرة هي التي تقود الأداء، أجرى المؤلفون عمليات أخذ عينات متقاطعة أمامية وعكسية:

أخذ العينات المتقاطعة الأمامي (Forward Cross-Sampling): توليد تسلسل يعتمد أساساً على $\pi_{base}$ ، مع حقن رموز تم أخذ عينات منها من $\pi_{RL}$ في المواضع التي يتجاوز فيها التباعد حداً معيناً.
أخذ العينات المتقاطعة العكسي (Reverse Cross-Sampling): توليد تسلسل يعتمد أساساً على $\pi_{RL}$ ، مع استبدال الرموز بعينات من $\pi_{base}$ في مواضع التباعد العالي.
التحكم في الميزانية: تم تغيير عدد التدخلات لمراقبة كيفية تأثر الأداء بكمية الرموز المستبدلة.

ج. الميكانيكا الدقيقة

تحليل الطبيعة الهيكلية للتغييرات في مواضع التباعد العالي:

تداخل Top-k: قياس التقاطع بين أفضل $k$ من الرموز المرشحة بين النموذج الأساسي ونموذج RL.
إعادة ترتيب الرتب (Rank Reordering): تتبع كيفية تغير ترتيب الرموز.
سلوك الاحتمالية المنخفضة: التحقق مما إذا كان RLVR قد عزز رموزاً كانت غير محتملة للغاية تحت النموذج الأساسي.
تطور التدريب: تتبع تغيرات التباعد عبر نقاط فحص التدريب (checkpoints).

د. التدخل التشخيصي

اقترح واختبر المزايا الموزونة بالتباعد (Divergence-Weighted Advantages)، حيث يتم إعادة وزن إشارة ميزة RL بناءً على تباعد مستوى الرمز (تعزيز High-KL مقابل تعزيز Low-KL) لمعرفة ما إذا كان التركيز على إشارات التعلم لرموز معينة يحسن التدريب.

3. النتائج والمكتشفات الرئيسية

أ. ندرة التحولات التوزيعية

نادرة جداً: يسبب RLVR تغييرات في جزء ضئيل جداً من الرموز.
- SimpleRL: أكثر من 98% من مواضع الرموز تظهر تباعد JS قريباً من الصفر.
- DAPO: أكثر من 83% من المواضع تظهر تباعداً قريباً من الصفر.
المقارنة مع SFT: ينتج الضبط الدقيق الخاضع للإشراف (SFT) تحولات توزيعية كثيفة وشاملة. بينما RLVR يعمل كـ "مشرط"، بينما SFT يعمل كـ "مطرقة".
التركيز الموضعي: التحولات ليست عشوائية؛ فهي تتركز في بداية الاستجابات (قرارات التفرع عالية المستوى) وفي النهاية (التنسيق/الإنهاء)، مع وجود نقاط تباعد عالية متفرقة خلال العملية.

ب. الحسم الوظيفي (نتائج أخذ العينات المتقاطعة)

التدخل الأمامي: حقن جزء صغير من رموز RL في توليدات النموذج الأساسي يستعيد أداء مستوى RL.
- مثال: في AIME 2024، أدى حقن أقل من 4% من رموز RL (حوالي 38 رمزاً) في توليدات النموذج الأساسي إلى رفع الدقة من ~8% إلى >25% (مطابق لـ RL).
- مفاجأة: في بعض الحالات، تفوقت السياسة المختلطة على سياسة RL المستقلة.
التدخل العكسي: استبدال جزء صغير من رموز RL بـ رموز النموذج الأساسي يؤدي إلى انهيار الأداء.
- مثال: استبدال حوالي 5% من رموز RL برموز النموذج الأساسي خفض الدقة من ~25% إلى ~8%.
الاستنتاج: السياسات (RL والأساسية) متطابقة سلوكياً في معظم الرموز، لكنهما تختلفان بشكل حاسم عند مجموعة نادرة من القرارات عالية التأثير التي توجه مسار الاستدلال.

ج. ميكانيكا التحولات

إعادة الترتيب، وليس الاختراع: في مواضع التباعد العالي، نادراً ما يقدم RLVR رموزاً "جديدة". بدلاً من ذلك، يقوم بإعادة ترتيب وتضخيم الرموز التي كانت بالفعل محتملة (ذات احتمالية عالية) في مجموعة top- $k$ $k$ الخاصة بالنموذج الأساسي.
- أكثر من 80% من رموز top-1 في RL كانت موجودة بالفعل في top-3 للنموذج الأساسي.
تعزيز الاحتمالية المنخفضة: رغم ندرته، فإن بعض الطرق (مثل DAPO مع clip-higher) تعزز الرموز ذات الاحتمالية المنخفضة، وهو ما قد يكون حاسماً لخطوات الاستدلال الصعبة.
التفاعل مع الإنتروبيا: الرموز ذات التباعد المنخفض هي عموماً منخفضة الإنتروبيا (واثقة). أما الرموز ذات التباعد العالي فتغطي نطاقاً واسعاً من الإنتروبيا، مما يظهر أن RLVR يمكنه تجاوز حتى تنبؤات النموذج الأساسي الواثقة.

د. المزايا الموزونة بالتباعد

أدى تعديل هدف RL لوزن المزايا بناءً على تباعد مستوى الرمز إلى تحقيق تحسينات على الخطوط المرجعية (على سبيل المثال، DAPO baseline 33.6% $\to$ 45.0% مع تعزيز High-KL في AIME 2024). هذا يشير إلى أن استهداف الرموز النادرة وعالية التباعد صراحةً أثناء التدريب هو أمر مفيد.

4. الأهمية والمساهمات

رؤية ميكانيكية: توفر الورقة أول عدسة دقيقة على مستوى الرمز تظهر أن RLVR لا يعيد كتابة سلوك النموذج عالمياً، بل يقوم بعملية إعادة تخصيص مستهدفة للاحتمالات على مجموعة نادرة من نقاط القرار الحرجة.
التحقق من الندرة: تثبت تجريبياً أن مكاسب الاستدلال لا تعود إلى تغييرات توزيعية واسعة، بل تعتمد على بعض "الرموز الحرجة" التي توجه مسار التوليد.
التمييز عن SFT: توضح أن RLVR وSFT يعملان عبر آليات مختلفة جوهرياً (التحسين النادر مقابل التقليد الكثيف)، مما يفسر سبب تفوق RL غالباً في مهام الاستدلال.
الآثار العملية:
- الكفاءة: تقترح أن أهداف RL المستقبلية يمكن أن تركز إشارات التعلم على هذه المناطق النادرة وعالية التباعد (كما أظهرت تجارب المزايا الموزونة بالتباعد).
- القابلية للتفسير: توفر إطاراً لتشخيص أين ولماذا يفشل أو ينجح نموذج RL من خلال تحليل توزيعات الرموز المحددة.
- السلامة/التحكم: تسلط الض الضوء على أن التعديلات المحلية الصغيرة في اختيار الرموز يمكن أن تغير نتائج الاستدلال بشكل جذري، وهو أمر حيوي لفهم متانة النماذج ونقاط ضعفها المحتملة.

باختصار، تعيد الورقة صياغة الضبط الدقيق لـ RLVR ليس كتحول عالمي في السياسة، بل كعملية تحسين هيكلية ونادرة تفتح مسارات استدلال فعالة كانت متاحة (ولكن غير مختارة) من قبل النموذج الأساسي.