🤖 AI

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

تقدم هذه الورقة إطار عمل جديداً يحلل مسارات الاستدلال على مستويي المسار والخطوة ليكشف أن التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) يضغط المسارات غير الصحيحة ويركز الاستدلال في خطوات أقل، بينما يعمل الضبط الدقيق الخاضع للإشراف (SFT) على توسيع المسارات الصحيحة وتوزيع الاستدلال عبر خطوات عديدة، مما يفسر النجاح المتكامل لنموذج التدريب المكون من مرحلتين الحالي.

المؤلفون الأصليون: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: طريقتان لتعليم الروبوت كيف يفكر

تخỗل أن لديك روبوتًا يجيد التحدث، لكنه ليس بارعًا في حل المسائل الرياضية المعقدة أو ألغاز البرمجة. لجعل هذا الروبوت أكثر ذكاءً، يستخدم الباحثون طريقتين رئيسيتين للتدريب:

الضبط الدقيق تحت الإشراف (SFT): هذا يشبه التقليد. أنت تظهر للروبوت مثالاً مثاليًا لكيفية حل خبير بشري لمشكلة ما، خطوة بخطوة، وتقول له: "افعل هذا بالضبط".
التعلم التعزيزي (RL): هذا يشبه التجربة والخطأ مع وجود لوحة تقييم. أنت تترك الروبوت يحاول حل المشكلة بمفرده. إذا حصل على الإجابة الصحيحة، يحصل على "نجمة ذهبية" (مكافأة). وإذا أخطأ، لا يحصل على شيء. بمر مرور الوقت، يتعلم الروبة تجنب المسارات التي تؤدي إلى الفشل.

يسأل البحث: ما الذي يحدث فعليًا داخل عقل الروبوت عندما نستخدم هاتين الطريقتين المختلفتين؟ هل يغيران كيفية تفكير الروبوت، أم يغيران فقط ما يجيب به؟

اكتشف المؤلفون أن هاتين الطريقتين تفعلان عكس بعضهما البعض تجاه "عملية التفكير" لدى الروبوت.

التشبيه 1: "مسار التفكير" (على مستوى المسار)

تخيل عملية تفكير الروبوت كمتنزه يسير عبر غابة ضبابية شاسعة للعثور على كنز مخفي (الإجابة الصحيحة). هناك مسارات كثيرة: بعضها يؤدي إلى الكنز، والكثير منها يؤدي إلى طرق مسدودة أو منحدرات.

الـ SFT (المُقلِّد) "يوسع" المسارات الجيدة:
عندما تظهر للروبوت خريطة الخبير (SFT)، فإنه يتعلم السير في المسار الصحيح. ولكن إليك الخدعة: يبدأ أيضًا في السير على عديد من الاختلافات المختلفة لذلك المسار الصحيح. يصبح مبدعًا جدًا ومتنوعًا في كيفية العثัง على الكنز.
- الخدعة: هو لا يتوقف عن السير في المسارات السيئة. إذا كان الروبوت يتجول بالفعل في مستنقع (يرتكب أخطاء)، فإن SFT يعلمه طرقًا جديدة للمشي، لكنه قد يظل يتجول في المستنقع أحيانًا. إنه "يوسع" عدد الطرق الصحيحة ولكنه لا ينظف المسارات السيئة بالضرورة.
الـ RL (المُقيِّم) "يضغط" المسارات السيئة:
عندما تترك الروبوت يلعب اللعبة مع المكافآت (RL)، فإنه يدرك بسرعة أن مسارات المستنقع تؤدي إلى صفر من النقاط. لذا، يتوقف عن السير هناك. إنه "يضغط" كل المسارات غير الصحيحة، أو المربكة، أو المسدودة خارج الوجود.
- الخدعة: هو أيضًا يميل إلى "ضغط" المسارات الجيدة. قد يتوقف عن استكشاف الاختلافات الإبداعية للإجابة الصحيحة ويكتفي بالمسار الوحيد الذي يعرف أنه يعمل بشكل جيد. يصبح مركزًا جدًا، ولكن أقل تنوعًا.
التركيبة الفائزة (SFT + RL):
يشرح البحث لماذا الممارسة الأفضل حاليًا هي القيام بـ SFT أولاً، ثم RL.
1. أولاً، استخدم SFT لتعليم الروبوت طرقًا جديدة للعثور على الكنز (توسيع المسارات الصحيحة).
2. ثم استخدم RL لمعاقبة الروبوت على التجول في المستنقع (ضغط المسارات غير الصحيحة).
- النتيجة: تحصل على روبوت يعرف طرقًا عديدة لحل المشكلة، ولكنه منضبط للغاية في تجنب الأخطاء.

التشبيه 2: "مدينة الأفكار" (على مستوى الخطوة)

الآن، دعونا ننظر إلى تفكير الروبوت ليس كمسار واحد، بل كـ خريطة مدينة. كل "خطوة" في التفكير (مثل "احسب المساحة" أو "تحقق من الصيغة") هي عبارة عن مبنى في هذه المدينة. والروابط بين الخطوات هي الطرق.

الـ RL يخلق مدينة بنظام "المحور والأسلاك" (Hub-and-Spoke):
بعد تدريب RL، تتغير المدينة. يبدأ الروبوت في الاعتماد بشدة على عدد قليل من المباني المحددة والمهمة للغاية (المحاور). هو يزور هذه الخطوات الرئيسية مرارًا وتكرارًا.
- الأثر: تصبح المدينة فعالة للغاية ولكنها مزدحمة حول هذه النقاط القليلة. يركز الروبوت "قوة تفكيره" في عدد صغير من الخطوات الحرجة. الأمر يشبه شخصًا يقطع المسافة باستخدام ثلاثة جسور محددة فقط، متجاهلاً جميع الجسور الأخرى.
الـ SFT يخلق مدينة "موزعة":
بعد تدريب SFT، تبدو المدينة مختلفة. يوزع الروبوت تفكيره. هو يزور العديد من المباني، ولا يتم زيارة أي مبنى بشكل مفرط كما في مدينة RL.
- الأثر: يكون التفكير "متجانسًا" أو موزعًا بالتساوي. إنه يشبه مدينة يستخدم فيها الجميع مجموعة متنوعة من الشوارع، ولا يوجد شارع واحد يعاني من ازدحام مروري.

النتيجة الرئيسية:

الـ RL يجعل تفكير الروبوت كثيفًا ومركزًا على خطوات رئيسية قليلة (الضغط/Squeezing).
الـ SFT يجعل تفكير الروبوت واسعًا وموزعًا عبر خطوات عديدة (التوسيع/Expanding).

شكل المدينة (الطوبولوجيا)

نظر الباحثون أيضًا في "شكل" مدن التفكير هذه باستخدام الهندسة.

النموذج الأساسي (قبل التدريب): المدينة مقسمة إلى أحياء معزولة (مجتمعات). من الصدد الانتقال من حي إلى آخر. الروبوت يعلق في حلقات محلية.
الـ RL: يقوم بتحطيم الجدران بين الأحياء. ينشئ مدينة تهيمن عليها بعض "المحاور" الضخمة التي تربط كل شيء ببعضه. هذا يجعل الروبوت سريعًا جدًا في العثور على الإجابة إذا وصل إلى المحور الصحيح، لكنه يعتمد على تلك المحاور المحددة.
الـ SFT: يقوم أيضًا بتحطيم الجدران، ولكن بدلًا من إنشاء محاور، فإنه يبني شبكة حيث كل شيء متصل بكل شيء آخر. هذا يجعل المدينة قوية وسهلة التنقل من أي نقطة إلى أي نقطة أخرى.

ملخص ادعاءات الورقة البحثية

الـ RL هو "ضاغط" (Squeezer): إنه يسحق مسارات التفكير غير الصحيحة ويركز تفكير الروبوت في خطوات قليلة عالية الكفاءة وعالية الحركة. إنه يجعل الروبوت جيدًا جدًا في الحصول على الإجابة الصحيحة من المحاولة الأولى (Pass@1) عن طريق إلغاء الخيارات السيئة.
الـ SFT هو "موسع" (Expander): إنه يعلم الروبوت طرقًا صحيحة جديدة للتفكير وينشر حمل التفكير عبر خطوات عديدة. ومع ذلك، فإنه لا يتخلص تلقائيًا من المسارات السيئة التي ربما كان الروبوت يستخدمها من قبل.
لماذا ينجح مزيج SFT + RL: تأتي أفضل النتائج من استخدام SFT لتعليم الروبوت كيف يفكر بشكل صحيح (توسيع المسارات الجيدة) ثم استخدام RL لإجباره على التوقف عن ارتكاب الأخطاء (ضغط المسارات السيئة).
البنية مهمة: يخلق RL هيكل تفكير "ثقيل بالمحاور"، بينما يخلق SFT هيكلًا "موزعًا". كلاهما مختلف عن الهيكل "المجزأ" للنموذج غير المدرب.

تخلص الورقة إلى أن فهم هذه الاختلافات الميكانيكية يساعد في تفسير سبب نجاح وصفة التدريب "ذات المرحلتين" الحالية (SFT ثم RL) في إنشاء ذكاء اصطناٍ لعمليات التفكير.

ملخص تقني: التعلم التعزيزي يضغط، والضبط الدقيق الخاضع للإشراف يوسع: دراسة مقارنة لنماذج اللغات الكبيرة (LLMs) القائمة على الاستدلال

بيان المشكلة

بينما يعد التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) والضبط الدقيق الخاضع للإشراف (SFT) النماذج السائدة لما بعد التدريب لنماذج اللغات الكبيرة (LLMs) لتعزيز قدرات الاستدلال، فإن الآليات المحددة التي تشكل بها هذه الأساليب عمليات الاستدلال الأساسية تظل غامضة. ركزت الدراسات السابقة بشكل كبير على المقاييس القائمة على النتائج (مثل Pass@k)، وغالبًا ما خلصت إلى أن التعلم التعزيزي (RL) يستحث فقط القدرات الأساسية الموجودة مسبقًا، أو أن الضبط الدقيق (SFT) يؤدي إلى الحفظ بينما يعزز التعلم التعزيزي التعميم. ومع ذلك، تفتقر هذه الدراسات إلى فهم دقيق لكيفية تغيير RL وSFT لبنية مسارات الاستدلال وطوبولوجيا فضاء الاستدلال بشكل جوهري. تعالج هذه الورقة السؤال التالي: كيف يشكل RL وSFT عملية الاستدلال بما يتجاوز مقاييس الدقة؟

المنهجية

يقدم المؤلفون إطار تحليل مبتكر يحدد كمياً مسارات الاستدلال ويرصد تغيراتها النوعية تحت نظم تدريب مختلفة. تستخدم الدراسة نماذج ذات أحجام متفاوتة (1.5 مليار، 7 مليارات، و14 مليار معلمة) عبر مجالات الرياضيات (AIME24، AIME25، AMC23) والبرمجة (HumanEval). يتم إجراء التحليل على مستويين من التفصيل:

التحليل على مستوى المسار (Trajectory-Level Analysis):
- المنهجية: يتم أخذ عينات متعددة من المخرجات (M=256) من نماذج Base، وRL، وSFT، وSFT+RL. يتم تحديد مسارات الاستدال الفريدة عن طريق تطبيق التجميع الهرمي (UPGMA) على المخرجات بناءً على تشابه n-gram على مستوى الحروف (chrF).
- الهدف: عد ومقارنة عدد المسارات الصحي?} والخاطئة الفريدة قبل وبعد التدريب.
التحليل على مستوى الخطوة (Step-Level Analysis - رسوم بيانية للاستدلال):
- البناء: يتم تقسيم مخرجات النموذج إلى جمل، وتضمينها في فضاء متجهي (باستخدام BGE-large-en-v1.5)، ثم تجميعها (K-means) لتحديد العقد. تشكل الانتقالات بين الجمل حوافاً موجهة، مما ينشئ "رسمًا بيانيًا للاستدلال" لكل مسألة.
- المقاييس: تحلل الدراسة الخصائص الطوبولوجية العالمية والمحلية، بما في ذلك:
  - معدلات الاضمحلال الأسي: ملاءمة مخططات الرتب (rank plots) لتكرار زيارة العقد، والدرجة، ومركزية البينية (betweenness centrality) لقانون أسي ( $X(R) \propto e^{-\lambda R}$ ) لتحديد معدل الاضمحلال $\beta$ .
  - الطوبولوجيا العالمية: كثافة الحواف، معامل التكتل، التماثل (assortativity)، الوحدوية (modularity)، مركزية فريمان، متوسط طول المسار، الكفاءة العالمية، والاتصال الجبري.
  - البنية المحلية: تحليل الرسم البياني الصغير (Graphlet analysis) (عد الرسوم البيانية الفرعية المكونة من 4 عقد) للكشف عن الهياكل الدورية مقابل غير الدورية.

المساهمات الرئيسية

تؤسس الورقة لـ "منظور مسار الاستدلال" الذي يشرح الأدوار المتكاملة لـ SFT وRL:

ديناميكيات مستوى المسار:
- التعلم التعزيزي (RL) يضغط: يعمل تدريب RL على ضغط عدد المسارات الخاطئة الفريدة بشكل كبير، مما يؤدي فعليًا إلى تقليم فضاء البحث عن الأخطاء. ومع ذلك، فإنه يقلل أيضًا من عدد المسارات الصحيحة الفريدة، مما يركز الكتلة الاحتمالية على مسارات أقل.
- الضبط الدقيق (SFT) يوسع: يزيد تدريب SFT من عدد المسارات الصحيحة الفريدة، مقدمًا استراتيجيات حل جديدة لم تكن موجودة في النموذج الأساسي. والأهم من ذلك، أن SFT وحده يميل إلى الحفاظ على المسارات الخاطئة، ولا يضمن تحسينات في Pass@1.
- التآزر: يُعزى نجاح نهج التدريب ثنائي المرحلة (SFT+RL) إلى قيام SFT بتوسيع فضاء الحلول الصحيحة، يليه قيام RL بضغط فضاء الحلول الخاطئة.
التغيرات الهيكلية على مستوى الخطوة:
- معدلات الاضمحلال: يؤدي RL إلى زيادة حدة معدلات الاضمحلال ( $\beta$ ) لتوزيعات تكرار الزيارة، والدرجة، ومركزية البينية. يشير هذا إلى أن RL يرسخ وظائف الاستدلال (مثل المحاور، والعقد المركزية) في مجموعة فرعية صغيرة من الخطوات. وعلى العكس من ذلك، يعمل SFT على تسطيح هذه المعدلات، مما يجعل الوظائف متجانسة عبر العديد من الخطوات المتنوعة.
- الطوبولوجيا العالمية:
  - النماذج الأساسية (Base Models): تظهر وحدوية عالية وكفاءة عالمية منخفضة، مما يشير إلى أن الاستدلال محاصر في مجتمعات متميزة وضعيفة الاتصال.
  - نماذج RL: تحول الرسوم البيانية إلى هياكل مركزية حول المحاور (hub-centralized) ذات كثافة حواف عالية ووحدوية منخفضة، مما يسمح بالتنقل الفعال عبر عدد قليل من العقد المركزية.
  - نماذج SFT: تضعف حدود المجتمعات لتشكيل رسوم بيانية متصلة عالميًا ذات كفاءة وصول وقابلية وصول عالية، رغم أنها قد تحتفظ ببعض المسارات الخاطئة.
- البنية المحلية: يزيد كل من RL وSFT من نسبة الرسوم البياسية الفرعية الدورية (التي تعكس التراجع والتحقق)، مما يشير إلى أن الهياكل الدورية المحلية وحدها لا يمكنها تفسير الاختلافات في الأداء؛ بل الطوبولوجيا العالمية هي الفارق.

النتائج

مجالات الرياضيات والبرمجة: تظل النتائج ثابتة عبر مجموعات البيانات الرياضية (AIME, AMC) وتوليد الكود (HumanEval).
Pass@k مقابل Pass@1: يفسر تقليل المسارات الصحيحة الفريدة بواسطة RL سبب تفوق النماذج الأساسية أحيانًا على نماذج RL في Pass@k (عند قيم k الكبيرة) بسبب التغطية الأوسع لتوزيع النموذج الأساسي، بينما يتفوق RL في Pass@1 من خلال تركيز الكتلة على المسار الصحيح الأكثر احتمالية.
الارتباطات الطوبولوجية: ترتبط الكفاءة العالمية والاتصال الجبري إيجابيًا بنسب Pass@1/Pass@k، بينما ترتبط الوحدوية سلبًا. يشير هذا إلى أن الرسوم البيانية للاستدلال التي تسهل التنقل الفعال عبر فضاء الحل بأكل ما يمكن هي أمر بالغ الأهمية للأداء العالي.
دراسات الاستئصال (Ablation Studies): تظل النتائج المتعلقة بمعدلات الاضمحلال والتحولات الطوبولوجية قوية عبر مختلف أعداد التجميع ( $K$ )، ومقاييس المسافة (الأوروبيدي مقابل جيب التمام)، وأجهزة ترميز الجمل.

الأهمية والادعاءات

تدعي الورقة تقديم دعم تجريبي لفرضية "التعلم التعزيزي يضغط، والضبط الدقيق يوسع"، مما يوفر تفسيرًا ميكانيكيًا لسبب نجاح الممارسة الحالية المتمثلة في التدريب ثنائي المرحلة (SFT متبوعًا بـ RL).

تفسير التدريب: تفترض الورقة أن SFT يعمل كـ "موسع" لفضاء الاستدلال (تعلم استراتيجيات جديدة)، بينما يعمل RL كـ "ضاغط" (تحسين التوزيع لقمع الأخطاء والتركيز على المسارات الصحيحة عالية الاحتمالية).
تنسيق البيانات: تشير النتائج إلى أن بناء البيانات للاستدلال يجب أن يأخذ في الاعتبار المقاييس الرسومية (مثل ضمان وحدوية منخفضة وكفاءة عالمية عالية) بدلاً من مجرد الدقة.
الاتجاهات المستقبلية: يقترح المؤلفون أن تطبيق RL فقط على الخطوات الوظيفية (المحاور) يمكن أن يحسن الكفاءة، وأن استكشاف ما إذا كانت مكافآت الاستكشاف في RL تمنع "الضغط المفرط" هو اتجاه قيم.

لا تدعي هذه الورقة ابتكار خوارزميات تدريب جديدة، بل تقدم إطارًا تشخيصيًا لفهم الخوارزميات الموجودة، وتفسير سبب نجاح وصفات التدريب الحالية واقتراح اتجاهات لأساليب تعلم وتنسيق بيانات أكثر كفاءة.