ملخص تقني: ضغط التفكير: متى وكيف تعمل بيانات الاستدلال المضغوطة في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرة على حل المشكلات المعقدة من خلال سلاسل التفكير الطويلة (Chain-of-Thought - CoT). ومع ذلك، تظل المقايضة بين أداء الاستدلال وتكلفة الرموز (tokens) تحديًا مركزيًا لنشر الوكلاء الذكيين. وللتخفيف من تكاليف الرموز، يلجأ الممارسون غالبًا إلى الضبط الدقيق تحت الإشراف (SFT) باستخدام بيانات استدلال "مضغوطة"، حيث يتم تقصير مسارات CoT عن طريق تجميع أو حذف الخطوات الوسيطة.

على الرغم من شيوع هذه الممارسة، يحدد البحث فجوة حرجة في الفهم:

1. آلية الضغط: من غير الواضح كيف تؤثر الأشكال الهيكلية المختلفة لضغط CoT (مثل تجميع العمليات مقابل حذفها) على ديناميكيات التعلم.
2. متطلبات البيانات: العلاقة بين دقة الضغط (granularity)، وحجم البيانات، وخطوات التدريب المطلوبة لـ SFT غير مفهومة بشكل جيد.
3. قدرة التفكيك: لا يزال من غير المعروف ما إذا كانت النماذج المدربة على بيانات مضغوطة يمكنها تفكيك هذه الخطوات المجمعة لحل مهام تتطلب استدلالًا أكثر دقة، وما إذا كان التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) يمكن أن يسهل عملية التفكيك هذه.

2. المنهجية

2.1 تصنيف ضغط CoT

يقترح المؤلفون تصنيفًا رسميًا لتصنيف مسارات استدلال CoT بناءً على كيفية تقديم العمليات الذرية ($f_i$) والقيم ($s_i$):

• CoT الصريح (Explicit CoT): يُخرج كل عملية وكل قيمة وسيطة بالتتابع ($s_1 = f_1(s_0), s_2 = f_2(s_1), \dots$). وهذا يقابل دقة ضغط ($g$) تساوي 1.
• CoT المركب (Composed CoT): يجمع عمليات متعددة في خطوة واحدة، حيث يسرد العمليات صراحةً ولكنه يحذف القيم الوسيطة (على سبيل المثال، $s_2 = f_2(f_1(s_0))$). هنا، تكون $g > 1$.
• CoT الضمني (Implicit CoT): يحذف كلاً من القيم الوسيطة والسرد الصريح للعمليات الوسيطة، ويخرج فقط النتيجة النهائية لمجموعة معينة (على سبيل المثال، $s_4 = f_4(s_3)$). هذا يخفي كل من العمليات والقيم، مما يقابل $g$ أعلى.

2.2 بناء المهمة الاصطناعية

للتحكم في متغيرات مثل الصعوبة، ودقة الضغط، وحجم البيانات، قام المؤلفون ببناء مهمة استدلال حسابي اصطناعية.

• هيكل المهمة: تتضمن المشكلات تبعيات تسلسلية بين المعلمات (على سبيل المثال، "عدد A يساوي B مضروبًا في 4").
• العمليات: تتضمن التبعيات الجمع، والطرح، والضرب بمقياس (modulo 23) لمنع الانفجار العددي.
• الصعوبة ($op$): تُعرف بأنها إجمالي العمليات الذرية المطلوبة لحل المهمة.
• الدقة ($g$): عدد العمليات التي يتم تجميعها في خطوة CoT واحدة.
• التقييم: تم تدريب النماذج على مهام ذات قيم $op$ محددة (مثل 8، 16، 24) وتقييمها على مهام خارج نطاق التوزيع (OOD) ذات تسلسلات أطول (مثل 32 إلى 104 عملية) لاختبار التعميم.

2.3 الإعداد التجريبي

• النماذج: أُجريت التجارب عبر عائلات وأحجام نماذج مختلفة، بما في ذلك Qwen2.5 (من 0.5B إلى 14B) و Llama-3 (من 1B إلى 8B).
• أنظمة التدريب:
  • SFT: التدريب على بيانات Explicit و Composed و Implicit CoT مع قيم $g$ متفاوتة (2، 4، 8).
  • توسع البيانات مقابل التكرار: مقارنة التدريب على مجموعات بيانات متنوعة كبيرة (384 ألف عينة، دورة واحدة/epoch) مقابل مجموعات بيانات صغيرة مكررة عدة مرات (6 آلاف عينة، 64 دورة).
  • RLVR: تطبيق تحسين السياسة النسبي المجموع (GRPO) على النماذج المدربة مسبقًا بـ SFT لاختبار ما إذا كان التعلم التعزيزي (RL) يمكنه تفكيك الخطوات المضغوطة.
• ترتيب CoT: استقصاء ترتيبات CoT الأمامية (Forward - القياسية)، والخلفية (Backward - العكسية)، والهرمية (Hierarchical - المهام الفرعية المجزأة).

3. المساهمات والنتائج الرئيسية

3.1 دقة الضغط وخطوات التدريب

• النتيجة: يتطلب الـ CoT المضغوط ذو الدقة الأخشن (قيمة $g$ أعلى) خطوات تدريب وحجم بيانات أكبر بكثير لتحقيق نفس مستوى الأداء الذي يحققه الـ Explicit CoT.
• الاستنتاج: لتدريب النماذج على مسارات استدلال مضغوطة للغاية، يجب على الممارسين إعداد مجموعات بيانات أكبر للتعويض عن زيادة تعقيد إشارة التعلم.

3.2 توسع البيانات مقابل تكرار البيانات

• التوسع (Scaling): يستفيد الـ CoT المركب (سواء Composed أو Implicit) من توسع البيانات (زيادة عدد العينات الفريدة) أكثر من الـ Explicit CoT.
• التكرار (Repetition):
  • CoT المركب (Composed CoT): يستفيد من تكرار البيانات (التدريب على عينات أقل لعدد أكبر من الدورات).
  • CoT الضمني (Implicit CoT): يعاني من تدهور الأداء عند تكرار البيانات. يشير المؤلفون إلى أن هذا يعود إلى الإفراط في التخصيص (overfitting) أو حفظ أطوال محددة، حيث أن الـ Implicit CoT يخفي البنية التشغيلية اللازمة للتعميم.
• الخلاصة: عندما تكون البيانات محدودة، يُفضل استخدام الـ Composed CoT للتدريب القائم على التكرار، بينما يجب تجنب الـ Implicit CoT وتفضيل توسع البيانات المتنوعة.

3.3 تفكيك سلاسل الاستدلال

• قصور SFT: تفشل النماذج المدربة على CoT مضغوط (مثل $g=2$) في حل المهام التي تتطلب تفكيكًا إلى خطوات ذرية (مثل المهام ذات قيم $op$الفردية عندما تم التدريب على قيم$op$ زوجية). فهي لا تستطيع تلقائيًا تفكيك الكتل المجمعة التي لوحظت أثناء الـ SFT.
• قدرة RLVR: ينجح الـ RLVR اللاحق في تمكين التفكيك. عند تطبيقه على مهام تتطلب التفكيك (قيم $op$فردية)، يسمح RLVR للنماذج بتفكيك كتل$g=2$إلى خطوات ذرية$g=1$.
• الديناميكيات: خلال RLVR، يزدباد طول الاستجابة في البداية (مما يشير إلى أن النموذج يستكشف الخطوات الصريحة المفككة) قبل أن يستقر على استراتيجية فعالة تستخدم الخطوات المضغوطة لمعظم الحسابات والخطوات الصريحة فقط عند الضرورة.
• الخلاصة: يتعلم الـ SFT محاكاة الأنماط المضغوطة، ولكن RLVR ضروري لاكتشاف المهارات الذرية الأساسية وإعادة دمجها للتركيبات غير المرئية.

3.4 ترتيب CoT والتعميم

• أحادي الاتجاه مقابل الهرمي: تتعمم ترتيبات CoT الأمامية والخلفية بشكل جيد على المهام التسلسلية الأطول (OOD). في المقابل، يفشل الـ Hierarchical CoT (الذي يقسم المشكلات إلى كتل ويخزن المتغيرات الوسيطة) في التعميم على المهام الأطول.
• كفاءة البيانات: يتطلب الـ Backward CoT بيانات أكثر من الـ Forward CoT لتحقيق تعميم مماثل، ويرجع ذلك على الأرجح إلى عدم التوافق مع توزيع البيانات المستخدم في التدريب المسبق.
• الخلاصة: بالنسبة للمهام التركيبية التسلسلية، تعتبر تصميمات CoT أحادية الاتجاه أكثر قوة وكفاءة في البيانات من التقسيم الهرمي.

4. الأهمية والادعاءات

يدعي البحث أنه يقدم فهمًا تأسيسيًا للمقايضات المتضمنة في ضغط بيانات الاستدلال في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة. وتتمثل مساهماته الأساسية في:

1. إرشادات تصميم البيانات: يقدم قواعد عملية لبناء مجموعات بيانات مضغوطة في ظل قيود الموارد. وتحديدًا، ينصح بأن الضغط الأخشن يتطلب المزيد من البيانات، وأن الـ Composed CoT يستفيد من التكرار بينما لا يستفيد الـ Implicit CoT، وأن الترتيب أحادي الاتجاه هو الأفضل للتعميم.
2. الرؤية الميكانيكية لـ SFT مقابل RL: يوضح العمل الأدوار المتميزة لكل من SFT و RL في مرحلة ما بعد التدريب. ويفترض أن SFT فعال لتعلم التمثيلات المضغوطة ولكنه محدود في تفكيكها، بينما يعمل RLVR كآلية لـ "فك ضغط" هذه الكتل، مما يسم un للنموذج من التعميم على تركيبات جديدة من خلال استعادة العمليات الذرية.
3. تحسين تكاليف الرموز: من خلال تحديد متى تكون البيانات المضغوطة فعالة وكيفية اقترانها مع RL، يهدف البحث إلى المساعدة في إدارة التوازن بين طول الاستدلال (تكلفة الرموز) والأداء، مما يدعم تطوير وكلاء لغويين أكثر كفاءة.

يحافظ المؤلفون على التواضع بشأن ادعاءاتهم، مشيرين إلى أن نتائجهم مستمدة من مهام حسابية اصطناعية وقد لا تترجم مباشرة إلى جميع مجالات العالم الحقيقي أو بنى غير الـ Transformer دون مزيد من البحث. ويؤكدون أنه بينما تدعم نتائجهم وجهة النظر القائلة بأن RL يمكنه اكتشاف حلول جديدة من خلال تركيب المهارات، فإن الآليات المحددة في الاستدلال المعقد في العالم الحقيقي تظل مجالًا للدراسة المستقبلية.