ملخص تقني: إعادة التفكير أثناء الاستدلال باستخدام ناقلات الأفكار الكامنة للاستدلال الرياضي

1. بيان المشكلة

يعمل استدلال "سلسلة الأفكور" (Chain-of-Thought - CoT) القياسي في النماذج اللغوية الكبيرة (LLMs) عبر تمريرة أمامية واحدة، حيث يلتزم النموذج بكل رمز (token) يتم توليده بشكل لا رجعة فيه. هذه البنية تدمج بين المعرفة التقريرية (محتوى خطة الاستدلال) والتنفيذ الإجرائي (التوليد النحوي للرموز). وبناءً على ذلك، تنتشر الأخطاء المبكرة في التوليد دون أي تحقق لأن النموذج يفتقر إلى آلية مستقلة للتراجع، أو النقد، أو تنقيح استراتيجية الاستدلال الخاصة به قبل اعتماد المخرج النهائي.

يجادل المؤلفون بأن الاستدلال الفعال يتطلب فصلاً وظيفياً بين "ما يجب الاستدلال حوله" (التقريري) و"كيفية التعبير عنه لفظياً" (الإجرائي)، وهو ما يحاكي التمييز بين المعالجة الدلالية (مثل منطقة فيرنيكه) والإنتاج النحوي (مثل منطقة بروكا) في الإدراك البشري.

2. المنهجية

2.1 نموذج توليدي مع ناقلات الأفكار الكامنة

يقوم الإطار المقترح بتفكيك الاستدلال إلى مكونين متميزين:

1. ناقلات الأفكار الكامنة ($z$): تمثيل مستمر وتقريري لاستراتيجية الاستدلال ("ماذا").
2. المفكك الإجرائي (Procedural Decoder): محول (Transformer) ذاتي الانحدار يقوم بتوليد تسلسل الرموز ("كيف") بشرط وجود $z$.

يُعرف النموذج المشترك كالتالي:
$$p_\theta(x, z) = p_\alpha(z) p_\beta(x|z)$$
حيث $x$ هو تسلسل الرموز الأرضية (السؤال + مسار الاستدلال)، و$\theta = (\alpha, \beta)$ يمثل جميع معاملات النموذج.

• نموذج اللاحقة (Prior Model) ($p_\alpha(z)$): على عكس نماذج VAE التي تستخدم لاحقات ثابتة، يستخدم هذا النموذج خريطة نقل قابلة للتعلم (learnable transport map). يقوم مشفر ($U_\alpha$) بتحويل رموز الضجيج غير المهيكلة $z_0 \sim \mathcal{N}(0, I)$ إلى ناقلات أفكار كامنة مهيكلة $z$. وهذا يخلق متشعباً (manifold) متعلمًا تعكس هندسته أنماط الاستدلال الصحيحة.
• المولد الموجه بالفكر (Thought-Guided Generator) ($p_\beta(x|z)$): هو مفكك Transformer حيث يتفاعل المتجه الكامن $z$ عبر الانتباه المتقاطع (cross-attention) مع كل طبقة. ومن الأهمية بمكان أن يستخدم المفكك نافذة سياق قصيرة ($w=64$). هذه العقبة المعمارية تجبر النموذج على توجيه التبعيات طويلة المدى عبر $z$، مما يجبر المتجه الكامن على ترميز البنية العالمية للمتوالية بدلاً من السياق المحلي الزائد عن الحاجة.

2.2 التعلم: التحسين ثنائي المعدل

يستخدم التدريب مخططاً ثنائي المعدل للفصل بين التكيف السريع لكل حالة على حدة والتعلم العالمي البطيء:

• التحديثات المحلية السريعة: لكل تسلسل تدريبي، يتم تحسين معاملات اللاحقة التباينية $(\mu, \sigma^2)$ فوق رموز الضجيج $z_0$ مباشرة عبر التدرج الاشتقاقي (Adam) بمعدل تعلم مرتفع. لا يتم تدريب شبكة استدلال؛ بل تحتفظ كل حالة بتمثيلها الكامن الأمثل الخاص بها.
• التحديثات العالمية البطيئة: يتم تحديث معاملات النموذج $\theta$ (أوزان المشفر والمفكك) باستخدام معدل تعلم قياسي وأقل.

يتجنب هذا النهج انهيار اللاحقة (posterior collapse) ويسمح للنموذج بتراكم المخططات العامة ($\theta$) مع الحفاظ على دقة كل حالة عبر المتغيرات الكامنة.

2.3 إعادة التفكير أثناء الاستدلال

في وقت الاختبار، يستخدم النموذج إجراءً تكرارياً من نوع جيبس (Gibbs-style) لتنقيح استراتيجية الاستدلال. بالنظر إلى سؤال $x_q$، الهدف هو تقريب الهامش $p_\theta(x_r|x_q)$ من خلال التناوب بين التوليد والتفكير:

1. التوليد: عينة من مسار استدلال مرشح $x_r^{(t)}$ مشروط بالمتجه الكامن الحالي $z^{(t-1)}$.
   $$x_r^{(t)} \sim p_\beta(x_r | U_\alpha(z_0^{(t-1)}), x_q)$$
2. التفكير (التعليق): تحسين متجه الضجيج الكامن $z_0$ لتعظيم احتمالية المسار المولد (مما يؤدي فعلياً إلى تقليل التباعد بين اللاحقة التباينية واللاحقة الحقيقية).
   $$z_0^{(t)} = \arg \min_{z_0} D_{KL}(q(z_0|x_r^{(t)}, x_q) \parallel p_\theta(z_0|x_r^{(t)}, x_q))$$

تسمح هذه الحلقة للنموذج بـ "إعادة التفكير": فالأخطاء في المسار المولد تمد بالمعلومات لتنقيح المتجه الكامن، والذي يقوم بدوره بتوجيه مسار مصحح في التكرار التالي. هذه العملية متجذرة نظرياً كعملية تحسين صعود إحداثي (coordinate-ascent optimization) على حد أدنى تبايني (ELBO)، مما يضمن تحسناً رتيباً في تقريب اللاحقة المشتركة.

3. المساهمات الرئيسية

1. الإطار التوليدي: بنية مبتكرة تفصل المحتوى التقريري (المتجهات الكامنة) عن التوليد الإجرائي، مما يسمح بتعلم فعال حيث يمكن لنموذج صغير أن يتفوق على البنى الضخمة أحادية النوع.
2. إعادة التفكير أثناء الاستدلال: إجراء من نوع جيبس يعمل على تنقيح الأفكار الكامنة تكرارياً أثناء الاختبار، مما يتيح التصحيح الذاتي دون الحاجة إلى بيانات تدريب إضافية أو إعادة بارامترية للنموذج.
3. التحقق التجريبي: إثبات أن الحوسبة أثناء الاستدلال هي محور توسع (scaling axis) فعال للغاية، وهي متعامدة مع عدد المعلمات.

4. النتائج التجريبية

قام المؤلفون بتدريب نموذج بـ 0.2 مليار معلمة من الصفر على مجموعة بيانات GSM8K-Aug (385 ألف مثال) وقاموا بتقييمه على ثلاثة اختبارات معيارية: GSM8K (داخل النطاق)، SVAMP (تغيرات سطحية خارج النطاق)، و MultiArith (استدلال متعدد الخطوات).

• الأداء: حقق نموذج 0.2B مع 30 تكراراً لإعادة التفكير (Rethink-30):
  • 31.54% في GSM8K (متفوقاً على نموذج CoT-SFT بـ 3 مليار معلمة بنسبة 22.70%، ونموذج MARCoS بـ 2 مليار معلمة بنسبة 24.11%).
  • 51.50% في SVAMP (مقابل 27.77% لنموذج MARCoS بـ 2 مليار معلمة).
  • 68.00% في MultiArith (مقابل 42.33% لنموذج MARCoS بـ 2 مليار معلمة).
• الكفاءة: حتى تمريرة واحدة (Rethink-1) تفوقت على معظم النماذج المرجعية، بما في ذلك النماذج التي تمتلك 10 إلى 15 ضعف عدد المعلمات.
• التعميم: أظهرت الطريقة متانة كبيرة في الاختبارات المعيارية خارج النطاق، ويُعزى ذلك إلى قدرة المتجه الكامن على التجريد بعيداً عن تباينات الرموز السطحية.

5. الأهمية والادعاءات

يزعم البحث أن الاستدلال الرياضي الفعال يمكن أن ينبثق من حوسبة متطورة أثناء الاستدلال بدلاً من الاعتماد فقط على ضخامة عدد المعلمات.

• التوسع المتعامد: تشير النتائج إلى أن "التفكير لفترة أطول" (الاستثمار في الحوسبة من خلال التنقيح التكراري) هو محور توسع قوي يكمل زيادة حجم النموذج.
• المواءمة المعرفية: من خلال الفصل بين التخطيط التقريري والتنفيذ الإجرائي، يحاكي النموذج الآليات المعرفية البشرية، مما يسمح بفحص ومراجعة الأفكار قبل الالتزام بها.
• الاحتمالية كبديل: يفترض المؤلفون أنه عند التدريب على نماذج توضيحية قريبة من مستوى الخبراء، فإن مشهد الاحتمالية يفضل طبيعياً المسارات المنطقية الصحيحة. لذلك، فإن تحسين المتجه الكامن لتعظيم احتمالية المسار المولد يوجه النموذج فعلياً نحو استراتيجيات الاستدلال الصحيحة.

يشير المؤلفون إلى وجود قيود، وتحديداً أن الاعتماد على الاحتمالية كبديل للصحة يفترض وجود بيانات تدريب عالية الجودة؛ وفي البيئات التي يسودها الضجيج، قد تضعف هذه العلاقة، مما يستدعي الحاجة إلى إشارات تحقق خارجية في الأعمال المستقبلية.