💬 NLP

CyclicReflex: Improving Reasoning Models via Cyclical Reflection Token Scheduling

تُعد CyclicReflex استراتيجية فك تشفير خالية من التدريب تعمل على تحسين أداء النماذج الاستدلالية الكبيرة أثناء الاختبار عبر جدولة توكنات التأمل بشكل تكيفي باستخدام موجة مثلثية ثنائية الاتجاه، مما يوازن بفعالية بين الإفراط في التأمل والتقليل منه لتحقيق مكاسب ثابتة عبر مختلف المعايوهات وأحجام النماذج.

المؤلفون الأصليون: Chongyu Fan, Yihua Zhang, Jinghan Jia, Alfred Hero, Sijia Liu

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chongyu Fan, Yihua Zhang, Jinghan Jia, Alfred Hero, Sijia Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً ولكنه قلق قليلاً، يخوض اختبار رياضيات صعباً للغاية. هذا الطالب لديه عادة فريدة: قبل كتابة إجابته النهائية، يتحدث مع نفسه بصوت عالٍ. يقول أشياء مثل: "انتظر، دعني أفكر،" "ولكن ماذا لو جربت هذه الطريقة الأخرى؟" أو "هممم، ربما ارتكبت خطأً ما."

في عالم الذكاء الاصطناعي، تُسمى عبارات "التحدث مع الذات" هذه "رموز التأمل" (reflection tokens). وهي طريقة الذكاء الاصطناعي للتوقف قليلاً لمراجعة عمله، أو استكشاف أفكار جديدة، أو تصحيح مسار خاطئ.

ومع ذلك، تماماً مثل الطالب الحقيقي، يمكن للذكاء الاصطناعي أن يخطئ في تحقيق التوازن:

نقص التفكير: يكون الطالب متوتراً أو متسرعاً جداً. يقول "انتظر" مرة واحدة فقط، ثم يستسلم، ويكتب إجابة خاطئة لأنه لم يستكشف كفاية.
الإفراط في التفكير: يعلق الطالب في حلقة مفرغة. يقول "انتظر، انتظر، انتظر، ولكن ربما..." مئة مرة، ويدور حول نفسه حتى ينفد الوقت أو يشعر بالارتباك لدرجة أنه ينسى السؤال الأصلي.

ورقة البحث التي شاركتها، CyclicReflex، هي بمثابة مدرب دراسي ذكي للغاية يعلم طالب الذكاء الاصطناعي هذا كيف يستخدم لحظات "انتظر" بفعالية دون الحاجة إلى إعادة تدريب الطالب من الصفر.

المشكلة الجوهرية: الكثير أو القليل من الـ "انتظر"

لاحظ الباحثون أن نماذج الذكاء الاصطناعي غالباً ما تفشل لأنها لا تعرف متى تتوقف ومتى تستمر في المضي قدماً.

إذا توقفت قليلاً، فقد تفقد الحل.
إذا توقفت كثيراً، فستضيع طاقتها وتتوه في أفكارها الخاصة.

حاولت الأساليب الحالية إصلاح ذلك عبر إخبار الذكاء الاصطناعي ببساطة: "توقف عن قول 'انتظر' كثيراً!" (هذا يشبه معلماً صارماً ينقر بقلمه على الطاولة لإسكات طالب كثير الكلام). لكن هذا أداة بدائية؛ فأحياناً يحتاج الطالب لقول "انتظر" لحل مشكلة صعبة، وأحياناً يحتاج فقط للاستمرار في الكتابة.

الحل: استراتيجية "نبض القلب" (CyclicReflex)

استخدم المؤلفون فكرة عبقرية من خلال النظر في كيفية تدريب الذكاء الاصطناعي في الأساس. في تعلم الآلة، يوجد مفهوم يسمى "جدولة معدل التعلم" (Learning Rate Scheduling).

فكر في تدريب الذكاء الاصطناعي كرحلة تسلق لجبل للوصول إلى أعلى قمة (أفضل إجابة).

إذا اتخذت خطوات صغيرة جداً (معدل تعلم منخفض)، فقد تظل عالقاً في وادٍ صغير ولا تصل أبداً إلى القمة.
إذا اتخذت قفزات عملاقة (معدل تعلم مرتفع)، فقد تقفز فوق القمة مباشرة وتسقط في الجانب الآخر.

أفضل استراتيجية هي التناوب: اتخاذ خطوات كبيرة وجريئة لاستكشاف التضاريس، ثم اتخاذ خطوات صغيرة وحذرة للاستقرار عند القمة. وهذا ما يسمى بـ "الجدولة الدورية" (cyclical schedule).

يطبق CyclicReflex منطق "نبض القلب" هذا على عملية تفكير الذكاء الاصطناعي.

بدلاً من "توقف!" أو "انطلق!" بشكل مستمر، تستخدم هذه الطة نمط موجة مثلثية (مثل نبض القلب أو المد والجزر) للتحكم في رموز "انتظر" الخاصة بالذكاء الاصطناعي:

مرحلة "الاستكشاف" (قمة الموجة): في نقاط معينة من التفكير، يتم تشجيع الذكاء الاصطناعي على قول "انتظر" و "لكن" بشكل أكثر تكراراً. هذا يشبه قولك للطالب: "انطلق بحرية! جرب مسارات مختلفة! لا تخشَ تغيير رأيك!" وهذا يساعدهم على الهروب من الأفكار السيئة.
مرحلة "التقارب" (قاع الموجة): في نقاط أخرى، يتم تثبيط الذكاء الاصطناعي بلطف من قول "انتظر". يقول المدرب: "حسناً، لقد استكشفت بما يكفي. الآن، ركز! التزم بهذا المسار واكتب الإجابة." وهذا يمنعهم من الدوران في حلقات مفرغة إلى الأبد.

لماذا يعد هذا أمراً مهماً؟

مجاني: لا تحتاج إلى إعادة تدريب الذكاء الاصطناعي أو تعليمه أشياء جديدة. إنه يشبه إعطاء الطالب الحالي مجموعة جديدة من التعليمات حول كيفية خوض الاختبار، بدلاً من إرساله للعودة إلى المدرسة لمدة عام كامل.
ديناميكي: إنه يتكيف. فهو يعرف متى يدفع الذكاء الاصطناعي للتفكير بعمق ومتى يطلب منه الهدوء والانتهاء.
يعمل في كل مكان: اختبر الباحثون هذا على مسائل رياضية صعبة، وأسئلة علمية، ومهام برمجية. أصبح الذكاء الاصطناعي أكثر ذكاءً، وحل المزيد من المشكلات بشكل صحيح، ولم يضع وقته في العلوق في حلقات مفرغة.

التشبيه باختصار

تخيل أنك تقود سيارة للوصول إلى وجهة ما.

الذكاء الاصطناعي القديم: إما أن تقود بسرعة ثابتة 5 ميل في الساعة (بطيء جداً، ولن تصل أبداً) أو 100 ميل في الساعة (ستصطدم).
الإصلاح السابق (TIP): شرطي يصرخ "تمهل!" باستمرار. أنت تبطئ، لكنك قد تتوقف مبكراً جداً وتفقد المنعطف.
CyclicReflex: نظام ملاحة (GPS) يقول: "حسناً، الطريق وعر هنا، خذ وقتك وتحقق من الخريطة (توقف/تأمل). الآن الطريق واضح، زد سرعتك وانطلق مباشرة (توقف عن التأمل). أوه، هناك مفترق طرق أمامك، ابطئ وتحقق مجدداً (توقف/تأمل)."

من خلال ضبط زر "التوقف المؤقت" بشكل إيقاعي، يساعد CyclicReflex الذكاء الاصطناعي على إيجاد التوازن المثالي بين التفكير العميق والعمل الحاسم، مما يؤدي إلى إجابات أكثر ذكاءً وسرعة ودقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CyclicReflex: تحسين نماذج الاستنتاج عبر جدولة توكنات الانعكاس الدوري".

1. بيان المشكلة

تستخدم نماذج الاستنتاج الكبيرة (LRMs)، مثل OpenAI's o1 وDeepSeek-R1، سلسلة الأفكار (Chain-of-Thought - CoT) لحل المشكلات المعقدة. ويعد توليد توكنات الانعكاس (reflection tokens) (مثل "انتظر"، "لكن"، "بدلاً من ذلك") مكوناً حاسماً في هذه العملية، حيث تشير هذه التوكنات إلى التردد، أو التصحيح الذاتي، أو استكشاف مسارات بديلة.

تحدد الورقة نمطين رئيسيين للفشل في استراتيجيات فك التشفير (decoding) الحالية لنماذج الاستنتاج فيما يتعلق بهذه التوكنات:

نقص الانعكاس (Under-reflection): ينهي النموذج عملية الاستنتاج قبل أوانها أو يغير استراتيجيته بسرعة كبيرة، مما يؤدي إلى الفشل في استكشاف المسارات الواعدة. وهذا يشبه عملية التحسين (optimization) التي يكون فيها معدل التعلم صغيراً جداً، مما يسبب التقارب نحو حد أدنى محلي غير مثالي.
الإفراط في الانعكاس (Over-reflection): يولد النموذج توكنات انعكاس مفرطة، مما يؤدي إلى حلقات تكرارية غير ضرورية (مثل تكرار قول "انتظر") وهدر في العمليات الحسابية دون الوصول إلى حل. وهذا يشبه عملية التحسين التي يكون فيها معدل التعلم كبيراً جداً، مما يسبب عدم الاستقرار أو التباعد (divergence).

تحاول الأساليب الحالية، مثل TIP (عقوبة تبديل الفكر)، التحكم في الانعكاس عن طريق تطبيق عقوبة ثابتة وأحادية الاتجاه على لوجيتات (logits) توكنات الانعكاس. ومع ذلك، يوضح المؤلفون أن الاستراتيجيات الثابتة تفشل في التكيف مع صعوبة المشكلة أو المرحلة الديناميكية للاستنتاج، مما يؤدي غالباً إلى تدهور الأداء في المشكلات السهلة أو الفشل في تصحيح الأخطاء في المشكلات الصعبة.

السؤال الجوهري: كيف يمكننا تخصيص "مورد" توكنات الانعكاس ديناميكياً أثناء الاستنتاج لموازنة الاستكشاف والتقارب دون إعادة تدريب النموذج؟

2. المنهجية: CyclicReflex

يقترح المؤلفون CyclicReflex، وهي استراتيجية فك تشفير خالية من التدريب، تستمد تشبيهاً مفاهيمياً بين جدولة توكنات الانعكاس في الاستنتاج وبين جدولة معدل التعلم في عمليات التحسين.

التشبيه النظري

توكنات الانعكس $\approx$ معدلات التعلم: تماماً كما يتحكم معدل التعلم في حجم الخطوة في خوارزمية التدرج النازل (gradient descent)، تتحكم توكنات الانعكاس في "الخطوة" أو التحول في مسار الاستنتاج.
نقص الانعكاس $\approx$ معدل تعلم صغير: يؤدي إلى الركود في حلول غير مثالية.
الإفراط في الانعكاس $\approx$ معدل تعلم كبير: يؤدي إلى عدم الاستقرار والفشل في التقارب.
الحل: تتبنى الورقة مبدأ التحوط في حجم الخطوة (Stepsize Hedging) (تحديداً "جدول الخطوات الفضية" ومعدلات التعلم الدورية). فبدلاً من استخدام معدل ثابت، تقوم الاستراتيجية بالتناوب بين مراحل الاستكشاف الهجومية ومراحل التقارب المحافظة.

التنفيذ الخوارزمي

يقوم CyclicReflex بتعديل لوجيتات توكنات الانعكاس باستخدام موجة مثلثية ثنائية الاتجاه تعتمد على الموقع.

الآلية: أثناء عملية التوليد، يتم تعديل احتمالية أخذ عينة من توكن الانعكاس ديناميكياً بناءً على خطوة فك التشفير الحالية $t$ .
المعادلة:
$\hat{z}_{t,v} = \begin{cases} z_{t,v} + \delta(t) & \text{if } v \in \hat{V} \\ z_{t,v} & \text{otherwise} \end{cases}$
حيث أن $\delta(t)$ هي دالة التعديل:
$\delta(t) = A \left| \frac{4 \cdot ((t - \frac{C}{4}) \mod C)}{C} - 2 \right| - A$
$A$ : السعة (تتحكم في قوة التعديل).
$C$ : الفترة (تتحكم في تردد الدورة).
$\hat{V}$ : مجموعة توكنات الانعكاس.

السلوك الديناميكي

مرحلة الزيادة (الاستكشاف): يعمل تعديل اللوجيت على تعزيز توكنات الانعكاس، مما يشجع النموذج على إعادة النظر في مساره الحالي واستكشاف البدائل.
مرحلة التناقص (التقارب): يعمل تعديل اللوجيت على كبح توكنات الانعكاس، مما يشجع النموذج على تثبيت استنتاجه والالتزام بإجابة نهائية.
ثنائية الاتجاه: على عكس TIP (الذي يكتفي بالعقوبة فقط)، يمكن لـ CyclicReflex كل من تعزيز وكبح الانعكاس اعتماداً على مرحلة مسار الاستنتاج.

3. المساهمات الرئيسية

إطار تخصيص الموارد: صياغة توكنات الانعكاس كمورد حسابي، وتقديم مشكلة الجدولة المثلى للتخفيف من نقص أو إفراط الانعكاس.
تشبيه التحسين: إنشاء رابط جديد بين ديناميكيات الاستنتاج ونظرية التحسين، والتحقق من ذلك من خلال تصور "مشهد الأفكار" (Landscape of Thoughts).
خوارمية CyclicReflex: اقتراح استراتيجية فك تشفير خالية من التدريب وغير مكلفة، تستخدم موجة مثلثية دورية لتعديل احتمالات التوكنات.
تقييم شامل: إثبات التحسن المستمر عبر أحجام نماذج مختلفة (من 1.5B إلى 14B) ومعايير متنوعة (الرياضيات، العلوم، البرمجة).

4. النتائج التجريبية

قيم المؤلفون CyclicReflex على ستة معايير: MATH500، AIME2024/2025، AMC2023، GPQA Diamond، وLiveCodeBench، باستخدام نماذج مثل DeepSeek-R1-Distill (نسخ Qwen وLlama) وQwen3.

مكاسب الأداء:
- تفوق CyclicReflex باستمرار على كل من التشفير الأصلي (Original)، وTIP، وخطوط الأساس S1.
- حقق نموذج DeepSeek-R1-Distill-Llama-8B زيادة مطلقة في الدقة بنسبة 10% في AIME2024.
- حقق نموذج DeepSeek-R1-Distill-Qwen-7B تحسناً بنسبة 9% في AMC2023.
الكفاءة: على عكس S1 (الذي يفرض مخرجات طويلة) أو TIP (الذي قد يقطع الاستنتاج قصيراً)، حافظ CyclicReflex على أطوال توليد مقاربة للتشفير الأصلي مع تعزيز الدقة بشكل كبير.
التكيف مع الصعوبة:
- أدى TIP إلى تحسين الدقة فقط في المشكلات "الصعبة" (Hard)، بينما أدى إلى تدهور الأداء في المشكلات "السهلة" (Easy) و"المتوسطة" (Medium).
- حقق CyclicReflex تحسناً في الدقة عبر جميع مستويات الصعوبة (سهلة، متوسطة، صعبة)، مما أظهر قدرة فائقة على التكيف.
التصحيح الذاتي: عند تزويده بمسارات استنتاج خاطئة كمطالبات (prompts)، أظهر CyclicReflex قدرة أعلى بكثير على اكتشاف وتصحيح الأخطاء مقارنة بخطوط الأساس، مما مكنه بفعالية من "الخروج" من حلقات الاستنتاج الخاطئة.
التكامل: يتكامل الأسلوب بسلاسة مع تقنيات توسيع وقت الاختبار الأخرى مثل Best-of-N وBeam Search، مما يحقق مكاسب أداء إضافية.

5. الأهمية والأثر

التحكم المبدئي في الاستنتاج: ينتقل هذا العمل من التدخلات التجريبية (مثل العقوبات الثابتة) إلى آلية تحكم ديناميكية قائمة على أسس نظرية مستوحاة من نظرية التحسين.
كفاءة خالية من التدريب: يوفر دفعة أداء عالية التأثير دون التكلفة الحسابية للضبط الدقيق (fine-tuning) أو التعلم التعزيزي، مما يجعله قابلاً للتطبيق الفوري على النماذج المنشورة حالياً.
القابلية للتفسير: من خلال تصور "مشهد الأفكار"، تقدم الورقة دليلاً تجريبياً على أن CyclicReflex يوجه النموذج بعيداً عن المناطق المشتتة ونحو مسار الحل الصحيح بشكل أكثر فعالية من الأساليب الثابتة.
الاتجاهات المستقبلية: تفتح الورقة آفاقاً جديدة للبحث في ديناميكيات التوليد للاستنتاج، مما يشير إلى أن العمل المستقبلي يمكن أن يصيغ بشكل أكبر العلاقة بين جدولة التوكنات والتقارب في النماذج التوليدية.

باختصار، يثبت CyclicReflex أن معاملة توكنات الانعكاس كمورد قابل للجدولة وتطبيق التعديل الدوري يعزز بشكل كبير قدرات الاستنتاج في النماذج اللغوية الكبيرة، مما يوازن بين المقايضة بين الاستكشاف العميق والتقارب الفعال.