🤖 machine learning

TEMPO: Scaling Test-time Training for Large Reasoning Models

تقترح الورقة البحثية TEMPO، وهو إطار عمل للتدريب في وقت الاختبار يدمج بين تحسين السياسة على البيانات غير المصنفة وإعادة معايرة الناقد بشكل دوري على البيانات المصنفة للتغلب على استقرار الأداء وانهيار التنوع في نماذج الاستدلال الكبيرة، محققاً مكاسب كبيرة في دقة معايير الاستدلال الرياضي.

المؤلفون الأصليون: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طالب عبقري يستعد لأصعب مسابقة رياضيات في العالم (مثل AIME). لقد درست بجد، ولكن بمجرد بدء الامتحان، لا يمكنك البحث عن الإجابات أو طلب المساعدة من معلمك. عليك الاعتماد فقط على ما تعرفه.

المشكلة في الذكاء الاصطناعي الحالي:
معظم نماذج الذكاء الاصطناعي المتقدمة (التي تسمى نماذج الاستدلال الضخمة) تشبه الطلاب الذين يتوقفون عن التعلم بمجرد بدء الامتحان. إنهم يستخدمون الكثير من طاقة الدماغ للتفكير في مشكلة ما، لكنهم لا يغيرون عقولهم فعلياً بناءً على ما يتعلمونه أثناء الاختبار.

تحاول بعض الطرق الأحدث إصلاح ذلك من خلال السماح للذكاء الاصطناعي بـ "تقييم نفسه" أثناء خوض الاختبار. يفكر قائلاً: "همم، هذه الإجابة تبدو صحيحة،" ويقوم بتحديث عقله.

العيب: هذا يشبه طالباً سيئاً في الرياضيات يحاول تقييم واجباته المنزلية بنفسه. في البداية، قد يصيب في بعض الأشياء، لكن سرعان ما يبدأ في الثقة بإجاباته الخاطئة. يقنع نفسه قائلاً: "أنا متأكد من أن هذا صحيح!" ويتوقف عن استكشاف الاحتمالات الأخرى. يقع في حلقة مفرغة من الثقة المفرطة، ويصل أداؤه إلى سقف معين، ثم يتوقف عن التحسن. كما يتوقف عن محاولة إيجاد حلول إبداعية، ويكتفي بتكرار نفس الأنماوهات القليلة التي يعتقد أنها تعمل.

الحل: TEMPO
تقدم الورقة البحثية TEMPO (تحسين سياسة توقع التوقع في وقت الاختبار). فكر في TEMPO ليس كطالب يقيم نفسه، بل كطالب لديه مدرس خصوصي ذكي ومتنقل.

إليك كيف يعمل TEMPO، باستخدام تشبيه بسيط:

الرقصة ذات الخطوتين: "المدرس" و"الطالب"

يقسم TEMPO المهمة إلى دورين يتبادلان الأدوار:

الطالب (السياسة - The Policy): هذا هو الذكاء الاصطناعي الذي يحاول حل المشكلات الصعبة غير المصنفة (أسئلة الاختبار). إنه يولد الإجابات ويحاول التعلم منها.
المدرس (الناقد - The Critic): هذا نموذج ذكاء اصطناعي منفصل مهمته الوحيدة هي تصحيح (تقييم) إجابات الطالب.

السر الكامن: استراحة "إعادة المعايرة"
معظم الطرق الأخرى تسمح للطالب بتقييم نفسه للأبد. أما TEMPO فيفعل شيئاً مختلفاً. فهو يتبع جدولاً زمنياً صارماً:

الخطوة 1: الطالب يحل (خطوة M). يقوم الطالب بمعالجة مجموعة من المشكلات الصعبة وغير المحلولة. يستخدم مهارات التصحيح الحالية للمدرس للتعلم والتحسن.
الخطوة 2: المدرس يخضع لـ "اختبار واقع" (خطوة E). هذا هو الجزء السحري. قبل أن يصبح الطالب واثقاً جداً من نفسه، يتوقف المدرس عن تقييم عمل الطالب. بدلاً من ذلك، يعود المدرس إلى كتاب مدرسي يحتوي على الإجابات الصحيحة (مجموعة بيانات مصنفة) ويعيد تعلم كيفية التصحيح بشكل صحيح. هذا يضمن عدم انحراف معايير التصحيح لديه.

لماذا ينجح هذا؟

يمنع تأثير "المصحح المخمور": إذا قام المدرس بتقييم عمل الطالب فقط، فسينتهي به الأمر بالاتفاق مع أخطاء الطالب (لأن الطالب هو الوحيد الذي يولد الإجابات). من خلال إجبار المدرس على النظر إلى "الكتاب المدرسي" (الإجابات الصحيحة) بين الحين والآخر، يحافظ TEMPO على نزاهة عملية التصحيح.
يبقي الإبداع حياً: لأن المدرس صادق، فإنه لا يكافئ فقط "الإجابة الأكثر شيوعاً"، بل يكافئ الإجابات "الجيدة"، حتى لو كانت فريدة. هذا يمنع الذكاء الاصطناعي من الانهيار في حلقة مكررة ومملة.

النتائج: ماذا حدث؟

اختبر الباحثون هذا على أصعب المسائل الرياضية المتاحة (مثل AIME 2024 و2025).

الطريقة القديمة: كان الذكاء الاصطناعي يتحسن قليلاً، ثم يصطدم بحائط ويتوقف عن التحسن. كما كان يبدأ في تقديم نفس الإجابة مراراً وتكراراً.
طريقة TEMPO: استمر الذكاء الاصطناعي في أن يصبح أكثر ذكاءً وذكاءً كلما مارس التدريب لفترة أطول.
- أحد النماذج (OLMO3-7B) قفز من 33% دقة إلى 51%.
- نموذج آخر (Qwen3-14B) قفز من 42% إلى 65%.

والأمر الأكثر إثارة للإعجاب هو أنه بينما بدأت الطرق الأخرى في تقديم نفس الإجابة 16 مرة متتالية (انهيار التنوع)، استمر TEMPO في توليد 16 حلاً مختلفاً وعالي الجودة.

الصورة الكبيرة

فكر في TEMPO كفرق بين التدرب وحيداً في غرفة مظلمة (حيث قد تعزز عاداتك السيئة) مقابل التدرب مع مدرب يراجع كتاب القواعد بين الحين والآخر ليتأكد من أنك لا تتعلم حركات خاطئة.

من خلال التناوب بين "القيام بالعمل" و"التحقق من القواعد"، يسمح TEMPO للذكاء الاصطناعي بالاستمرار في التعلم والتحسن حتى بعد انتهاء تدريبه الرسمي، محولاً "وقت الاختبار" إلى عصر جديد من التعلم.

إليك ملخص تقني مفصل لورقة البحث: "TEMPO: Scaling Test-time Training for Large Reasoning Models."

1. بيان المشكلة

تتفوق نماذج الاستدلال الكبيرة (LRMs) في المهام المعقدة (مثل رياضيات الأولمبياد، والألغاز المنطقية) من خلال تخصيص حوسبة مكثفة وقت الاستنتاج. ومع ذلك، تظل بارامترات هذه النماذج ثابتة بعد التدريب، مما يمنعها من التعلم من حالات الاختبار غير المصنفة.

يهدف التدريب في وقت الاختبار (Test-time training - TTT) إلى تحديث بارامترات النموذج على بيانات اختبار غير مصنفة لتوسيع القدرات بما يتجاوز توزيع التدريب الأصلي. تعتمد طرق TTT الحالية (مثل TTRL، وEMPO، وTheta-Evolve) على إشارات مكافأة ذاتية التوليد (الاعتلاج/الإنتروبيا، التصويت بالأغلبية، والاتساق الذاتي) لصقل السياسات دون وجود تسميات (labels) حقيقية. تعاني هذه الطرق من نمطين حرجين من الفشل:

ثبات الأداء (Performance Plateaus): مع تطور النموذج، تصبح إشارات المكافأة الذاتية معززة لذاتها وتبالغ في تقدير جودة أنماط استدلال ضيقة، مما يؤدي إلى تشبع الأداء بسرعة.
انهيار التنوع (Diversity Collapse): في السعي وراء تحقيق درجات متوسطة أعلى، تتقارب النماذج نحو نمط استدلال مهيمن واحد، مما يقمع الحلول البديلة الصحيحة ويؤدي إلى تدهور مقاييس $pass@k$.

السبب الجذري هو غياب المعايرة الخارجية؛ حيث تنحرف إشارة المكافأة مع تغير السياسة، مما يخلق حلقة تحسين متدهورة.

2. المنهجية: TEMPO

يقترح المؤلفون إطار عمل TEMPO (Test-time Expectation-Maximization Policy Optimization)، وهو إطار يعمل على فصل توليد المكافأة عن تحسين السياسة باستخدام تصميم الممثل-الناقد (Actor-Critic) المتبادل الذي يتم صياغته من خلال خوارزمية توقع التعظيم (Expectation-Maximization - EM).

الأساس النظري

الهدف هو تعظيم الاحتمال اللوغاريتمي المتوقع لتوليد استجابة صحيحة، $J(\theta) = \mathbb{E}_x[\log P(\text{Correct}|x; \theta)]$ . وبما أن الصحة غير مرصودة في البيانات غير المصنفة ( $D_u$ )، فقد اشتق المؤلفون الحد الأدنى للبرهان (Evidence Lower Bound - ELBO):
$J(\theta) \geq \mathcal{L}(q, \theta) = \sum_{x \in D_u} \sum_{y} q(y|x) \log \frac{P(\text{Correct}|y, x)\pi_\theta(y|x)}{q(y|x)}$
حيث $q(y|x)$ هو توزيع مساعد يقرب التوزيع اللاحق للاستجابات الصحيحة.

الإجراء المتبادل

تتبادل TEMPO بين خطوتين لتقليص فجوة الـ ELBO:

خطوة التوقع (E-Step: إعادة معايرة الناقد):
- الهدف: تقدير التوزيع اللاحق $q(y|x)$ (أي احتمال أن تكون الاستجابة صحيحة).
- الآلية: يتم تدريب نموذج ناقد ( $V_\phi$ ) بشكل دوري على مجموعة بيانات صغيرة مصنفة ( $D_L$ ) للتنبؤ بصحة مستوى الرموز (token-level).
- الوظيفة: يوفر الناقد إشارة مكافأة أرضية وخارجية. يقوم بتقريب التوزيع اللاحق عن طريق إعادة وزن مخرجات النموذج الحالية: $q(y|x) \propto V_\phi(x, y_T) \pi_{\theta_0}(y|x)$ .
- الأهمية: تمنع هذه الخطوة انحراف المكافأة عبر ربط الإشارة بالحقيقة الأرضية (ground truth).
خطوة التعظيم (M-Step: صقل السياسة):
- الهدف: تحديث سياسة الممثل ( $\pi_\theta$ ) لتعظيم الحد الأدنى بناءً على $q(y|x)$ الثابت.
- الآلية: يقوم الممثل بتوليد مسارات على أسئلة الاختبار غير المصنفة ( $D_u$ ). يتم تحديث السياسة باستخدام تدرج السياسة (Policy Gradient) (بأسلوب PPO) حيث يتم حساب الميزة (advantage) بناءً على تنبؤات قيمة الناقد.
- حساب الميزة: $A_t = R - V_\phi(x, y_{1:t})$ ، حيث $R = V_\phi(x, y_T)$ هي المكافأة النهائية. هذا يشجع الرموز التي تؤدي إلى نتائج ذات قيمة عالية.

تدفق الخوارزمية

تهيئة الممثل والناقد عبر RLVR قياسي على بيانات مصنفة.
الحلقة:
- خطوة E: أخذ عينات من $D_L$ ، وتحديث بارامترات الناقد $\phi$ .
- خطوة M: أخذ عينات من $D_u$ ، وتوليد استجابات، وحساب المزايا باستخدام الناقد المحدث، وتحديث بارامترات الممثل $\theta$ .

3. المساهمات الرئيسية

إطار عمل TEMPO: إطار عمل TTT قابل للتوسع يحقق مكاسب مستدامة في الأداء من خلال التداخل بين صقل السياسة والمعايرة الدورية للناقد، مما يتجنب انهيار التنوع وثبات الأداء الذي تعاني منه طرق المكافأة الذاتية السابقة.
منظور EM الموحد: توفر الورقة توحيداً نظرياً لطرق TTT، حيث تصنف النهج الحالية (TTRL، EMPO) كنسخ متدهورة من خوارزمية EM تفتقر إلى خطوة E الحاسمة (إعادة معايرة التوزيع اللاحق). وقد حددت هذه الخطوة المفقودة كسبب جذري لفشل القابلية للتوسع.
التحقق التجريبي: أظهرت التجارب المكثفة عبر عائلات النماذج (OLMO3، Qwen3) والمقاييس (من 7B إلى 14B) أن TEMPO تتفوق بشكل كبير على النماذج المرجعية في كل من الدقة وتنوع المخرجات عبر مجالات الرياضيات والمنطق والعلوم (STEM).

4. النتائج التجريبية

قيم المؤلفون TEMPO على AIME 2024/2025/2026، وOlymMath، وBigBenchHard، وAGI Eval، وZebraLogic.

القابلية للتوسع (استدلال الرياضيات):
- OLMO3-7B: حسنت دقة AIME 2024 من 33.0% إلى 51.1% (+18.1 نقطة).
- Qwen3-14B: حسنت دقة AIME 2024 من 42.3% إلى 65.8% (+23.5 نقطة).
- على عكس النماذج المرجعية (TTRL، EMPO) التي وصلت إلى حالة الثبات بعد مكاسب أولية، أظهرت TEMPO مساراً تصاعدياً مستمراً عبر أكثر من 350 خطوة تدريب.
الحفاظ على التنوع:
- عانت النماذج المرجعية من انهيار التنوع (على سبيل المثال، انخفضت $pass@8 $لـ TTRL بشكل كبير بينما ارتفع$ avg@16$).
- حافظت TEMPO على درجات $pass@k$ عالية (على سبيل المثال، حققت Qwen3-14B نسبة 73.3% في $pass@8$ على AIME 2024 مقابل 56.7% لـ TTRL)، مما يثبت قدرتها على الحفاظ على مسارات استدلال متعددة وصحيحة.
التعميم:
- عممت TEMPO قدراتها على المجالات غير الرياضية. في BBH وAGI Eval، حققت OLMO3-7B مكاسب قدرها +21.4 و**+24.5** نقطة على التوالي، متفوقة على النماذج الرائدة المتخصصة.
دراسات الاستئصال (Ablation Studies):
- الناقد المجمد (Frozen Critic): أدى إزالة خطوة E (إبقاء الناقد ثابتاً) إلى ثبات الأداء بعد حوالي 100 خطوة، مما يؤكد ضرورة المعايرة الدورية.
- الاستمرار الخاضع للإشراف (Supervised Continuation): أدى الاستمرار في التدريب على البيانات المصنفة وحدها إلى مكاسب ضئيلة، مما يثبت أن مشاكل الاختبار الجديدة مطلوبة لمزيد من التحسن.

5. الأهمية

الرؤية النظرية: تعيد الورقة صياغة التدريب في وقت الاختبار ليس فقط كحيلة هندسية تجريبية، بل كخوارزمية EM غير مكتملة. وتثبت أن المعايرة الخارجية (خطوة E) ضرورية رياضياً لمنع تباعد الحد الأدنى للبرهان.
الأثر العملي: تثبت TEMPO أنه يمكن تحويل الحوسبة الإضافية في وقت الاختبار بفعالية إلى مكاسب مستدامة في القدرات، مما يكسر "السقف" الذي يفرضه التدريب خارج الإنترنت (offline training) وحلقات المكافأة الذاتية.
المتانة: من خلال الحفاظ على ناقد أرضي، تحل TEMPO مشكلة "فخ التعزيز الذاتي"، مما يمكن النماذج من استكشاف مسارات استدلال متنوعة وعالية الجودة بدلاً من الانهيار في نمط واحد.

الخلاصة: تمثل TEMPO خطوة كبيرة للأمام في جعل نماذج الاستدلال الكبيرة تكيفية حقاً، حيث تقدم نهجاً مبدئياً وقابلاً للتوسع ويحافظ على التنوع للتعلم في وقت الاختبار.