💬 NLP

Parallel Test-Time Scaling for Latent Reasoning Models

تُمكِّن هذه الورقة البحثية التوسع المتوازي في وقت الاختبار لنماذج الاستدلال الكامن من خلال تقديم استراتيجيات أخذ عينات عشوائية مستوحاة من عدم اليقين (إسقاط مونت كارلو والضجيج الغاوسي المضاف) ونموذج مكافأة كامن تبايني متدرو الخطوات لتسهيل التجميع الفعال للمسارات في الفضاءات المتجهة المستمرة.

المؤلفون الأصليون: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

نُشر 2026-04-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك عبقرياً بارعاً ولكنه هادئ جداً (نموذج الذكاء الاصطناعي) يحل المسائل الرياضية. عادةً، يقوم هذا العبقري بالتفكير بصوت عالٍ، حيث ينطق كل خطوة من خطواته باللغة الإنجليزية قبل إعطاء الإجابة. يُسمى هذا "سلسلة الأفكار" (Chain-of-Thought). يعمل هذا الأسلوب بشكل جيد، ولكنه بطيء ويستهلك الكثير من "المساحة" (القدرة الحوسبية) لأن على العبقري كتابة كل كلمة.

مؤخراً، اكتشف الباحثون طريقة تجعل هذا العبقري يفكر بصمت. فبدلاً من نطق الكلمات، يفكر العبقري بلغة "ذهنية" سرية (تدفق من الأرقام غير المرئية). هذا هو "التفكير الضمني" (Latent Reasoning). إنه أسرع وأكثر إيجازاً، تماماً مثل "الحدس" أو الشعور الداكن الذي يراود الإنسان.

ومع ذلك، كانت هناك مشكلة كبيرة: كيف نجعل هذا العبقري الصامت أكثر ذكاءً عبر إعطائه مزيداً من الوقت للتفكير؟

في طريقة "التحدث" القديمة، إذا أردت جعل الذكاء الاصطناعي يفكر بعمق أكبر، يمكنك أن تطلب منه توليد 10 حلول منطوقة مختلفة واختيار الأفضل بينها (مثل طلب حل لغز من 10 أشخاص ثم أخذ رأي الأغلبية). لكن العبقري الصامت لا يتحدث؛ هو فقط ينتج تدفقاً واحداً من الأرقام. لا يمكنك بسهولة أن تطلب منه "المحاولة مرة أخرى" أو "إعطائي 10 نسخ" لأنه لا يملك وسيلة طبيعية لتوليد مسارات مختلفة.

هذه الورقة البحثية، المقبولة في ACL 2026، تحل هذه المشكلة. فهي تعلمنا كيف نجعل العبقري الصامت يفكر بالتوازي (مسارات متعددة في وقت واحد) ويختار الفائز. وإليكم كيف فعلوا ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: العبقري الصامت متوقع للغاية

إذا طلبت من العبقري الصامت أن يفكر، فإنه يسلك دائماً المسار ذاته بالضبط. الأمر يشبه قطاراً يسير على سكة واحدة. وإذا أدت تلك السكة إلى طريق مسدود، سيفشل العبقري. لكي يتحسن، نحتاج إلى جعل القطار يقفز أحياناً إلى مسارات مختلفة لاستكشاف احتمالات جديدة. ولكن بما أن العبقري يعمل بـ "لغة سرية" من الأرقام، فلا يمكننا ببساطة أن نطلب منه "اختيار كلمة عشوائية".

2. الحل: طريقتان لإضافة "الفوضى المنضبطة"

ابتكر المؤلفون طريقتين لزعزعة عملية تفكير العبقري حتى يستكشف مسارات مختلفة، مستلهمين ذلك من كيفية تعامل البشر مع عدم اليقين.

الطريقة (أ): العبقري "النسّاء" (Monte Carlo Dropout)
تخيل أن العبقري يحاول حل لغز، ولكن في كل مرة يفكر فيها، نطلب منه أن يغمض عينيه لجزء من الثانية وينسى جزءاً ضئيلاً مما يعرفه.
- التشبيه: الأمر يشبه طلب حل مسألة رياضية من طالب، ولكن في كل مرة يكتب فيها خطوة، نقوم بمسح جزء صغير من ذاكرته عشوائياً. سيتعين عليه ملء الفراغ باستخدام حدسه.
- النتيجة: نظرًا لأنه "نسي" أشياء مختلفة في كل مرة، فإنه سيصل إلى حلول مختلفة قليلاً. هذا يساعده على استكشاف مسارات غير تقليدية قد يغفل عنها العبقري المثالي كامل الذاكرة. وهذا رائع للمسائل الصعبة.
الطريقة (ب): العبقري "المترنح" (Additive Gaussian Noise)
تخيل أن العبقري يمشي على حبل مشدود. نحن ندفع الحبل برفق يميناً ويساراً بواسطة نسيم عشوائي.
- التشبيه: نحن نضيف القليل من "الضجيج" أو "الاهتزاز" العشوائي إلى أفكار العبقري. الأمر يشبه كون العبقري مترنحاً قليلاً أو أن الأرض تهتز من تحته.
- النتيجة: لا يغير العبقري استراتيجيته الأساسية، لكنه يتأرجح حول المركز. هذا يخلق سحابة واسعة ومتنوعة من الحلول حول الإجابة الأكثر احتمالاً. وهذا ررائع للحفاظ على الدقة حتى عندما تصبح الأمور فوضوية.

3. الحَكَم: "المسجل الصامت" (Latent Reward Model)

الآن بعد أن أصبح لدينا 10 أو 20 أو 64 فكرة صامتة مختلفة من العبقري، كيف نعرف أيها الصحيح؟

في طريقة "التحدث" القديمة، كان بإمكاننا قراءة الإجابات والتصويت عليها.
أما في الطريقة الصامتة، فالأفكار ليست سوى أرقام غير مرئية. لا يمكننا قراءتها.

قام المؤلفون ببناء حَكَم خاص (نموذج مكافأة ضمني - Latent Reward Model).

التشبيه: تخيل حكماً لا يستطيع سماع اللاعبين وهم يتحدثون، ولكنه يستطيع الشعف بـ "طاقة" المباراة. ينظر هذا الحكم إلى الأفكار الصامتة ويعطي كل منها درجة بناءً على مدى كونها واعدة.
كيف تعلم: تم تدريب الحكم من خلال مراقبة آلاف الأمثلة. لقد تعلم أنه إذا أدت فكرة ما إلى إجابة نهائية صحيحة، فإن تلك الفكرة تحصل على درجة عالية. وإذا أدت إلى طريق مسدود، فإنها تحصل على درجة منخفضة.
السحر: يستخدم الحكم طريقة "تباينية" (contrastive). هو لا يكتفي بالقول "جيد" أو "سيء"، بل ينظر إلى جميع الأفكار الـ 64 معاً ويقول: "الفكرة رقم 4 تبدو أفضل بكثير من الفكرة رقم 12". وهذا يساعد في اختيار المسار الأفضل على الإطلاق.

4. النتائج: التوسع في القدرات دون كلام

اختبرت الورقة البحثية هذا الأسلوب على المسائل الرياضية (مثل مجموعة بيانات GSM8K).

قبل: كان العبقري الصامت يحل حوالي 34% من المسائل.
بعد: من خلال استخدام طريقتي "النسيان" و"الترنح" لتوليد مسارات عديدة، واستخدام "الحَكَم" لاختيار الأفضل، ارتفعت نسبة النجاح بشكل كبير (لتصل إلى أكثر من 46%+).
الفوز الكبير: لقد أثبتوا أنه يمكنك جعل الذكاء الاصطناعي الصامت والفعال أكثر ذكاءً بمجرد إعطائه المزيد من "وقت التفكير" (القدرة الحوسبية) لاستكشاف مسارات مختلفة، دون الحاجة إلى جعل الذكاء الاصطناعي أكبر حجماً أو أبطأ.

الملخص

فكر في هذه الورقة البحثية كدرس يعلم العبقري الصامت والحدسي كيف يفكر بالتوازي.

أحدث تغييرات: استخدم "النسيان" أو "الترنح" لتوليد العديد من الأفكار الصامتة المختلفة.
اختر الفائز: استخدم حكماً من الذكاء الاصطناعي لتقييم تلك الأفكار الصامتة واختيار الأفضل بينها.

هذا يسمح لنا بالحصول على سرعة التفكير الصامت مع قوة "المحاولة لمرات عديدة"، مما يجعل الذكاء الاصطناعي أكثر ذكاءً وكفاءة دون الحاجة إلى نطق كلمة واحدة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التوسع المتوازي عند وقت الاختبار لنماذج الاستدلال الكامن" (Parallel Test-Time Scaling for Latent Reasoning Models)، المقبولة في مؤتمر ACL 2026.

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) مكاسب أداء كبيرة من خلال التوسع عند وقت الاختبار (TTS)، لا سيما عبر التوسع المتوازي (مثل أخذ عينات من مسارات استدلال متعددة وتجميعها). ومع ذلك، فإن هذا النموذج يقتصر حاليًا على الاستدلال القائم على الرموز (Tokens) (سلسلة الأفكำر الصريحة - Chain-of-Thought)، حيث تولد النماذج رموزًا منفصلة ذات توزيعات احتمالية متأصلة تسمح بالعينات القياسية (مثل top-k أو nucleus).

تمثل نماذج الاستدلال الكامن (أو سلسلة الأفكار المستمرة - Continuous CoT) بديلًا واعدًا حيث يتم تمثيل خطوات الاستدلال الوسيطة كمتجهات مستمرة (حالات خفية) بدلاً من الرموز المنفصلة. ورغم أنها أكثر كفاءة وتراصًا، إلا أن هذه النماذج تواجه حاجزين حرجين أمام التوسع المتوازي عند وقت الاختبار:

الافتقار إلى آلية أخذ العينات: تفتقر الفضاءات الكامنة المستمرة إلى توزيع احتمالي صريح فوق المفردات، مما يجعل من المستحيل استخدام استراتيجيات أخذ العينات القياسية القائمة على الرموز لتوليد مسارات استدلال متنوعة.
الافتقار إلى إشارات التجميع: بدون احتمالات أو لوغاريتمات الاحتمالية على مستوى الرمز، لا يوجد مقياس متأصل لترتيب أو تجميع المسارات الكامنة المأخوذة (مثل Best-of-N أو Beam Search).

2. المنهجية

يقترح المؤلفون إطار عمل لتمكين التوسع المتوازي عند وقت الاختبار للاستدلال الكامن من خلال معالجة أخذ العينات والتجميع بشكل منفصل.

أ. أخذ العينات العشوائي في الفضاء الكامن

لتوليد مسارات كامنة متنوعة $\{h^{(n)}\}_{n=1}^N$ ، قدم المؤلفون استراتيجيتين عشوائيتين مستوحات من عدم اليقين لحقن ضوضاء محكومة في عملية التوليد:

إسقاط مونت كارلو (MC-Dropout):
- الآلية: الإبقاء على عملية الإسقاط (dropout) نشطة أثناء الاستدلال، وأخذ أقنعة ثنائية لإنشاء تكوينات أوزان مختلفة لكل تمريرة أمامية.
- الأساس النظري: يلتقط عدم اليقين المعرفي (Epistemic Uncertainty) (عدم اليقين الناتج عن محدودية معرفة النموذج).
- الأثر: ينتج استكشافًا مهيكلًا وموجهًا، وغالبًا ما ينحرف نحو حلول غير تقليدية.
الضوضاء الغاوسية المضافة (AGN):
- الآلية: إضافة ضوضاء غاوسية متناحية ( $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ ) مباشرة إلى المتجهات الكامنة عند كل خطوة استدلال.
- الأساس النظري: يحاكي عدم اليقين العشوائي (Aleatoric Uncertainty) (الضوضاء المتأصلة في المدخلات/البيانات).
- الأثر: يدفع نحو استكشاف واسع ومتناحٍ حول المركز الحتمي، مما يثري التنوع دون تغيير اتجاه المسار بشكل جذري كما يفعل الإسقاط.

ب. تجميع المسارات الكامنة

بما أن المتجهات الكامنة تفتقر إلى درجات طبيعية، اقترح المؤلفون نموذج المكافأة الكامن (Latent Reward Model - LatentRM):

البنية: رأس تقييم مخصص (رأس عصبي صغير) ملحق بهيكل الاستدلال الكامن، يقوم برسم خريطة للمدخلات (prompt) وبادئة المسار الكامن الحالي إلى درجة عددية $r_t$ .
هدف التدريب: يتم تدريبه باستخدام هدف تبايني خطوة بخطوة (step-wise contrastive objective). بدلاً من الملصقات الثنائية، يتعلم النموذج ترتيب $N$ من المرشحات في كل خطوة $t$ بالنسبة لبعضها البعض باستخدام دالة softmax على درجاتها.
استراتيجيات التجميع:
- Best-of-N: يختار المسار ذو أعلى مجموع تراكمي للمكافآت الكامنة ( $\sum r_t$ ).
- البحث الشعاعي (Beam Search): يوسع أفضل $B$ من المسارات الجزئية عند كل خطوة بناءً على المكافآت التراكمية.

3. المساهمات الرئيسية

أول توسع متوازي عند وقت الاختبار للاستدلال الكامن: نجح في تمديد نموذج التوسع المتوازي من الرموز إلى الفضاءات المستمرة، مما فتح قدرة كانت حصرية سابقًا لسلسلة الأفكار الصريحة.
استراتيجيات أخذ عينات مبتكرة: اقترح MC-Dropout و AGN كطرق مبدئية لإحداث العشوائية في الفضاءات المستمرة، استنادًا إلى نظرية تقدير عدم اليقين.
نموذج المكافأة الكامن (LatentRM): صمم نموذج مكافأة متخصصًا يتم تدريبه بإشراف تبايني خطوة بخطوة لتقييم وتوجيه الاستدلال الكامن، مما يحل مشكلة التجميع في غياب احتمالات الرموز.
تحليل شامل: يقدم رؤى عميقة حول ديناميكيات الاستكشاف لمختلف طرق أخذ العينات (على سبيل المثال، يتفوق MC-Dropout في المهام الصعبة؛ بينما يحافظ AGN على المتانة في المهام السهلة).

4. النتائج التجريبية

تم تقييم الإطار على اختبارات تشمل GSM8K، GSM8K-Hard، MultiArith، MATH500، GPQA، و AIME باستخدام نماذج خلفية متنوعة (GPT-2، Llama-3.2، Qwen3-VL).

فعالية التوسع: أظهر كل من MC-Dropout و AGN تحسنًا رتيبًا في تغطية الحلول مع زيادة عدد المسارات المأخوذة ( $N$ ).
ديناميكيات أخذ العينات:
- يحقق MC-Dropout باستمرار تغطية أعلى عبر معظم قيم $N$ ، خاصة في المشكلات الأكثر صعوبة، بسبب قدرته على استكشاف مسارات مهيكلة وموجهة.
- يوفر AGN تنوعًا فائقًا ويحافظ على الدقة حتى تحت الضوضاء العالية، مما يجعله قويًا للمهام السهلة حيث يكون الحل الصحيح قريبًا من المركز الحتمي.
أداء التجميع:
- يتفوق LatentRM بشكل كبير على النماذج غير البارامترية مثل التصويت بالأغلبية (Majority Voting).
- يؤدي تجميع Best-of-N الموجه بواسطة LatutRM إلى تحقيق مكاسب أكثر اتساقًا، حيث يحسن الدقة بنسبة تصل إلى 2-3% في المهام الرياضية المعقدة (مثل RoT-4B على MATH500).
التعميم: يتوسع النهج بفعالية مع النماذج الأكبر (حتى 4 مليار معلمة) والمعماريات المتنوعة.
الكفاءة: يحقق الاستدلال الكامن مع التوسع عند وقت الاختبار دقة تنافسية مع سلسلة الأفكار الصريحة ولكن بتكاليف حوسبة أقل بكثير (خطوات فك ترميز أقل) وزمن انتقال أقل في الوقت الفعلي.

5. الأهمية والعمل المستقبلي

يسد هذا العمل فجوة حرجة بين الاستدلال الكامن الفعال والاستدلال القابل للتوسع. من خلال تمكين التوسع المتوازي عند وقت الاختبار في الفضاءات المستمرة، يثبت أن النماذج الكامنة يمكنها الاستفاف من الحوسبة الإضافية لتحسين الاستدلال دون الحاجة لإعادة التدريب أو تحديث المعلمات.

الأهمية:

يؤكد أن "التفكير في المتجهات" يمكن أن يكون بنفس قابلية التوسع مثل "التفكير في الرموز".
يوفر مجموعة أدوات عملية (أخذ العينات + LatentRM) لنشر نماذج الاستدلال الكامن في السيناريوهات عالية المخاطر التي تتطلب الموثوقية.
يقدم رؤى هندسية حول كيفية إعادة تشكيل العشوائية لمشهد الاستدلال الكامن.

الاتجاهات المستقبلية:

دمج أخذ العينات والتجميع في إطار عمل التعلم التعزيزي (RL) للتحسين التكراري.
تكييف تقنيات التجميع (Ensemble) خصيصًا للتمثيلات الكامنة المستمرة.

في الختام، تضع هذه الورقة مسارًا جديدًا للاستدلال القابل للتوسع في الفضاء الكامن، مثبتة أنه من خلال تصميم آليات أخذ العينات والتجميع، يمكن لنماذج الاستدلال الكامن الاستفادة الكاملة من قوة الحوسبة عند وقت الاختبار.