🤖 machine learning

Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees

تقترح الورقة البحثية طريقة "تعداد الأوراق المتميزة" (DLE)، وهي طريقة فك تشفير حتمية تقوم بتعداد مسارات الاستدلال الفريدة بشكل منهجي في شجرة مقلمة للقضاء على تكرار أخذ العينات وتوليد الرموز، مما يحقق كفاءة استدلال أعلى وأداءً أفضل في مهام الرياضيات والبرمجة والاستدلال مقارنة بطريقة الاتساق الذاتي التقليدية.

المؤلفون الأصليون: Xueyan Li, Johannes Zenn, Ekaterina Fadeeva, Guinan Su, Mrinmaya Sachan, Jonas Geiping

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xueyan Li, Johannes Zenn, Ekaterina Fadeeva, Guinan Su, Mrinmaya Sachan, Jonas Geiping

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب، ولديك صديق ذكي جداً ولكنه مكرر قليلاً (الذكاء الاصطناعي) ليساعدك.

المشكلة: الصديق "المكرر كالأسطوانة المشروخة"

حالياً، عندما نطلب من نماذج الذكاء الاصطناعي حل مشكلات صعبة (مثل الرياضيات أو البرمجة)، فإننا نستخدم استراتيجية تسمى "الاتساق الذاتي" (Self-Consistency). نحن نطلب من الذكاء الاصطناعي نفس السؤال 32 مرة، آملين أنه إذا حصلنا على 32 إجابة مختلفة، فإن الإجابة الأكثر شيوعاً ستكون هي الصحيحة.

لكن هنا تكمن المشكلة: الذكاء الاصطناعي كسول ومكرر.
إذا سألت صديقك نفس اللغز 32 مرة، فقد يبدأ أول 20 إجابة بنفس الجملة تماماً. بل قد ينهي أول 15 إجابة بنفس الخاتمة تماماً.

الهدر: أنت تدفع مقابل جعل الذكاء الاصطناعي يفكر في نفس الأفكبات مراراً وتكراراً. الأمر يشبه توظيف 32 شخصاً لكتابة تقرير، لكنهم جميعاً يبدأون بكتابة المقدمة نفسها، مما يهدر نصف الميزانية قبل الوصول إلى الجزء المفيد فعلياً.
الفرصة الضائعة: لأن الذكاء الاصطناعي يستمر في العودة إلى نفس الإجابات "الآمنة"، فإنه لا يستكشف أبداً المسارات الغريبة أو المبدعة أو المحفوفة بالمخاطر قليلاً والتي قد تكون هي الحل الصحيح.

الحل: تعداد الأوراق المتميزة (Distinct Leaf Enumeration - DLE)

فكر في عملية تفكير الذكاء الاصطناعي كشجرة ضخمة تنمو من الأرض إلى الأعلى.

الجذع: هو السؤال الذي طرحته.
الأغصان: هي الكلمات أو الأرقام المختلفة التي يمكن للذكاء الاصطناعي قولها تالياً.
الأوراق: هي الإجابات النهائية.

كيف تعمل الطريقة القديمة (الاتساق الذاتي):
الأمر يشبه إرسال 32 متنزهاً (Hiking) إلى غابة للبحث عن كنز مخفي. لكن المتنزهين معصوبو الأعين ويختارون مساراً عشوائياً. ولأن الغابة تحتوي على بعض المسارات الواضحة والواسعة جداً، سينتهي الأمر بجميع المتنزهين الـ 32 وهم يسيرون في نفس المسارات الثلاثة. سيجدون أنفسهم جميعاً عالقين في نفس النهايات المسدودة، ولن يجدوا أبداً المسار السري المختبئ وسط الشجيرات الكثيفة.

كيف تعمل الطريقة الجديدة (DLE):
DLE تشبه مستكشف الخرائط الذكي.

لا تكرار: ينظر إلى الخريطة ويقول: "حسناً، لقد مشينا بالفعل في المسار (أ). دعونا لا نذهب إلى هناك مرة أخرى".
استكشاف منهجي: بدلاً من التخمين، يختار بشكل متعمد المسار "التالي الأفضل" الذي لم يتم استكشافه بعد. إنه يجبر الذكاء الاصطناعي على التفرع إلى مناطق جديدة.
مشاركة الرحلة: إذا تشاركت مسارات مختلفة في أول 10 خطوات (الجذع والأغصان السفلية)، فإن DLE يمشي هذه الخطوات مرة واحدة فقط. ثم يتفرع لاستكشاف الأغصان المختلفة. هذا يوفر كمية هائلة من الطاقة (القدرة الحوسبية).

تشبيه بسيط: قائمة طعام المطعم

تخيل أنك في مطعم لديه قائمة طعام ضخمة (مفردات الذكاء الاصطناعي).

الطريقة القديمة: تطلب من النادل إحضار 32 طبقاً مختلفاً. النادل، الذي يبدو مرتبكاً قليلاً، يحضر لك 32 طبقاً من "سباغيتي بولونيز" لأنها الصنف الأكثر شعبية. أنت تدفع مقابل 32 طبقاً، لكنك تحصل على نوع واحد فقط من الطعام.
طريقة DLE: تقول للنادل، "أحضر لي 32 طبقاً مختلفاً، ولكن ابدأ بنفس المقبلات لجميع الأطباق".
- يحضر النادل المقبلات مرة واحدة (مما يوفر المال/الوقت).
- ثم يختار بعناية 32 طبقاً رئيسياً فريداً، لضمان عدم تشابه أي اثنين منها.
- تحصل على تنوع أوسع بكثير من الطعام مقابل نفس السعر، مما يزيد من فرصك في العثوة الطبق المثالي.

لماذا يهم هذا الأمر؟

إجابات أذكى: من خلال إجبار الذكاء الاصطناعي على النظر في المسارات التي يتجاهلها عادةً، يجد DLE حلولاً أفضل لمشكلات الرياضيات والبرمجة. الأمر يشبه العثور على "المستوى المخفي" في لعبة فيديو يفتقده اللاعب العادي.
أسرع وأرخص: لأن الذكاء الاصطناعي لا يضطر لإعادة كتابة نفس الجمل الافتتاحية 32 مرة، فإنه ينهي المهمة بشكل أسرع. إنه يشبه طاقم بناء يستخدم نفس السقالات لأجزاء مختلفة من المبنى بدلاً من بناء سقالة جديدة لكل غرفة.
الكفاءة: في عالم الذكاء الاصطناعي، "الحوسبة" (قوة المعالجة) تكلف مالاً. يمنحك DLE المزيد من "التفكير" مقابل ما تدفعه عبر منع الذكاء الاصطناعي من إضاعة الوقت في التكرارات.

الخلاصة

تجادل الورقة البحثية بأنه بدلاً من مجرد طلب "التفكير بجهد أكبر" من الذكاء الاصطناعي عبر تكرار نفسه، يجب أن نطلب منه التفكير بشكل مختلف. من خلال الاستكشاف المنهجي لمسارات جديدة وتجنب "غرفة الصدى" للإجابات المتكررة، نحصل على نتائج أفضل، بشكل أسرع، وبتكلفة أقل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الاستدلال الفعال وقت الاختبار عبر الاستكشاف الحتمي لأشجار فك التشفير المبتورة" (Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees).

1. بيان المشكلة

غالبًا ما تستخدم النماذج اللغوية الكبيرة (LLMs) تقنية "الاتساق الذاتي" (Self-Consistency)، وهي تقنية يتم فيها أخذ عينات من مسارات استدلال متعددة بالتوازي وتجميعها (على سبيل المثال، عبر التصويت بالأغلبية) لتحسين الدقة. ومع ذلك، تعاني هذه الطريقة من عدم كفاءة حوسبية كبيرة، لا سيما في المجالات المقيدة مثل الرياضيات والبرمجة:

تكرار أخذ العينات: يؤدي أخذ العينات العشوائي القياسي (مع الإحلال) بشكل متكرر إلى إعادة زيارة نفس البادئات (prefixes) عالية الاحتمالية وتوليد إكمالات مكررة.
البحث غير الفعال: في المجالات المقيدة، تكون الحلول الصالحة ضيقة. يستهلك أخذ العينات العشوائي ميزانية الحوسبة في مسارات مكررة بدلاً من استكشاف فروع متنوعة وعالية الجودة.
الأعباء النظامية: يجبر توليد تسلسلات مستقلة محرك الاستدلال على إعادة حساب البادئات المشتركة، مما يفشل في الاستفيد من آليات إعادة استخدام ذاكرة الـ KV-cache المتوفرة في منصات الخدمة الحديثة (مثل vLLM وSGLang).

2. المنهجية: تعداد الأوراق المتميزة (DLE)

يقترح المؤلفون استراتيجية "تعداد الأوراق المتميزة" (Distinct Leaf Enumeration - DLE)، وهي استراتيجية فك تشفير حتمية تعامل أخذ العينات المبتور كعملية عبور لشجرة فك تشفير مهذبة. بدلاً من أخذ العينات مع الإحلال، يقوم DLE بتعداد الأوراق المتميزة بشكل منهجي لتعظيم تغطية مساحة البحث تحت ميزانية حوسبية ثابتة.

الآلية الأساسية

بناء الشجرة المبتورة: يعمل DLE على "شجرة مهذبة" محددة بقواعد التبتير القياسية (مثل Top-k، Top-p، Min-p، و $\epsilon$ -sampling). في كل خطوة، تشكل الرموز (tokens) التي تستوفي معيار التبتير فقط "المجموعة النشطة".
التوسع الحتمي:
- التهيئة الجشعة (Greedy Initialization): يبدأ DLE بتوليد جشع (أعلى رمز احتمالية) حتى الوصول إلى رمز نهاية التسلسل (EOS).
- التفرع (Branching): يحدد نقاط التفرع حيث يكون حجم المجموعة النشطة $|A| > 1$ .
- استراتيجية الاختيار (PROFBIRST): يختار DLE الفرع التالي لاستكشافه بناءً على أعلى كتلة احتمالية للمسار ( $Q(x)$ ) التي شوهدت حتى الآن. يقوم بتوسيع الفرع الأكثر واعدة بشكل حتمي.
- الإكمال الجشع: بمجرد اختيار نقطة تفرع، يتم توليد بقية التسلسل بشكل جشع حتى الوصول إلى EOS.
التوقف المبكر: لمنع توليد استكمالات متطابقة دلاليًا والتي تختلف فقط بشكل طفيف قبل الاندماج، يستخدم DLE استدلالًا للتوقف المبكر. إذا طابق الفرع الجديد $n$ من الرموز المتتالية من لاحق (suffix) لفرع شقيق تم توليده سابقًا، يتم إنهاء هذا الفرع وإعادة تخصيص الميزانية.
إعادة استخدام البادئة (Prefix Reuse): نظرًا لأن DLE يستكشف بنية شجرية، يتم حساب البادئات المشتركة مرة واحدة فقط. يتيح ذلك لمحركات الاستدلال إعادة استخدام ذاكرة KV-cache للفروع المشتركة، مما يقلل بشكل كبير من عرض نطاق الذاكرة وزمن الانتقال (latency).

التمايز عن الأعمال السابقة

مقابل البحث الشعاعي (Beam Search): لا يحافظ DLE على حزم جزئية متنوعة عند كل خطوة (مما يسبب التدهور) ولكنه يركز على تعداد أوراق متميزة (تسلسلات كاملة).
مقابل أخذ العينات بدون إحلال (Sampling-without-Replacement): لا يهدف DLE إلى الحفاظ على توزيع مستهدف محدد بل يهدف إلى تعظيم التغطية لمناطق الاحتمالية العالية.
مقابل "شجرة الأفكار" (Tree-of-Thought - ToT): لا يتطلب DLE أي استدعاءات إضافية للنموذج من أجل التداول أو التقييم؛ بل يعتمد فقط على احتمالات الرمز التالي.

3. المساهمات الرئيسية

الابتكار الخوارزمي: تقديم DLE، وهو طريقة فك تشفير خالية من التكرار وحتمية متوافقة مع مختلف أساليب أخذ العينات (Top-p، Min-p، $\epsilon$ -sampling).
الرؤية النظرية: إثبات أن التغطية (الكتلة الاحتمالية التي تغطيها مجموعة التسلسلات المولدة) ترتبط ارتباطًا إيجابيًا بالأداء اللاحق. يحقق DLE تغطية أعلى من الاتساق الذاتي العشوائي لنفس ميزانية الرموز من خلال تجنب المسارات المكررة.
الكفاءة النظامية: إثبات أن استكشاف Dere الهيكلي الشجري يتيح إعادة استخدام هائل لـ KV-cache. وهذا يقلل من عدد الرموز الجديدة المولدة ويخفض زمن انتقال الاستدلال، خاصة في البيئات المقيدة بالذاكرة.
التحقق التجريبي: تجارب واسعة النطاق تظهر تفوق DLE على الخطوط المرجعية المتطورة في مهام الرياضيات والبرمجة والاستدلال العام.

4. النتائج التجريبية

قيم المؤلفون DLE على GSM8K (الرياضيات)، وHumanEval (البرمجة)، وMMLU-Pro (الاستدلال العام) باستخدام عائلات نماذج Qwen وLlama.

مكاسب الأداء:
- الرياضيات (GSM8K): حسن DLE الدقة بنسبة 3–9% مقارنة بالاتساق الذاتي القياسي (على سبيل المثال، 44.43% مقابل 38.74% لنموذج Qwen2.5-0.5B مع Top-p).
- البرمجة (HumanEval): أظهر DLE تحسينات بنسبة 4–7% (على سبيل المثال، 51.22% مقابل 45.73% لـ Top-p).
- الاستدلال العام: مكاسب متسقة في MMLU-Pro.
كفاءة الرموز (Tokens):
- لتحقيق دقة مماثلة، تطلب DLE عددًا أقل بكثير من الرموز الجديدة مقارنة بأخذ العينات العشوائي. على سبيل المثال، في $\epsilon$ -sampling، احتاج DLE إلى أقل من 20 رمزًا جديدًا لكل تسلسل لمضاهاة أداء أخذ العينات العشوائي الذي ولد أكثر من 150 رمزًا.
- التغطية: غطى DLE باستمرار كتلة احتمالية أكبر من الخطوط المرجعية العشوائية عند ميزانيات تسلسل متساوية ( $k$ ).
سرعة الاستدلال:
- باستخدام SGLang (المحسن لتوليد الهياكل الشجرية)، حقق DLE زمن تشغيل أقل بكثير، خاصة عند أحجام الدفعات الصغيرة وقيم $\epsilon$ العالية حيث يتم تعظيم إعادة استخدام البادئة.
- كانت معدلات إصابة الذاكرة المخبئية (cache hit rates) لـ DLE أعلى بكثير من الخطوط المرجعية، مقتربة من الحدود القصوى النظرية.

5. الأهمية والخاتمة

تتحدى هذه الورقة المفهوم السائد بأن "زيادة أخذ العينات" هي الطريقة الوحيدة لرفع أداء النماذج اللغوية الكبيرة. وتجادل بأن التخصيص الفعال للحوسبة هو الأكثر أهمية من الحجم الخام.

تحول في النموذج الفكري: ينقل توسيع نطاق وقت الاختبار من أخذ العينات العشوائي (الذي يهدر الموارد في التكرارات) إلى الاستكشاف الشجري الحتمي.
الأثر العملي: يقدم DLE بديلاً "جاهز للاستبدال" (drop-in replacement) للاتساق الذاتي، مما يحسن كلاً من الدقة (عبر إيجاد مسارات استدلال أفضل) وزمن الانتقال/التكلفة (عبر إعادة استخدام البادئات).
الاتجاهات المستقبلية: يشير المؤلفون إلى أن منظور الشجرة يمكن أن يربط بين فك التشفير والتدريب، مما يسم يسمح بتخصيص ائتمان (credit assignment) أكثر دقة عند نقاط التفرع، ويقترحون نماذج هجينة تكيفية تجمع بين الاستكشاف الحتمي وأخذ العينات العشوائي للذيول ذات الاحتمالية المنخفضة.

باختصار، يوفر تعداد الأوراق المتميزة (DLE) بديلًا مبدأً وفعالًا وعالي الأداء للاتساق الذاتي القياسي، مما يجعله ذا قيمة خاصة لمهام الاستدلال المقيدة حيث تكون الموارد الحوسبية محدودة ومساحات الحل ضيقة.