💬 NLP

LogitsCoder: Towards Efficient Chain-of-Thought Path Search via Logits Preference Decoding for Code Generation

يُعد LogitsCoder إطار عمل مبتكر يعمل على تحسين كفاءة وجودة توليد الكود من خلال معالجة مشكلات "ضعف التفكير" و"الإفراط في التفكير" عبر آليات تحكم على مستوى الـ logits، وتحديداً من خلال فك التشفير بتفضيل الـ logits واستراتيجيات اختيار المسار، لتوليد سلاسل استدلال متوازنة ومتماسكة.

المؤلفون الأصليون: Jizheng Chen, Weiming Zhang, Xinyi Dai, Weiwen Liu, Kounianhua Du, Yasheng Wang, Ruiming Tang, Yong Yu, Weinan Zhang

نُشر 2026-02-17

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jizheng Chen, Weiming Zhang, Xinyi Dai, Weiwen Liu, Kounianhua Du, Yasheng Wang, Ruiming Tang, Yong Yu, Weinan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، مثل مشكلة برمجية معقدة. تطلب من مساعد ذكاء اصطناٍء فائق الذكاء المساعدة في حلها.

في الماضي، كانت هناك طريقتان رئيسيتان يحاول بهما الذكاء الاصطناعي حل هذه المشكلة، وكلاهما كان يعاني من عيوب كبيرة:

"العمل المتسرع" (ضعف التفكير): يقوم الذكاء الاصطناعي بتخمين الإجابة بسرعة. يقول: "إليك الكود!" ولكنه يغفل عن الأجزاء الصعبة، تماماً مثل طالب يخمن الإجابات في اختبار رياضيات دون إظهار خطوات الحل. غالباً ما تكون الإجابة خاطئة لأن الذكاء الاصطناعي لم يفكر بعمق كافٍ.
"المُفرط في التفكير" (التفكير الزائد): يحاول الذكاء الاصطناعي أن يكون مثالياً للغاية. فيكتب مقالاً من 50 صفحة حول المشكلة، مستكشفاً كل زاوية ممكنة، مكرراً نفسه، ويقع في الحيرة. في النهاية يصل إلى الإجابة الصحيحة، لكن الأمر يستغرق وقتاً طويلاً، ويكلف الكثير من المال (في قدرة المعالجة الحاسوبية)، وأحياناً يتوه في ثرثرته الخاصة ويرتكب أخطاءً سخيفة.

ظهور LogitsCoder: "المحرر الذكي"

يقدم البحث نظاماً جديداً يسمى LogitsCoder. فكر فيه كأنه مدير مشروع فائق الكفاءة لعقل الذكاء الاصطناعي. بدلاً من ترك الذكاء الاصطناعي يهيم على وجهه بلا هدف أو يتسرع، يستخدم LogitsCoder مجموعة خاصة من الأدوات لتوجيه عملية التفكير.

إليك كيف يعمل، باستخدام تشبيهات من الحياة اليومية:

1. "فلتر الغريزة" (فك التشفير بناءً على تفضيلات الـ Logits)

تخيل أنك تكتب قصة. أحياناً قد تكتب جملة تبدو جيدة ولكنها "غير متسقة".

الطريقة القديمة: يختار الذكاء الاصطناعي الكلمة التالية بناءً على ما هو شائع أكثر.
طريقة LogitsCoder: لديه "غريزة إحصائية". ينظر إلى آلاف الأمثلة من الحلول الممتازة ويقول: "مهلاً، في جميع الحلول الأفضل، الكلمة التالية عادة ما تكون هذه الكلمة المحددة، وليس تلك".
التشبيه: الأمر يشبه وجود محرر خبير يهمس في أذن الذكاء الاصطناعي: "لا تستخدم تلك العبارة المستهلكة؛ استخدم هذه الكلمة الأكثر حدة وتأثيراً". هذا يمنع الذكاء الاصطناعي من ارتكاب أخطاء سطحية منذ البداية.

2. "فحص الخريطة" (اختيار المسار بناءً على ترتيب الـ Logits)

تخيل أنك تتنزه في غابة وعليك اختيار مسار.

الطريقة القديمة (MCTS): يحاول الذكاء الاصطنا ملي مسارات مختلفة، ويتوه في كل منها، ثم يعود أدراجه ويحاول مجدداً. هذا يستهلك قدراً هائلاً من الطاقة (التكلفة الحسابية).
طريقة LogitsCoder: بدلاً من السير في المسار بأكمله، ينظر إلى "خريطة الثقة" في بداية الطريق تماماً. يتحقق من: "أي من هذه المسارات الخمسة يتمتع بثبات وثقة أكبر؟"
التشببية: الأمر يشبه التحقق من قوة إشارة الـ GPS. إذا كانت إشارة أحد المسارات ضعيفة (الذكاء الاصطناعي غير متأكد)، فإنه يتجاهله. وإذا كان مسار آخر يتمتع بإشارة قوية ومستقرة (الذكاء الاصطناعي واثق)، فإنه يختاره. إنه يجد الطريق الأفضل دون الحاجة إلى السير في المسار كاملاً أولاً.

3. "العصف الذهني الجماعي" (تجميع الأفكار)

أحياناً، يمتلك شخص واحد فكرة رائعة، بينما يمتلك شخص آخر فكرة رائعة مختلفة.

الطريقة القديمة: يختار الذكاء الاصطناعي مساراً واحداً ويتمسك به، حتى لو كان يفتقد لتفصيل جوهري.
طريقة LogitsCoder: يقوم بإنشاء عدة "تخمينات مثالية" مختلفة، ثم يطلب من ملخص ذكي دمجها معاً.
التشبيه: الأمر يشبه اجتماع فريق حيث يشارك الجميع أفضل أفكارهم، ثم يقول قائد الفريق: "حسناً، لنأخذ الاستراتيجية من الشخص (أ)، وفحص السلامة من الشخص (ب)، واللمسة الإبداعية من الشخص (ج)". النتيجة هي خطة أقوى من أي فكرة فردية.

لماذا يعد هذا أمراً هاماً؟

إنه أسرع: لا يضيع الوقت في السير في مسارات مسدودة (مما يوفر المال والوقت).
إنه أعمق: لا يكتفي بالتخمين فحسب؛ بل يجبر الذكاء الاصطناعي على التفكير في المشكلة منطقياً، متجنباً "العمل المتسرع".
إنه أذكى: من خلال دمج أفضل أجزاء الأفكار المختلفة، فإنه يخلق حلاً من المرجح أن يكون صحيحاً.

باختصار: LogitsCoder يشبه ترقية الذكاء الاصطناعي من طالب مذعور يتأرجح بين الهلع أو الثرثرة، إلى مهندس هادئ وذو خبرة يعرف بالضبط أي الأدوات يستخدم، ويتحقق من الخريطة قبل التحرك، ويبني أفضل حل ممكن بأقل قدر من الجهد الضائع.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LogitsCoder: نحو بحث فعال في مسارات سلسلة التفكير عبر فك التشفير بتفضيل اللوجيتس لتوليد الكود البرمجي."

1. بيان المشكلة

يتطلب توليد الكود البرمجي باستخدام النماذج اللغوية الكبيرة (LLMs) استدلالاً دقيقاً ومنظماً. وبينما ساهمت أساليب توسيع وقت الاختبار (Test-Time Scaling - TTS)، لا سيما تلك التي تستخدم سلسلة التفكير (Chain-of-Thought - CoT) والبحث في مونت كارلو لشجرة المونتي كارلو (Monte-Carlo Tree Search - MCTS)، في تحسين قدرات الاستدلال، إلا أنها تعاني من نمطين حرجين للفشل:

نقص التفكير (Underthinking): تكون سلاسل الاستدلال ضحلة للغاية (على سبيل المثال، أشجار MCTS التي تقتصر على أعماق منخفضة) بحيث لا تستطيع استيعاب التعقيد الكامل للمشكلات الخوارزمية الصعبة.
الإفراط في التفكير (Overthinking): تصبح سلاسل الاستدلال مفرطة في الإطالة والتكرار بسبب عمليات التدفق (rollouts) الزائدة، مما يؤدي إلى تكاليف حوسبة عالية، وزيادة مخاطر الهلوسة، والأخطاء المنطقية.

تحاول الأساليب الحالية القائمة على MCTS حل ذلك عبر التوسع التكراري، والمحاكاة، والانتشار العكسي، لكنها تتسبب في استهلاك هائل للرموز (tokens) والأعباء الحسابية، وغالباً ما تفشل في تحقيق التوازن بين العمق والكفاءة.

2. المنهجية: LogitsCoder

يقترح المؤلفون LogitsCoder، وهو إطار عمل خفيف الوزن يستبدل توسيع البحث في الأشجار التقليدي بآليات التحكم على مستوى اللوجيتس (logits) لاستكشاف وتجويد مسارات سلسلة التفكير بكفاءة. يعمل الإطار عبر ثلاث مراحل:

أ. توليد التفكير (فك التشفير بتفضيل اللوجيتس - LPD)

بدلاً من فك التشفير القياسي بالبحث الجشع أو أخذ العينات، يقدم LogitsCoder تقنية فك التشفير بتفضيل اللوجيتس (Logits Preference Decoding - LPD) لتوجيه اختيار الرموز نحو الأنماط المفضلة إحصائياً الموجودة في التفكير عالي الجودة.

الآلية: يقوم بحساب تعديل التفضيل ( $\Delta_i$ ) بناءً على فروق التكرار الإحصائي بين الرموز في عينات سلسلة التفكير عالية الجودة مقابل منخفضة الجودة.
المعادلة: يتم تعديل اللوجيت الأصلي $z_i$ كالتالي: $\tilde{z}_i = z_i + \Delta_i$ ، حيث $\Delta_i = f_{pref}(t_i)$ .
الهدف: توجيه النموذج لتوليد رموز تشير إلى حل فعال للمشكلات (مثل المصطلحات الدقيقة، والعلامات المنطقية) دون الحاجة إلى عمليات تدفق مكلفة.

ب. تجويد التفكير (اختيار المسار بناءً على رتبة اللوجيتس - LRBPS)

لمعالجة التباين في مسارات الاستدلال، يقوم LogitsCoder بتوليد مسارات متنوعة متعددة واختيار الأكثر تماسكاً منها باستخدام اختيار المسار بناءً على رتبة اللوجيتس (Logits Rank Based Path Selection - LRBPS).

أخذ العينات المتنوع: بدلاً من اختيار رمز واحد في القمة، يختار النموذج أفضل $K$ من الرموز الأولية لبذر $K$ من مسارات الاستدلال المستقلة.
مقياس مسافة سيجما (Sigma Distance Metric): لمعالجة اختيار أفضل مسار دون عمليات تدفق تنفيذية مكلفة، قدم المؤلفون مقياس مسافة سيجما؛ حيث يقيم هذا المقياس استقرار وثقة توزيع اللوجيتس داخل المسار.
- يحسب الانحراف المعياري ( $\sigma$ ) والمتوسط لـ لوجيتس الرموز.
- $\text{sigma-distance} = \frac{\max(s_i) - \bar{s}}{\text{std}}$ .
- تشير مسافة سيجما الأعلى إلى ثقة أكبر للنموذج وتماسك أكبر للمسار. ويتم اختيار المسار الذي يمتلك أقصى مسافة سيجما.

ج. تجميع الأفكار

لضمان المتانة، يجمع الإطار بين مسارات مرشحة متعددة.

الاستراتيجيات:
1. تلخيص المسار: يقوم نموذج لغوي كبير بتلخيص وتجويد أفضل $K$ من المسارات لحل التناقضات واستخلاص سلسلة موحدة.
2. اختيار المسار الأفضل: الاختيار المباشر للمسار الذي يمتلك أعلى مسافة سيجما.
الاختيار النهائي: تقوم عملية تحقق خفيفة (تنفيذ جزئي) بمقارنة المسار المجمع ( $T_{agg}$ ) والمسار الفردي الأفضل ( $T_{best}$ ). ويتم اختيار المسار صاحب درجة التنفيذ الأعلى لعملية توليد الكود النهائية.

3. المساهمات الرئيسية

إطار عمل مبتكر: يقترح LogitsCoder، وهو إطار عمل خفيف الوزن لسلسلة التفكير (CoT) يستخدم فك التشفير على مستوى اللوجيتس (LPD) واختيار المسار (LRBPS) لاستبدال عمليات تدفق MCTS الثقيلة.
معالجة نقص وإفراط التفكير: حدد "نقص التفكير" و"الإفراط في التفكير" كقيود أساسية في أساليب TTS الحالية، وهو الأول الذي يستخدم طرق فك تشفير لوجيتس مبتكرة للتخفيف من كليهما بفعالية في آن واحد.
الكفاءة والجودة: أثبت أن التحكم في احتمالات مستوى الرمز واختيار المسارات بناءً على استقرار اللوجيتس يؤدي إلى سلاسل تفكير ذات جودة أعلى مع استهلاك أقل بكثير للرموز مقارنة بالأساليب المرجعية.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات APPS (مستويات: Intro, Interview, Competition) و CodeContest (مستويات: Basic, Advanced) باستخدام Qwen2.5-14B-Instruct كنواة للنموذج.

الأداء (RQ1): حقق LogitsCoder نتائج حالة الفن (SOTA) عبر جميع مستويات الصعوبة.
- في مستوى المنافسة (Competition) في APPS، حقق معدل نجاح بنسبة 35.00% (مقابل 27.33% لـ MCTS و27.00% لـ RethinkMCTS).
- في مستوى المتقدم (Advanced) في CodeContest، حقق معدل نجاح بنسبة 32.56% (مقابل 25.87% لـ RethinkMCTS).
كفاءة الرموز (RQ2): استخدمت متغيرات LogitsCoder رموزاً أقل بكثير من RethinkMCTS مع تحقيق دقة أفضل أو مماثلة. كانت "مقاييس الكفاءة" (عدد الرموز الموزون) أقل بشكل ملحوظ، مما يثبت أن الطريقة تتجنب عمليات التدفق الزائدة.
توسيع وقت الاختبار (RQ4): مع زيادة عدد عمليات التدفق (من 2 إلى 20)، أظهر LogitsCoder اتجاهاً أقوى في التحسن مقارنة بـ RethinkMCTS، ليتفوق عليه في النهاية في معدل النجاح وPass@1، مما يدل على قدرة فائقة على التوسع.
دراسة الاستئصال (RQ3): أدى إزالة أي مكون (LPD، LRBPS، أو التجميع) إلى انخفاض في الأداء، مما يؤكد أن كل وحدة تساهم بشكل فريد في النجاح النهائي.
دراسة حالة (RQ5): أظهر التحليل النوعي أن LogitsCoder ينتج سلاسل تفكير أقل تكراراً، وأكثر شمولاً في معالجة الحالات الحدية، وأكثر دقة في التفاصيل مقارنة بالنماذج الخطية لسلسلة التفكير.

5. الأهمية والقيود

الأهمية:

تحول في النموذج المعرفي: ينتقل من البحث في الأشجار المكلف حوسبياً (MCTS) نحو استكشاف المسارات الموجهة باللوجيتس بكفاءة.
فعالية التكلفة: يوفر وسيلة لتحقيق أداء استدلال عالي المستوى دون التكاليف الهائلة للرموز المرتبطة بالبحث العميق في الأشجار، مما يجعل الاستدلال المتقدم أكثر سهولة في الوصول إليه.
القدرة على التعميم: النهج محايد تجاه النموذج الأساسي، طالما أن النموذج يسمح بالوصول إلى اللوجيتس.

القيود:

نطاق الاختبار: تقتصر التجارب على اختبارات البرمجة التنافسية (مشكلات خوارزمية مغلقة بذاتها). لم يتم اختبار تطوير البرمجيات في العالم الحقيقي الذي يتضمن تبعيات معقدة ومكتبات خارجية بعد.
الاعتماد على النموذج الأساسي: تعتمد الطريقة على النماذج مفتوحة المصدر (Qwen2.5-14B) التي تسمح بالوصول إلى اللوجيتس. ولا تزال فعالية هذه الطريقة على النماذج المغلقة الرائدة (مثل GPT-4 وClaude) مسألة مفتوحة، حيث إن هذه النماذج لا تسمح حالياً بالوصول إلى اللوجيتس للتلاعب بها.

في الختام، يمثل LogitsCoder خطوة مهمة للأمام في توليد الكود البرمجي بكفاءة من خلال تسخير الخصائص الإحصائية للوجيتس الخاصة بالنموذج لتوجيه الاستدلال، مما يحل بنجاح المقايضة بين عمق الاستدلال والتكلفة الحوسبية.