💬 NLP

HE-SNR: Uncovering Latent Logic via Entropy for Guiding Mid-Training on SWE-bench

تعالج هذه الورقة البحثية نقص مقاييس منتصف التدريب الفعالة لـ SWE-bench من خلال تقديم استراتيجية تصفية للبيانات ومقياس HE-SNR، الذي يستند إلى فرضية ضغط الإنتروبيا لتوجيه تحسين النماذج اللغوية الكبيرة بشكل أفضل لمهام هندسة البرمجيات المعقدة.

المؤلفون الأصليون: Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yueyang Wang, Jiawei Fu, Baolong Bi, Xili Wang, Xiaoqing Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدرب متدرباً عبقرياً لكنه فوضوي ليصبح مهندس برمجيات ماهر. لديك مكتبة ضخمة من الأكواد (بيانات التدريب)، وتريد أن تعرف ما إذا كان المتدرب يتعلم حقاً حل المشكلات المعقدة أم أنه يحفظ فقط مظهر الإجابات.

تقدم هذه الورقة البحثية طريقة جديدة للتحقق من تقدم المتدرب أثناء عملية تعلمه، قبل أن تضعه في "الامتحان النهائي" المكلف للغاية (والذي يتضمن الكثير من الضبط الدقيق الموجه بشرياً).

إليك تفصيل اكتشافهم، باستخدام تشبيهات بسيية:

1. المشكلة: فخ "الثقة المزيفة"

عادةً، عندما نتحقق مما إذا كان الكمبيوتر يتعلم، نستخدم مقياساً يسمى الارتباك (Perplexity - PPL). فكر في الـ PPL على أنه "مقيتر نبض المفاجأة". إذا كان الكمبيوتر أقل مفاجأة بالكلمة التالية في الجملة، فإنه يعتقد أنه يبلي بلاءً حسناً.

ومع ذلك، وجد المؤلفون مشكلتين كبيرتين في هذا المقيتر:

"ضريبة السياق الطويل": عندما تطلب من الكمبيوتر قراءة مستند طويل جداً (مثل كتاب كامل بدلاً من صفحة واحدة)، فإن "مقيتر المفاجأة" يخرج عن السيطرة. إنه يرتفع بشكل حاد، مما يجعل الأمر يبدو وكأن الكمبيوتر يسوء أداؤه، حتى لو كان في الواقع يصبح أكثر ذكاءً. الأمر يشبه عداءً يتعثر في رباط حذائه في بداية الماراثون؛ التعثر لا يعني أنه لا يستطيع خوض السباق، لكن ساعة التوقيت تبدو سيئة.
"الحافظ الآلي" مقابل "المفكر": المقيتر القديم يكافئ بشكل أساسي الحواسيب التي تجيد تخمين الكلمة التالية بالضبط (مثل الببغاء الذي يكرر عبارة ما). لكن حل أخطاء البرمجيات الحقيقية لا يتعلق بتخمين الكلمة التالية بدقة، بل يتعلق بامتلاك بضعة خيارات جيدة في الذهن واختيار الخيار الصحيح منها. المقيتر القديم يتجاهل "عملية التفكير" هذه.

2. الفكرة الجديدة: قياس "التردد المنطقي"

يقترح المؤلفون نظرية جديدة: الذكاء الحقيقي ليس في انعدام اليقين؛ بل في امتلاك يقين "منظم".

تخيل محققاً يحل جريمة:

المحقق السيئ يكون إما متأكداً بنسبة 100% من معرفة القاتل (يقين منخفض) أو تائهاً تماماً ويخمن عشوائياً بين 1000 مشتبه به (يقين عالٍ وفوضوي).
المحقق الذكي يحصر الخيارات في 3 مشتبه بهم محتملين فقط. هو "يتردد" بين هؤلاء الثلاثة، لكنه يعلم أن القاتل أحدهم. هذا ما يسمى بـ "التردد المنطقي".

يطلق المؤلفون على هذا الاسم "حالة اليقين المضغوط" (Entropy-Compressed State). فبدلاً من أن يكون الكمبيوتر مرتبكاً بشأن 100 شيء، يكون الكمبيوتر الذكي مرتبكاً بثقة بشأن شيئين أو ثلاثة أشياء فقط.

3. الاكتشاف: "التحول إلى ln 3"

نظر المؤلفون إلى عقل الكمبيوتر أثناء التدريب ووجدوا رقماً سحرياً: ln 3 (وهو حوالي 1.1).

التدريب المبكر: يكون الكمبيوتر مرتبكاً بشأن خيارات عديدة (الاعتلاج/الإنتروبي مرتفع وفوضوي).
التدريب الذكي: مع تحسن منطق الكمبيوتر، يتقلص "ارتباكه". حتى عندما لا يعرف الإجابة الصحيحة فوراً، فإنه يحصر خياراته في مجموعة ضيقة من حوالي 3 خيارات.
التحول: لاحظت الورقة البحثية أن أفضل النماذج تظهر باستمرار "ذروة" في مستويات ارتباكها حول هذا الرقم (ln 3). إنه يشبه قول الكمبيوتر: "لست متأكداً بنسبة 100%، لكني متأكد بنسبة 99% أن الأمر يتعلق بواحد من هؤلاء الثلاثة".

4. الأداة الجديدة: HE-SNR (بوصلة "الإشارة إلى الضجيج")

لإصلاح "مقيتر المفاجأة" المكسور، بنى المؤلفون أداة جديدة تسمى HE-SNR.

كيف تعمل: بدلاً من السؤال: "هل الكمبيوتر متفاجئ بالإجابة الصحيحة بالضبط؟" (وهي الطريقة القديمة)، تسأل HE-SNR: "عندما يكون الكمبيوتر عالقاً حقاً ويفكر بعمق، كيف ينجح في حصر خياراته؟"
تصفية الضجيج: أدركوا أن الحواسيب غالباً ما تتشتت بـ "الأسلوب" (مثل استخدام كلمات منمقة أو تنسيق معين) بدلاً من "المنطق" (الكود الفعلي). لذا، قاموا ببناء مرشح لتجاهل الأسلوب والتركيز فقط على الأجزاء المنطقية الصعبة من الكود.
النتيجة: هذه البوصلة الجديدة تتجاهل "تعثرات رباط الحذاء" (ضريبة السياق الطويل) و"خدع الببغاء" (الحفظ الآلي). إنها تقيس فقط "التردد المنطقي".

5. المفاجأة الكبرى: "ضريبة المحاذاة"

وجدت الورقة البحثية أيضاً شيئاً مفاجئاً بخصوص مرحلة "الضبط الدقيق الموجه" (حيث يتعلم الكمبيوتر اتباع التعليمات).

المقايضة: عندما علموا الكمبيوتر اتباع التعليمات بدقة، أصبح الكمبيوتر أفضل في تخمين الإجابة الصحيحة بالضبط (ارتفعت دقة Top-1).
التكلفة: ومع ذلك، أدى هذا التدريب في الواقع إلى تدهور "التردد المنطقي". توقف الكمبيوتر عن النظر في الخيارين أو الثلاثة الجيدة الأخرى واكتفى باختيار واحد فقط بشكل أعمى.
الاستنتاج: يشير المؤلفون إلى أننا، من خلال إجبار الكمبيوتر على أن يكون واثقاً جداً في وقت مبكر جداً، قد نكون نقضي دون قصد على قدرته على التفكير بعمق في المشكلات المعقدة. يصبح الكمبيوتر "نعم يا سيدي" أفضل، لكنه يصبح "محققاً" أسوأ.

الملخص

تجادل الورقة البحثية بأنه لبناء مهندسي برمجيات أذكياء حقاً، لا ينبغي لنا مجرد قياس مدى جودة تخمين الكمبيوتر للكلمة التالية. بدلاً من ذلك، يجب أن نقيس مدى نجاحه في حصر ارتباكه في مجموعة صغيرة ومقدور عليها من الخيارات.

أداة المؤلفين الجديدة، HE-SNR، تعمل مثل كشاف الضوء الذي يتجاهل "أسلوب" الكمبيوتر و"تعثرات رباط حذائه"، ليركز فقط على قدرته على التفكير منطقياً والتعامل مع عدم اليقين. وهذا يسمح للمطورين بتدريب نماذج أفضل بشكل أسرع وتجنب فخ جعل النماذج واثقة ولكنها ليست ذكية حقاً.

ملخص تقني: HE-SNR: كشف المنطق الكامن عبر الإنتروبيا لتوجيه مرحلة منتصف التدريب على SWE-BENCH

بيان المشكلة

يعتمد تقييم النماذج اللغوية الكبيرة (LLMs) في مهام هندسة البرمجيات المعقدة، وتحديداً عبر معيار SWE-BENCH، حالياً وبشكل كبير على الضبط الدقيق الخاضع للإشراف (SFT) لاستحضار القدرات الوكيلة (agentic capabilities). ومع ذلك، فإن قدرات الاستدلال الأساسية المطلوبة لهذه المهام يتم اكتسابها خلال مرحلة منتصف التدريب (mid-training). هناك عجز حرج في المقاييس القادرة على توجيه عملية منتصف التدريب هذه بفعالية.

تعد المقاييس القياسية مثل الارتياب (Perplexity - PPL) غير كافية لسببين رئيسيين:

ضعف الارتباط بالإمكانات الوكيلية: يرتبط PPL بقوة مع دقة "الخيار الأول" (Top-1 accuracy)، والتي تتجاوز غالباً 90% في مجموعات البيانات المنسقة، مما يقيس دقة التكرار بدلاً من إمكانات الاستدلال الكامنة المطلوبة لمهام الوكيل متعددة الخطوات المعقدة.
"ضريبة السياق الطويل" (The Long-Context Tax): عند تمديد نوافذ السياق (على سبيل المثال، من 32K إلى 128K) عبر تغيير التردد (مثل RoPE أو YaRS)، تمر النماذج بتحول توزيعي عابر في التضمينات الموضعية. يتسبب هذا في ارتفاع مؤقت في الإنتروبيا التنبؤية وتدهور في PPL، مما يحجب النمو الحقيقي للقدرات ويخلق إشارة مضللة لتحسين التدريب.

بناءً على ذلك، هناك حاجة ملحة لمقياس قوي يعزل إشارات الاستدلال الحقيقية، ويكون محصناً ضد "ضريبة السياق الطويل"، ويمكنه التنبؤ بأداء SWE اللاحق دون التكلفة الحسابية للتقييم بعد مرحلة SFT.

المنهجية

1. استراتيجية تنسيق وتصفية البيانات

لعزل الإشارات التي تتنبأ بالقدرة الكامنة، قدم المؤلفون استراتيجية صارمة لتصفية الرموز (tokens) على مستوى التفاصيل.

اختيار المسارات (Trajectory Selection): تم تنسيق 500 مسار ناجح من SWE-BENCH-VERIFIED، مع ضمان المحاذاة التوزيعية الصارمة مع بيانات SFT.
تصفية المكونات: تُحسب المقاييس حصرياً على مكونات الإجراء (الأكواد القابلة للتنفيذ، مسارات الملفات، الأوامر)، مع حجب الملاحظات (تغذية البيئة الراجعة) واستبعاد الأفكال (آثار الاستدلال التي تهيمن عليها السمات الأسلوبية).
تقليل الضجيج: يتم إزالة العلامات الهيكلية (وسوم XML)، وتنسيقات Markdown، والتعليقات (عبر تحليل AST)، والمسافات البيضاء الزائدة للتركيز فقط على الصحة الوظيفية.

2. الرؤية النظرية: فرضية ضغط الإنتروبيا

تقترح الورقة فرضية ضغط الإنتروبيا، التي تعيد تعريف الذكاء ليس كتقليل عددي للمعلومات (loss منخفض)، بل كقدرة على هيكلة عدم اليقين في حالات مضغوطة الإنتروبيا (Entropy-Compressed States).

حالات مضغونة الإنتروبيا: هي حالات حيث تتوزع الكتلة الاحتمالية بشكل موحد عبر مجموعة صغيرة من المرشحين من أعلى $k$ ، وتظهر كقمم إنتروبيا متميزة عند $\ln k$ .
"التحول إلى $\ln 3$ ": يكشف التحليل التجريبي أن كتلة الاحتمالية للرموز عالية الإنتروبيا (تحديداً الرموز غير التابعة لـ Top-2) تتحول من حالة مشتتة (تتمحور حول $\ln 4$ ) إلى حالة مضغوطة عند $\ln 3$ مع نضج النماذج. يشير هذا إلى أن النموذج يضيق نطاق عدم اليقين لديه إلى مجموعة منقحة من 2 إلى 3 مرشحين محتملين، وهو ما يُسمى "التردد المنطقي" (reasonable hesitation).
التمايز: هذا التحول يختلف عن عدم اليقين العشوائي (مثل رموز الملاحظات التي تتضمن معرفات عشوائية)، والتي تظهر قممًا عند $\ln 10$ وتفتقر إلى المنطق الهيكلي لقمة $\ln 3$ .

3. صياغة المقياس: HE-SNR

بناءً على الفرضية، صاغ المؤلفون HE-SNR (نسبة الإشارة إلى الضجيج للإنتروبيا العالية).

مجموعة القرار عالية الإنتروبيا ( $H$ ): الرموز حيث تتجاوز إنتروبيا Top-10 عتبة $\epsilon = (\ln 3 + \ln 4)/2$ ويكون الحق (ground truth) ضمن المرشحين العشرة الأوائل. يقوم هذا بتصفية الرموز ذات التباعد التوزيعي الشديد مع التركيز على نقاط الاستدلال الحرجة.
الحساب: يقيس HE-SNR قوة الإشارة المستهدفة مقابل ضجيج الخلفية:
$\text{HE-SNR} = \frac{1}{|H|} \sum_{t \in H} \frac{p(x_t)}{H_{\text{top10}}(x_t)}$
حيث $p(x_t)$ هي احتمالية الإشارة و $H_{\text{top10}}(x_t)$ هي إنتروبيا Top-10 (الضجيج).
المتانة: من خلال تطبيع الإشارة مقابل أرضية الإنتروبيا، يخفف HE-SNR من تأثير "ضريبة السياق الطويل"، التي تضخم الإنتروبيا المطلقة ولكن لا تؤدي بالضرورة إلى تدهور نسبة الإشارة إلى الضجيج الصالحة لمسارات الاستدلال الصحيحة.

النتائج الرئيسية

1. الارتباط بالأداء اللاحق

التفوق على PPL: يظهر PPL القياسي ارتباطاً ضعيفاً مع درجات SWE-BENCH Pass@1، خاصة في الفشل في تمييز نمو القدرة أثناء "ضريبة السياق الطويل" (على سبيل المثال، أظهر نموذج MoE-A26B في الخطوة 200 من تدريب 128K انخفاضاً في PPL ولكنه أظهر تحسناً في أداء SWE).
خطية HE-SNR: يظهر HE-SNR علاقة خطية صارمة مع أداء SWE-BENCH اللاحق عبر نماذج تتراوح من 68 مليار إلى 560 مليار معلمة ونوافذ سياق 32K/128K.
كفاءة البيانات: يحقق المقياس المقترح ارتباطاً عالياً (معامل بيرسون $r \approx 0.96$ ، ومعامل كيندال $\tau \approx 0.98$ ) باستخدام 500 مسار فقط (~12.5 مليون رمز)، مما يقلل تكاليف التقييم بشكل كبير.

2. دراسات الاستئصال (Ablation Studies)

تأثير التصفية: أثبت تقييم رموز "الإجراء" مع التصفية الكاملة (إزالة XML، التعليقات، المسافات البيضاء) تفوقاً ملحوظاً على تقييم الرموز الخام، مما يؤكد أن الضجيج الأسلوبي يحجب إشارات الاستدضاء الكامنة.
متانة العتبة: العتبة المختارة $\epsilon = (\ln 3 + \ln 4)/2$ هي شبه مثالية، حيث يحافظ المقياس على ارتباط عالٍ عبر مجموعة من العتبات، مما يشير إلى سلامة هيكلية وليس مجرد فرط ملاءمة (overfitting) لقيمة محددة.

3. رؤى حول SFT وضريبة المحاذاة

تأثيرات SFT: بينما يحسن SFT من PPL العالمي ودقة Top-1، فإنه يؤدي إلى تدهور HE-SNR و HE-PPL في مجموعة القرار عالية الإنتروبيا.
آلية ضريبة المحاذاة: يشير هذا إلى أن SFT قد يعطي الأولوية لمطابقة الأنماط السطحية والمحاذاة الأسلوبية على حساب قدرة النموذج على التنقل في مسارات الاستدلال المعقدة وعالية الإنتروبيا، مما يقدم تفسيراً جديداً لـ "ضريبة المحاذاة" في المهام الوكيلية.

الأهمية والادعاءات

تدعي الورقة أنها توفر أساساً نظرياً وأدوات عملية لتحسين الإمكانات الكامنة للنماذج اللغوية الكبيرة في مجالات الهندسة المعقدة.

المساهمة النظرية: تتحدى الورقة الرؤية التي تعتبر الذكاء مجرد ضغط عددي، وتقترح أن الاستدلال الحقيقي يتميز بالضغط الهيكلي لعدم اليقين في حالات مضغوطة الإنتروبيا من الدرجة الدنيا (تحديداً "التحول إلى $\ln 3$ ").
الفائدة العملية: يعمل HE-SNR كبوصلة قوية لمنتصف التدريب، مما يسمح بالتكرار الفعال من خلال فصل نمو القدرة الحقيقي عن الآثار العابرة مثل "ضريبة السياق الطويل".
التعميم: لوحظت ظاهرة "التحول إلى $\ln 3$ " عبر بنيات مختلفة (النماذج الكثيفة وMoE) ومجالات متنوعة (هندسة البرمجيات والاستدلال الرياضي)، مما يشير إلى أنها علامة أساسية للاستدلال المنطقي الهيكلي.

يخلص المؤلفون إلى أنه من خلال التركيز على نقاط القرار عالية الإنتروبيا واستخدام HE-SNR، يمكن للمجتمع تحديد المرشحين غير الأمثل في وقت مبكر، مما يقلل من التكاليف الحسابية والبصمة الكربونية المرتبطة بتدريب النماذج واسعة النطاق، مع تعزيز تطوير قدرات استدلال أكثر متانة بدلاً من الحفظ الآلي.