💬 NLP

Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

تُظهر هذه الدراسة المسجلة مسبقاً أن أداء مسبار الطاقة متعدد المسارات (K-way energy probe) بالنسبة لـ "softmax" يعتمد بشكل كبير على تدريب الإنتروبيا المتقاطعة (cross-entropy training)، الذي يستحث معايير لوجيت (logit norms) أكبر بكثير وميزة ترتيب ثابتة المقياس، بدلاً من اعتماده على ديناميكيات الاستدلال ثنائي الاتجاه أو مقدار الحركة الكامنة.

المؤلفون الأصليون: Jon-Paul Cacioli

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jon-Paul Cacioli

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: قصة بوليسية

تخيل أن لديك محققاً (الذكاء الاصطناعي) يحاول حل لغز (تحديد ما إذا كانت الصورة لقط أم لكلب). لدى المحقق طريقتان للإبلاغ عن مدى ثقته:

التقرير الرسمي (Softmax): ملخص مثالي رياضياً لكيفية تأكده من الإجابة.
الشعور الداخلي (Energy Probe): درجة "حدس" تعتمد على مقدار الجهد الذي بذله عقل المحقق للاستقرار على إجابة ما.

في دراسة سابقة، وجد الباحثون أن "التقرير الرسمي" كان دائماً أفضل بكثير في التنبؤ بالحقيقة من "الشعور الداخلي". كان الأمر كما لو أن حدس المحقق كان خاطئاً باستمرار، حتى عندما كان صحيحاً.

هذا البحث الجديد يسأل: لماذا الشعور الداخلي ضعيف؟ هل لأن عقل المحقق يعمل بطريقة معينة، أم بسبب القواعد المحددة (الرياضيات) التي استخدمناها لتدريبه؟

تبين أن الإجابة هي: قواعد التدريب. وتحديداً، قاعدة تسمى "الاعتلاج المتقاطع" (Cross-Entropy) هي التي تقوم بكل العمل الشاق، وهي في الواقع تخدع المقارنة.

التجارب الثلاث (ماذا لو؟)

أجرى الباحثون ثلاث نسخ مختلفة من تدريب المحقق لمعرفة ما الذي تغير.

1. المحقق القياسي (الأساس)

الإعداد: تم تدريب المحقق باستخدام القواعد الصارمة والمعيارية (Cross-Entropy).
النتيجة: "التقرير الرسمي" كان نجماً متألقاً. أما "الشعور الداخلي" فكان ضعيفاً. الفجوة بينهما كانت ضخمة.
التشبيه: تخيل طالباً تعلم حفظ الإجابات بدقة. عندما يُسأل سؤالاً، يصرخ بالإجابة بصوت عالٍ وثقة شديدة. "درجة الثقة" لديه هائلة. لكن "شعوره الداخلي" (القائم على عملية أخرى أهدأ) يبدو صغيراً بالمقارنة.

2. محقق "بدون CE" (إزالة القاعدة)

الإعداد: قاموا بتدريب المحقق باستخدام قاعدة أسهل وأبسط (MSE) لا تجبر الإجابات على أن تُصرخ بصوت عالٍ جداً.
النتيما: تقلصت الفجوة إلى النصف! أصبح "الشعور الداخلي" أقرب بكثير إلى "التقرير الرسمي".
التشبيه: الآن يجيب الطالب بهدوء. ولأنهم لا يصرخون بثقتهم بصوت عالٍ، فإن "التقرير الرسمي" لا يبدو كعملاق مقارنة بـ "الشعور الداخلي". لقد أصبحا على قدم المساواة تقريباً.

3. المحقق "ثنائي الاتجاه" (Bidirectional PC)

الإعداد: جربوا طريقة تدريب جديدة ومتطورة حيث يرسل عقل المحقق إشارات للأمام وللخلف (مثل محادثة بين شخصين) بدلاً من اتجاه واحد فقط. كما قاموا بإزالة قاعدة الصراخ بصوت عالٍ.
النتيجة: "الشعور الداخلي" تفوق بالفعل على "التقرير الرسمي" قليلاً!
التحول المفاجئ: اعتقد الباحثون أن هذا بسبب كون العقل "ثنائي الاتجاه" معقداً للغاية. لكنهم تحققوا، ولم يكن العقل يعمل بجهد أكبر من العقل القياسي. السبب الحقيقي لتفوقه كان ببساطة أنهم توقفوا عن الصراخ بالإجابات بصوت عالٍ.

اكتشاف "مقبض الصوت" (مقياس Logit)

إليك أهم اكتشاف، مشروحاً بمقبض التحكم في الصوت.

أدرك الباحثون أن قاعدة التدريب القياسية (Cross-Entropy) تعمل مثل مقبض صوت مرفوع إلى الدرجة 11.

هي تجبر الذكاء الاصطناعي على جعل "أرقام الثقة" (logits) ضخمة.
عندما ترفع مستوى الصوت، يبدو "التقرير الرسمي" واضحاً وواثقاً للغاية.
"الشعور الداخلي" لا يتم رفع صوته؛ بل يبقى عند مستوى صوت طبيعي.
الوهم: لأن التقرير الرسمي صوته عالٍ جداً، فإنه يبدو وكأنه يؤدي مهمة أفضل. لكنه في الحقيقة مجرد صوته أعلى فقط.

اختبار درجة الحرارة (Temperature Test):
لإثبات ذلك، أخذ الباحثون الذكاء الاصطناعي "العالي الصوت" وخفضوا مقبض الصوت (باستخدام ما يسمى "Temperature Scaling") حتى يتطابق مع الذكاء الاصطناعي "الهادئ".

النتيجة: عندما تم خفض مستوى الصوت، فقد "التقرير الرسمي" ميزته الهائلة. تقلصت الفجوة بين الطريقتين بنسبة 66%.
الخلاصة: ثلثي السبب في أن "التقرير الرسمي" بدا جيداً جداً هو أنه كان صوته أعلى فحسب.

ماذا عن الـ 34% المتبقية؟

حتى بعد خفض مستوى الصوت، ظل "التقرير الرسمي" أفضل قليلاً من "الشعور الداخلي".

لماذا؟ لأن قاعدة التدريب القياسية (Cross-Entropy) هي معلم ذكي جداً. فهي تعلم الذكاء الاصطناعي تنظيم أفكاره بطريقة تتماشى طبيعياً مع كون الإجابة صحيحة. طريقة "الشعور الداخلي" لا تحصل على هذا النوع المحدد من التدريب.
التشبيه: حتى لو خفضت مستوى الصوت، فإن الطالب الذي حفظ الإجابات بدقة (التدريب القياسي) سيظل أكثر حدة وذكاءً من الطالب الذي يخمن بناءً على "الإحساس" فقط (Energy Probe).

الخدعة في "ثنائي الاتجاه" (Bidirectional Red Herring)

أمل الباحثون في الأصل أن يثبت العقل "ثنائي الاتجاه" (Bidirectional PC) أن ديناميكيات الدماغ المعقدة هي المفتاح لزيادة الثقة.

الواقع: اختبروا ذلك، ولم يكن العقل "ثنائي الاتجاه" يحرك تروسه الداخلية أكثر من العقل القياسي. لقد كان مجرد عقل "هادئ".
الاستنتاج: لم يكن هيكل الدماغ المتطور هو البطل. البطل كان ببساطة إيقاف قاعدة الصراخ بصوت عالٍ.

الملخص: الجدار "الحامل للثقل"

عنوان "Cross-Entropy Is Load-Bearing" يعني أن قاعدة التدريب القياسية هي التي تحمل هيكل التجربة بأكمله.

إذا أزلتها، يتغير النظرية بالكامل.
"الشعور الداخلي" ليس معطلاً في الواقع؛ بل بدا سيئاً لأنه تمت مقارنته بأساس "عالي الصوت" تم تضخيمه اصطناعياً.

باللغة البسيطة:
لم يكن "الشعور الداخلي" للذكاء الاصطناعي سيئاً كما ظننا. كنا فقط نقارنه بـ "درجة ثقة" تم رفع مستواها اصطناعياً بواسطة طريقة التدريب. بمجرد خفض مستوى الصوت، بدا الشعور الداخلي أكثر إثارة للإعجاب. تشير الدراسة إلى أنه عندما نحكم على مدى معرفة الذكاء الاصطناعي لما يعرفه، لا ينبغي أن ننظر فقط إلى الرقم الأعلى صوتاً؛ بل يجب أن نقارن التفاح بالتفاح (أو الأصوات الهادئة بالأصوات الهادئة).

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الإنتروبيا المتقاطعة هي عنصر حامل للعبء: اختبار نطاق مسجل مسبقاً لمسبار الطاقة متعدد المسارات (K-Way Energy Probe) على الترميز التنبئي ثنائي الاتجاه" للباحث جون بول كاسيولي.

1. بيان المشكلة

تتقصى الورقة مدى صحة ونطاق التفكيك النظري المقترح في دراسة كاسيولي [2026]. اقترح العمل السابق أن نماذج الترميز التنبئي (PC) التمييزية القياسية، عند تطبيق مسبار طاقة متعدد المسارات (K-way energy probe) عليها (وهي طريقة هيكلية لقياس الثقة)، فإنها تؤول تقريبًا إلى دالة أحادية التغير لـ هامش الـ log-softmax. وبناءً على ذلك، تم التنبؤ بأن المسبار سيؤدي أداءً أسوأ قليلاً من خط الأساس القياسي لـ softmax.

ومع ذلك، اعتمد هذا التفكيك على خمس فرضيات محددة، أبرزها:

A1: وجود حد خسارة الإنتروبيا المتقاطعة (Cross-Entropy - CE) عند المخرجات.
A3: ديناميكيات استدلال أمامية (feedforward) فعالة.

السؤال المركزي لهذه الدراسة هو ما إذا كان الافتراض A1 (الإنتروبيا المتقاطعة عند المخرجات) يمثل مكونًا "حاملًا للعبء" (load-bearing) في هذا التفكيك. وتحديدًا، هل يؤدي إزالة الـ CE (وتغيير ديناميكيات الاستدلال محتملاً إلى ثنائية الاتجاه) إلى تغيير العلاقة بين مسبار الطاقة وخط أساس الـ softmax؟

2. المنهجية

الدراسة عبارة عن اختبار نطاق مسجل مسبقاً أُجري على مجموعة بيانات CIFAR-10 باستخدام هيكل مطابق بـ 2.1 مليون معلمة (TinyConv). يقارن التصميم التجريبي بين ثلاث حالات عبر 10 بذور عشوائية:

الحالة أ (الأساس - Baseline): نموذج ترميز تنبئي (PC) تمييزي قياسي مدرب باستخدام خسارة الإنتروبيا المتقاطعة (CE). وهذا يحاكي إعداد كاسيولي [2026] الأصلي.
الحالة ب (عزل A1): نموذج ترميز تنبئي (PC) تمييزي قياسي مدرب باستخدام متوسط مربع الخطأ (MSE) بدلاً من CE. وهذا يعزل تأثير إزالة حد الـ CE مع الحفاظ على ديناميكيات استدلال أمامية.
الحالة ج (الترميز التنبئي ثنائي الاتجاه - bPC): تنفيذ بنية الترميز التنبئي ثنائية الاتجاه (Oliviers et al., 2025) باستخدام MSE ثنائي الاتجاه. وهذا يزيل الـ CE ويقدم ديناميكيات استدلال ثنائية الاتجاه (تكرارية) حقيقية، مما ينتهك الفرضيات A1 وA3 وA5 في آن واحد.

المقاييس الرئيسية:

النتيجة الأولية ( $\Delta$ ): الفرق في النوع الثاني من AUROC (المساحة تحت منحنى ROC للتمييز بين التنبؤات الصحيحة والخاطئة) بين مسبار طاقة K-way وخط أساس softmax ( $\Delta = \text{AUROC}_{\text{probe}} - \text{AUROC}_{\text{softmax}}$ ).
التحقق من التلاعب (H3): التحقق مما إذا كان الـ bPC قد أنتج حركة كامنة (latent movement) أكبر بكثير (ديناميكيات تكرارية) من الـ PC القياسي (الهدف: 10 أضعاف).
الاستئصال البعدي (Post-hoc Ablation): تم تطبيق مقياس درجة الحرارة (Temperature scaling) على النماذج المدربة بـ CE لاختبار ما إذا كانت فروق حجم الـ logits هي التي دفعت النتائج.

3. النتائج الرئيسية

أ. التكرار والأساس (H2)

نجحت الدراسة في تكرار النتيجة السلبية لكاسيولي [2026] على نموذج PC القياسي مع CE.

النتيجة: أخفق مسبار الطاقة باستمرار في التفوق على خط أساس softmax ( $\Delta = -0.082$ ، $p < 10^{-6}$ ).
الاستنتاج: التفكيك يظل صحيحاً لنماذج الـ PC القياسية المدربة بـ CE.

ب. تأثير إزالة الـ CE (H4)

أدى استبدال CE بـ MSE في بنية PC القياسية إلى تقليل الفجوة في الأداء بشكل كبير.

النتيجة: تقلصت الفجوة من $-0.082 $(CE) إلى$ -0.037$ (MSE)، أي بنسبة 54%.
الاستنتاج: دالة خسارة الإنتروبيا المتقاطعة (CE) هي مكون رئيسي "حامل للعبء" تجريبيًا في هذا التفكيك.

ج. أداء الترميز التنبئي ثنائي الاتجاه (bPC) (H1)

على عكس الفرضية القائلة بأن الديناميكيات ثنائية الاتجاه ستدفع أداء المسبار، أظهرت حالة bPC أن المسبار تجاوز خط أساس softmax.

النتيجة: $\Delta = +0.008$ ( $p = 0.000027$ ). تفوق المسبار على softmax في جميع البذور العشر.
تنبيه حاسم (فشل التحقق من التلاعب): فشل التحقق المسجل مسبقًا لـ "الديناميكيات القوية". كانت الحركة الكامنة في bPC تبلغ 1.6 ضعف الـ PC القياسي فقط (أقل بكثير من عتبة الـ 10 أضعاف). ساهمت السلسلة التوليدية بأقل من 1% من إجمالي الطاقة.
التفسير: التحسن في bPC ليس ناتجًا عن الديناميكيات ثنائية الاتجاه. بل يُعزى إلى إزالة الـ CE، وهو ما تشترك فيه حالة bPC مع حالة MSE.

د. آلية مقياس الـ Logit (التحليل البعدي)

حددت الدراسة اختلافًا منهجيًا في معايير (norms) الـ logits للمخرجات:

التدريب بـ CE: أنتج معايير logits $\approx 11.5$ .
التدريب بـ MSE/bPC: أنتج معاي_ير logits $\approx 0.78$ (فرق بمقدار 15 ضعفًا).
الآلية: تؤدي الـ logits الكبيرة في التدريب بـ CE إلى زيادة حدة توزيع الـ softmax، مما يضخم اصطناعيًا قيمة AUROC لخط أساس الـ softmax. أما مسبار الطاقة، الذي يعمل على أخطاء السلسلة التوليدية، فهو غير متأثر بمقياس الـ logit هذا.

استئصال مقياس درجة الحرارة (Temperature Scaling Ablation):
من خلال تطبيق مقياس درجة الحرارة ( $T \approx 15$ ) على النماذج المدربة بـ CE لمطابقة معايير الـ logits لنماذج MSE:

انخفضت الفجوة بين المسبار وsoftmax بنسبة 66% (من -0.80 إلى -0.027).
تفكيك الفجوة:
1. ~66% (تعتمد على المقياس): تُعزى إلى تضخم الـ logits الناتج عن الـ CE.
2. ~34% (مستقلة عن المقياس): ميزة ترتيب حقيقية حيث تنتج التمثيلات المدربة بـ CE own logits مرتبطة بالصحة بشكل أفضل من مسبار الطاقة، وبشكل مستقل عن المقياس.

4. المساهمات الرئيسية

تحديد النطاق: تثبت أن نتيجة "المسبار يتراجع عن softmax" خاصة بـ النماذج التمييزية المدربة بـ CE. وهي لا تعمم على بنيات PC المدربة بـ MSE أو بنيات الترميز التنبئي ثنائية الاتجاه.
البصيرة الميكانيكية: تحدد الإنتروبيا المتقاطعة (CE) كمحرك رئيسي لفجوة الأداء، وليس البنية نفسها. فالـ CE تسبب تضخمًا في الـ logits يمنح خط أساس الـ softmax ميزة اصطناعية في مهام التمييز من النوع الثاني.
دحض فرضية الديناميكيات: توضح أن الديناميكيات ثنائية الاتجاه، عند هذا المقياس (TinyConv)، لا تغير جوهريًا الحركة الكامنة أو أداء المسبار؛ فالتأثيرات الملحوظة هي محض نتيجة لتغيير دالة الخسارة.
التوصية المنهجية: تقترح استخدام الـ softmax بمقياس درجة حرارة (temperature-scaled softmax) كخط أساس أكثر عدلاً لمقارنة المجسات الهيكلية مع المصنفات القياسية في الشبكات المدربة بـ CE، نظرًا لأن الـ softmax الخام منحاز بسبب حجم الـ logits.

5. الأهمية

تعيد هذه الورقة صياغة فهم قياس الثقة في الشبكات العصبية. فهي تشير إلى أن "الفشل" المتصور للمجسات الطاقية الهيكلية في التفوق على softmax هو إلى حد كبير نتاج لآلية التدريب (CE) وليس عيبًا جوهريًا في بنية المسبار نفسه.

بالنسبة للترميز التنبئي (Predictive Coding): توضح أن التفكيك النظري الذي يربط هوامش الطاقة بـ log-softmax ينهار عند إزالة الـ CE، حيث لا تعود العلاقة الرياضية بين الطاقة المستقرة واحتمالية الـ log-softmax قائمة.
لأبحاث الإدراك فوق المعرفي (Metacognition): تسلط الضوء على أن كيفية تدريب الشبكة للتعبير عن ثقتها (عبر CE مقابل MSE) لا تقل أهمية عن بنيتها.
لمعايير التقييم: تدعو إلى استخدام خطوط أساس مدرجة بمقياس درجة الحرارة لضمان مقارنات عادلة بين المجسات الهيكية وإشارات الثقة القياسية، وذلك لمنع تضخم مقياس الـ logit من حجب الفعالية الحقيقية لآليات الثقة البديلة.

باخت gross، الإنتروبيا المتقاطعة هي "عنصر حامل للعبء" بالنسبة للتفكيك المحدد الملاحظ في العمل السابق؛ وإزالتها تسمح لمسبار طاقة K-way بمضاهاة أو حتى تجاوز أداء الـ softmax، وذلك أساسًا من خلال القضاء على انحياز مقياس الـ logit الذي يرفع اصطناعيًا من قيمة خط أساس الـ softmax.