📊 statistics

On the Epistemic Uncertainty of Overparametrized Neural Networks

تتحدى هذه الورقة الرؤية التقليدية القائلة بأن عدم اليقين المعرفي يتلاشى مع زيادة البيانات من خلال إثبات أنه في الشبكات العصبية ذات المعلمات الزائدة، يؤدي عدم التحديد الناتج عن التماثلات والتمثيلات الفائضة إلى استمرار عدم اليقين في المعلمات حتى عندما يتم تحديد الدالة الأساسية بشكل كامل، وهي ظاهرة يحللها المؤلفون نظرياً ويتحققون منها تجريبياً في شبكات ReLU ذات الطبقة المخفية الواحدة.

المؤلفون الأصليون: David Rügamer

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: David Rügamer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "حول عدم اليقين المعرفي للشبكات العصبية ذات المعلمات الزائدة" باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: مشكلة "مفاتيح كثيرة، باب واحد"

تخيل أن لديك قفلاً معقداً جداً (مشكلة من العالم الحقيقي) وميدالية مفاتيح ضخمة تحتوي على آلاف المفاتيح (الشبكة العصبية). عادةً، نعتقد أننا إذا امتلكنا بيانات كافية، فسنتمكن من العثور على المفتاح المثالي الوحيد الذي يفتح القفل، وسنكون متأكدين بنسبة 100% أننا وجدناه.

تجادل هذه الورقة بأنه بالنسبة للشبكات العصبية الحديثة "ذات المعلمات الزائدة" (الشبكات التي تمتلك مفاتيح أكثر بكثير مما هو ضروري)، فإن هذا ليس صحيحاً. فحتى مع وجود بيانات لانهائية، قد لا تعرف أبداً وبدقة أي مفتاح محدد تمسك به. أنت تعرف فقط أن الباب مفتوح.

يسمي المؤلفون هذا عدم اليقين المعرفي (Epistemic Uncertainty) (الشك حول ما نعرفه). وهم يوضحون أنه حتى عندما تعرف الشبكة الإجابة بشكل مثالي، فإنها تظل مرتبكة بشأن كيفية وصولها إلى تلك الإجابة لأن هناك طرقاً مختلفة عديدة لبناء نفس الحل.

التشبيه 1: قائد الأوركسترا (تماثل التبديل)

تخيل قائداً يقود أوركسترا. الموسيقى (التنبؤ) مثالية.

المشكلة: قسم الكمان يضم 100 عازف. إذا تبادل اللاعب رقم 1 مكانه مع اللاعب رقم 50، ستظل الموسيقى تبدو تماماً كما هي دون تغيير.
الارتباك: إذا سألت القائد: "من يعزف الكمان الأول؟" وقال لك: "إنه اللاعب رقم 1"، فقد تعتقد أنه متأكد بنسبة 100%. لكن في الواقع، كان بإمكان اللاعب رقم 50 القيام بهذا الدور، وستظل الموسيقى مثالية أيضاً.
ما توصلت إليه الورقة: في الإحصاء التقليدي، نفترض أنه مع الكثير من الممارسة (البيانات)، سيعرف القائد بالضبط من يجلس في أي مكان. ولكن في هذه الشبكات الضخمة، لا يمكن للقائد أن يتأكد أبداً من مخطط الجلوس، حتى لو كانت الموسيقى خالية من العيوب. إن عدم اليقين بشأن من يعزف (المعلمات) يظل قائماً، حتى وإن كانت الأغنية (الدالة) معروفة تماماً.

التشبيه 2: تقسيم البيتزا (عدم القابلية للتعريف المستمر)

الآن، تخيل أن الشبكة أكبر حتى مما هو مطلوب. لديها "عصبونات" إضافية (طهاة إضافيون) ليست ضرورية تماماً.

السيناريو: تحتاج إلى خبز بيتزا تتطلب بالضبط 100 جرام من الجبن.
الارتباك:
- السيناريو أ: يضع طاهٍ واحد 100 جرام كاملة على البيتزا.
- السيناريو ب: يضع طاهيان 50 جراماً لكل منهما.
- السيناريو ج: عشرة طهاة يضع كل منهم 10 جرامات.
- السيناريو د: الطاهي (أ) يضع 99 جراماً، والطاهي (ب) يضع جراماً واحداً.
ما توصلت إليه الورقة: يمكن للشبكة تحقيق نفس البيتزا تماماً (نفس التنبؤ) عن طريق تقسيم "الجبن" (الوزن) بين الطهاة الإضافيين بطرق مختلفة لا حصر لها.
- على عكس الأوركسترا حيث يتبادل الأشخاص أماكنهم فقط، هنا يتجادل الطهاة باستمرار حول كيفية تقسيم الجبن.
- تثبت الورقة أنه حتى مع بيانات لانهائية، لا تستقر الشبكة على طريقة واحدة محددة لتقسيم الجبن. بدلاً من ذلك، هي تتجول حول "متعدد طيات" (Manifold) (سطح سلس من الاحتمالات) حيث يكون إجمالي كمية الجبن دائماً 100 جرام، لكن الكميات الفردية تستمر في التغير.

لماذا يهم هذا؟ (قسم "لماذا تفشل المقاييس الشائعة")

عادةً، عندما يقيس العلماء مدى "عدم اليقين" في نموذج ما، فإنهم ينظرون إلى مدى تغير المخرجات.

الرؤية القديمة: "إذا كان النموذج يعطي نفس الإجابة في كل مرة، فهو ليس غير متيقن".
رؤية الورقة: "هذا خطأ. قد يعطي النموذج نفس الإجابة، لكن التروس الداخلية (الأوزان) تدور بجنون في اتجاهات مختلفة".

يوضح المؤلفون أنه إذا نظرت فقط إلى الإجابة النهائية (البيتزا)، فستفوتك حقيقة أن الآلات الداخلية فوضوية. هذا الأمر مهم إذا كنت بحاجة لمعرفة كيف يعمل النموذج (لأغراض مثل تصحيح الأخطاء، أو الضغط، أو فهم أي الميزات هي الأكثر أهمية)، وليس فقط معرفة ما هي الإجابة.

ماذا فعلوا؟

النظرية: استخدموا الرياضيات لإثبات أن هذه الشبكات (شبكات ReLU) تخلق ضباباً دائماً من عدم اليقين داخل عقل النموذج بسبب عمليات "التقسيم" و"التبديل" هذه، حتى عندما يكون النموذج مثالياً في أداء مهمته.
الرياضيات: وصفوا هذا الضباب باستخدام أشكال تسمى "متعددات الطيات" (Manifolds). فكر في الأمر كأنه ورقة مسطحة وسلسة تطفو في غرفة ثلاثية الأبعاد. يمكن لأوزان النموذج أن تنزلق في أي مكان على تلك الورقة دون تغيير النتيجة.
التجارب: قاموا ببناء هذه الشبكات وتشغيلها على أجهزة الكمبيوتر. وراقبوا حركة "الأوزان" (الأرقام الداخلية).
- النتيجة 1: أصبحت الشبكات أفضل في التنبؤ كلما رأت المزيد من البيانات.
- النتيجة 2: لكن الأوزان الداخلية لم تتوقف أبداً عن الحركة. ظلت تنزلق على طول تلك "الأسطح" (متعددات الطيات) ويتبادلون الأماكن، مما يثبت أن عدم اليقين بشأن البنية الداخلية لم يختفِ أبداً.
مشكلة أخذ العينات: نظروا أيضاً في كيفية محاولة أجهزة الكمبيوتر "استكشاف" هذه الشبكات (باستخدام طريقة تسمى MCMC). ووجدوا أنه إذا بدأ الكمبيوتر محاكاة في "ترتيب جلوس" معين (تبديل واحد)، فإنه غالباً ما يعلق هناك ولا ينتقل أبداً إلى الترتيبات المكافئة الأخرى، رغم أنها جميعاً صالحة. وهذا يعني أن الطرق الحاسوبية القياسية قد تغفل عن الصورة الكاملة لعدم اليقين.

الخلاصة

تدعي الورقة أن الشبكات العصبية ذات المعلمات الزائدة تمتلك عدم يقين داخلياً دائماً وخفياً حول بنيتها الداخلية.

فضاء الدالة (المخرجات): يصبح النموذج متيقناً. إنه يعرف الإجابة.
فضاء المعلمات (الأوزان الداخلية): يظل النموذج غير متيقن. هو لا يعرف أي مزيج محدد من الأرقام يستخدمه للوصول إلى تلك الإجابة، لأن هناك ملايين المجموعات المتساوية في الجودة.

هذا يشبه طاهياً ماهراً يستطيع طبخ طبق مثالي، ولكن إذا سألته: "هل استخدمت ملعقتين صغيرتين من الملح أم ملعقة صغيرة من الملح وملعقة صغيرة من صوص الصويا؟" فلن يتمكن من إجابتك، لأن كلا الوصفتين تعطيان نفس الطعم تماماً. تجادل الورقة بأننا يجب أن نتوقف عن التظاهر بأن الطاهي يعرف الوصفة الدقيقة لمجرد أن الطعام مذاقه جيد.

ملخص تقني: حول عدم اليقين المعرفي في الشبكات العصبية ذات المعلمات الزائدة

بيان المشكلة

يُعرَّف عدم اليقين المعرفي (Epistemic uncertainty) في تعلم الآلة تقليديًا بأنه عدم يقين قابل للتقليل يتلاشى مع زيادة حجم البيانات، وغالبًا ما يُربط بالتباين التنبؤي. يعتمد هذا المنظور على افتراض إمكانية تحديد المعلمات (parameter identifiability)، حيث يتركز التوزيع البعدي حول متجه معلمات فريد (أو كتلة نقطية) عندما تؤول $n \to \infty$ . ومع ذلك، في الشبكات العصبية ذات المعلمات الزائدة (overparametrized)، تكون المعلمات عادةً غير قابلة للتحديد بسبب التناظرات (مثل ثبات التبديل/permutation invariance) والتمثيلات الفائضة.

المشكلة الجوهرية التي يتناولها البحث هي أنه بينما قد تكون الدالة الأساسية $f^*$ محددة تمامًا، فإن فضاء المعلمات يحتوي على عدم يقين جوهري يستمر حتى مع وجود بيانات لانهائية. تفشل طرق تفكيك عدم اليقين الكلاسيكية، التي تركز على التباين التنبؤي، في التقاط هذا "اللا-يقين المتبقي" لأنها ثابتة تجاه تغيرات المعلمات التي تترك الدالة دون تغيير. وبناءً على ذلك، يوجد تعارض بين الخصائص الهيكلية للنماذج ذات المعلمات الزائدة (حيث لا ينهار التوزيع البعدي إلى نقطة في فضاء المعلمات) وبين طرق قياس عدم اليقين القياسية.

المنهجية

يحلل المؤلفون عدم اليقين المعرفي من خلال منظور عدم إمكانية التحديد باستخدام بنية شبكة ReLU ذات طبقة مخفية واحدة:
$f_w(x) = w_2^\top \phi(W_1 x)$
حيث $\phi(\cdot) = \max(0, \cdot)$ . تفترض الدراسة هدف خسارة مُنظمًا يكافئ توزيعًا بعديًا مع توزيع قبلي غاوسي (Gaussian prior).

تتقدم المنهجية عبر ثلاث مراحل:

التوصيف النظري: يميز المؤلفون بين مصدرين لعدم إمكانية التحديد:
- تناظر التبديل (Permutation Symmetry): في النماذج محددة النموذج ( $M = M^*$ )، ينشأ عدم إمكانية التحديد من تبديل الخلايا العصبية المخفية. يتقارب التوزيع البعدي إلى خليط من مقاييس ديراك (Dirac measures) فوق هذه التبديلات.
- التقسيم المستمر (Continuous Splitting / Manifold Assignment): في النماذج ذات المعلمات الزائدة ( $M > M^*$ )، يمكن تمثيل الخلايا العصبية الحقيقية عبر تركيبات مستمرة من عدة خلايا عصبية فائضة. يؤدي هذا إلى نشوء "متعدد طيات التقسيم" (splitting manifold) $\mathcal{M}_\varsigma$ حيث يمكن إعادة توزيع الأوزان باستمرار مع الحفاظ على نفس الدالة وتكلفة التنظيم.
اشتقاق التوزيع البعدي: تشتق الورقة الشكل الدقيق للتوزيع البعدي الناتج على هذه المتعددات الطيات. وتثبت أنه بالنسبة لخريطة تعيين ثابتة $\varsigma$ (تربط الخلايا العصبية للنموذج بالخلايا العصبية الحقيقية)، فإن معاملات التقسيم تتبع توزيع ديريكليه (Dirichlet distribution) متماثل. كما يعرّف المؤلفون التوزيع البعدي على المتعدد الطيات باعتباره الحد الضعيف للتوزيع البعدي المحيط بشرط وجود أنبوب $\epsilon$ حول المتعدد الطيات عندما $\epsilon \to 0$ .
التحقق التجريبي: يتم التحقق من النتائج النظرية باستخدام الشبكات العصبية البايزية (BNNs) مع توزيعات قبلية واحتمالية غاوسية. يتم إجراء الاستدلال باستخدام خوارزمية SGLD وخوارزمية NUTS. تحلل الدراسة عينات التوزيع البعدي للتحقق من خصائص التقارب، ومعدلات الانتقال بين غرف التبديل (permutation chambers)، وتوزيع معاملات التقسيم.

المساهمات الرئيسية

إعادة صياغة عدم اليقين المعرفي: تجادل الورقة بأن عدم اليقين المعرفي في النماذج ذات المعلمات الزائدة يتضمن مكونًا مستمرًا ناتجًا عن عدم إمكانية التحديد، وهو ما لا يتلاشى مع زيادة البيانات، حتى عندما تكون الدالة التنبؤية محددة تمامًا.
توصيف عدم اليقين المتبقي:
- المصدر المنفصل: في النماذج محددة النموذج، يتجلى عدم اليقين كخليط من مقاييس ديراك فوق مدارات التبديل.
- المصدر المستمر: في النماذج ذات المعلمات الزائدة، يتجلى عدم اليقين كتوزيع غير منحل (non-degenerate) فوق متعدات طيات التقسيم. تشتق الورقة أن معاملات التقسيم تتبع توزيع ديريكليه $\text{Dir}(\alpha, \dots, \alpha)$ حيث $\alpha = (p+1)/2$ .
عزوم المتعدد الطيات والهندسة: يشتق المؤلفون صيغًا صريحة لعزوم الأوزان تحت حالة المعلمات الزائدة. ويظهرون أنه بينما يظل إجمالي مساهمة مجموعة من الخلايا العصبية الفائضة ثابتًا، فإن المساهمة الفردية لكل خلية عصبية تتقلص ( $O(M^{-1/2})$ في المتوسط، و $O(M^{-1})$ في التباين) مع زيادة عرض الشبكة $M$ .
ديناميكيات أخذ العينات: توضح الورقة أن أخذ العينات بطريقة MCMC (في ظل فرضيات استمرارية معينة) تظل محصورة تقريبًا داخل غرفة تبديل واحدة أو داخل متعد طية تعيين واحدة. فهي لا تتنقل طبيعيًا بين الحدود المختلفة للمناطق المتماثلة، مما يعني أن السلسلة الواحدة تستكشف فقط جزءًا من الدعم البعدي الكامل.

النتائج

التقارب مقابل التباين: تؤكد النتائج التجريبية أنه بينما يتقارب الأداء التنبؤي (RMSE, LPPD) نحو الدالة الحقيقية مع زيادة $n$ ، فإن أثر مصفوفة تباين الأوزان يظل غير صفري بسبب تناظرات التبديل والتقسيم.
بنية المتعدد الطيات: في حالات المعلمات الزائدة ( $M > M^*$ )، تتوافق عينات التوزيع البعدي مع التنبؤ النظري بأن معاملات التقسيم تتبع توزيع بيتا (وهو الهامش لتوزيع ديريكليه). وتتطابق التوزيعات التجريبية لمساهمات الأوزان بدقة مع الهوامش النظرية لتوزيع ديريكليه.
سلوك أخذ العينات: تُظهر تجارب NUTS و SGLD أن السلاسل تظل محصورة في غرف تبديل فردية. "معدل التبديل" بين الغرف ضئيل للغاية، و"متوسط الحد الأدنى للهامش" يشير إلى أن السلاسل تقيم في أعماق غرف محددة، ونادرًا ما تعبر الحدود ذات القياس الصفري حيث تصبح الخلايا العصبية قابلة للتبادل.
الأثر العملي: توضح الورقة أن تجاهل عدم إمكانية التحديد يمكن أن يؤدي إلى تقديرات مشوهة في المهام اللاحقة. في التعلم المستمر (EWC)، يمكن لعدم اليقين الناتج عن عدم إمكانية التحديد أن يضخم خطأً أهمية المعلمات، مما يؤدي إلى تحديثات مقيدة للغاية. إن التصحيح لهذا التباين يحسن عملية التكيف. وبالمثل، فإن تشخيصات التقارب القياسية (مثل $\hat{R}$ ) في فضاء المعلمات قد تظل مرتفعة بسبب الاتجاهات غير القابلة للتحديد، حتى عند تحقيق التقارب في فضاء الدالة.

الأهمية والادعاءات

تدعي الورقة أنها تقدم تصحيحًا ضروريًا للمفهوم القياسي لعد عدم اليقين المعرفي في التعلم العميق. وتؤكد أن:

عدم اليقين في المعلمات مستمر: على عكس الرؤية الكلاسيكية حيث يتلاشى عدم اليقين مع البيانات، فإن عدم اليقين في المعلمات في الشبكات ذات المعلمات الزائدة هو أمر غير قابل للاختزال بسبب التناظرات الهيكلية.
فضاء الدالة مقابل فضاء المعلمات: بينما يخفف العمل في فضاء الدالة من هذه المشكلات، فإن الإجراءات التي تعمل مباشرة على الأوزان (مثل التفسير، أو ضغط النموذج، أو التعلم المستمر، أو الاستدلال القائم على أخذ العينات) يجب أن تأخذ في الاعتبار هذا اليقين المتبقي لتجنب الاستنتاجات المضللة.
محدودية الاستدلالات التجريبية: قد تعمل الاستدلالات العملية مثل المجموعات العميقة (deep ensembles) على "توسيط" بعض آثار عدم إمكانية التحديد، لكنها لا تلغي البنية الهندسية الأساسية للتوزيع البعدي. تشير الورقة إلى أن فهم هندسة التوزيع البعدي (تحديدًا المتعددات الطيات الناتجة عن المعلمات الزائدة) أمر بالغ الأهمية لتقدير دقيق لعدم اليقين في فضاء المعلمات.

يظل المؤلفون متواضعين بشأن نطاق عملهم، مشيرين إلى أن نتائجهم الرسمية مشتقة لشبكات ReLU ذات طبقة مخفية واحدة مع توزيعات قبلية غاوسية. ويقرون بأن الشبكات الأكثر عمقًا تقدم عدم إمكانية تحديد إضافية على مستوى الطبقات لا تغطيها نظريتهم، وأن قانون تقسيم ديريكليه المحدد يعتمد على اختيار التوزيع القبلي الغاوسي/تنظيم L2. ومع ذلك، يجادلون بأن آليات تناظر التبديل والتقسيم هي أمور أساسية في النماذج ذات المعلمات الزائدة ومن المرجح أن تمتد إلى بنيات أخرى.