📊 statistics

Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise

تتقصى هذه الورقة كيف تقوم الشبكات العصبية ذات المعلمات الزائدة بحفظ التسميات الضوضائية والتعميم على المهام الحسابية في آن واحد، كاشفةً أنه بينما تعمل الضوضاء على كبح مخرجات بنية تعميم داخلية، يمكن استعادة هذه البنية بفعالية من خلال الطرق القائمة على التردد حتى في ظل وجود ضوضاء تسمية كثيفة.

المؤلفون الأصليون: Linyu Liu, Pinyan Lu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Linyu Liu, Pinyan Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريس طالب ذكي جداً، ولكنه فوضوي بعض الشيء، كيفية إجراء العمليات الحسابية. أنت تعطيه مجموعة من مسائل التدريب، لكنك أخطأت دون قصد وخلطت معها بعض المسائل ذات الإجابات الخاطئة (الضجيج).

عادةً، نعتقد أن الطالب الذي يحفظ الإجابات الخاطئة سيخفق في الاختبار الحقيقي. لكن هذه الورقة البحثية تكتشف شيئاً مفاجئاً: يمكن للطالب في الواقع تعلم القواعد الرياضية الصحيحة وحفظ الإجابات الخاطئة في نفس الوقت. إنه فقط يخفي القواعد الصحيحة داخل عقله بينما يستمر لسانه في قول الأشياء الخاطئة.

إليك تفصيل لما وجده الباحثون، باستخدام تشبيهات بسيطة:

1. مفاجأة "الانحدار المزدوج" (Double Descent)

في الأيام الخوالي لتعلم الآلة، كنا نعتقد أن النماذج الأكبر هي مجرد "إسفنجات أكبر" ستمتص كل خطأ وتفشل.

التشبيه: تخيل طالباً صغيراً جداً بحيث لا يستطيع فهم الرياضيات. هو يخمن عشوائياً. ومع كبر حجمه (زيادة عدد الخلايا العصبية)، يبدأ في حفظ الإجابات الخاطئة المحددة التي أعطيتها له، لذا يصبح أسوأ في الاختبار الحقيقي.
التحول: ولكن إذا جعلت الطالب ضخماً جداً (مفرط المعلمات)، يحدث شيء سحري. يصبح كبيراً جداً لدرجة أنه يمكنه استيعاب شيئين في آن واحد: فهم مثالي للقواعد الرياضية و قائمة بكل الإجابات الخاطئة.
النتيجة: كلما كان النموذج أكبر، أصبح أفضل في الاختبار الحقيقي، حتى لو كانت بيانات التدريب مليئة بالأكاذيب. هم فقط يحتاجون إلى "عادات دراسية" صحيحة (إعدادات التحسين) لفتح هذه القدرة.

2. ظاهرة "الأخبار السيئة تنتقل بشكل أسرع"

أحد أكثر النتائج التي لا تتوافق مع الحدس هي حول متى يتعلم الطالب الأشياء.

التشبيه: قد تتوقع أن يتعلم الطالب القواعد المنطقية الصحيحة أولاً، ثم يحفظ ببطء الأخطاء الغريبة والعشوائية.
الواقع: وجدت الورقة أن الطالب يحفظ الإجابات الخاطئة أولاً. الأمر يشبه سماع الطالب لصرخة عالية ومربكة (الضجيج) فيقوم فوراً بتدوينها لأنها سهلة الالتقاط. أما القواعد الهادئة والمنطقية (البيانات النظيفة) فتستغرق وقتاً أطول لتترسخ.
لماذا يهم هذا: هذا يعني أنه إذا أوقفت تدريب الطالب مبكراً جداً، فلن يعرف سوى الأكاذيب. يجب أن يستمر التدريب لفترة كافية حتى يتمكن "المنطق" من اللحاق بـ "الحفظ" والتفوق عليه.

3. "المكتبة المخفية" مقابل "الفم المليء بالضجيج"

حتى عندما يتم تدريب النموذج على بيانات خاطئة بنسبة 80%، فإنه لا يزال يتعلم القواعد الرياضية الصحيحة داخل عقله. المشكلة هي أن "الضجيج" عالٍ جداً لدرجة أنه يغطي على الإجابة الصحيحة عندما يتحدث النموذج.

التشبيه: تخيل مكتبة حيث الكتب الصحيحة منظمة بدقة على الرفوف (البنية الداخلية)، ولكن شخصاً ما قام بلصق ملاحظات عشوائية غير مفهومة على جميع الأغلفة (الضجيج). إذا نظرت فقط إلى الأغلفة، سيبدو الأمر فوضوياً.
الاكتشاف: وجد الباحثون طريقة لـ "تقشير" الملاحظات اللاصقة. من خلال استخدام مرشح ترددات (أداة تبحث عن الأنماط المتكررة، مثل جهاز ضبط النغمات الموسيقية)، تمكنوا من عزل "المكتبة الصحيحة" عن "الأغلفة غير المفهومة".
النتيجة: حتى مع وجود ضجيج بنسبة 80%، استطاعوا استخراج المكتبة المخفية والحصول على درجات تقارب الكمال في الاختبار. القواعد كانت موجودة طوال الوقت؛ كانت فقط مدفونة تحت الضجيج.

4. لماذا لا يمكنك مجرد "استئصال" الأجزاء السيئة

حاول الباحثون طريقة أبسط: حاولوا تحديد الخلايا العصبية (خلايا الدماغ) المسؤولة عن الرياضيات الجيدة واستئصال تلك المسؤولة عن الضجيج السيئ.

التشبيه: تخيل محاولة إصلاح غرفة فوضوية عن طريق رمي الأشياء "السيئة" والاحتفاظ فقط بالأشياء "الجيدة".
الفشل: لم ينجح هذا جيداً. لماذا؟ لأن الرياضيات "الجيدة" والضجيج "السيئ" ليسا مخزنين في غرف منفصلة. إنهما مختلطان معاً في نفس الخلايا العصبية، مثل المكونات في "السموذي". لا يمكنك ببساطة اختيار الفراولة دون فقدان الموز.
الاستنتاج: للحصول على الأشياء الجيدة، تحتاج إلى أداة متطورة (مثل مرشح الترددات المذكور أعلاه) يمكنها فصل المكونات بناءً على "نكهتها" (البنية الرياضية)، وليس فقط من خلال محاولة إزالة خلايا عصبية محددة.

ملخص

تظهر هذه الورقة أن نماذج الذكاء الاصطناğı الضخمة قوية للغاية. حتى عند تغذيتها بنظام غذائي من الأكاذيب، لا تزال قادرة على تعلم الحقيقة. إنهم يتعلمون الحقيقة ببطء ويخفونها في العمق، بينما يحفظون الأكاذيب بسرعة على السطح. مع الأدوات المناسبة، يمكننا استخراج تلك الحقيقة المخفية، مما يثبت أن النموذج لم يقم فقط بحفظ الضجيج - بل تعلم القواعد بالفعل.

ملخص تقني: كشف النقاب عن التعايش بين الحفظ والتعميم

بيان المشكلة

تُظهر النماذج عالية التفرط في المعلمات (highly over-parameterized)، مثل النماذج اللغوية الكبيرة، قدرة على حفظ الملصقات المشوشة (noisy labels) والتعميم بشكل جيد على البيانات غير المرئية في آن واحد. ومع ذلك، لا تزال الآليات الداخلية التي تحكم كيفية تعايش هذين السلوكين المتميزين غير مفهومة بشكل جيد. في الإعدادات الواقعية، غالبًا ما تكون بيانات التدريب ملوثة بالضجيج (مثل العينات المصنفة خطأً)، مما يخلق صراعًا داخليًا بين التعميم (اكتشاف القواعد الهيكلية القابلة للتطبيق على البيانات غير المرئية) والحفظ (ملاءمة ملصقات مشوشة محددة لا تعكس القواعد الأساسية).

يعد تشخيص هذا التفاعل في المهام المعقدة والواقعية أمرًا صعبًا لأن الدقة العالية في الاختبار لا تميز بطبيعتها بين تعلم القواعد الحقيقية أو استغلال الأنماط المحلية أو الاختصارات. ولمعالجة ذلك، يستقصي المؤلفون مهام الحساب النمطي (تحديدًا الجمع والضرب بمقياس $P$ ) كبيئة تجريبية محكومة. وقد تم اختيار هذه المهام لتميزها الواضح بين التعميم القائم على القواعد والحفظ النقطي، ولإظظهارها ظاهرة "النمو" (grokking) (حيث يحدث التعميم بعد فترة طويلة من الحفظ)، ولتوافر حلول تحليلية معروفة لتكوينات نماذج معينة.

المنهجية

تستخدم الدراسة شبكة عصبية ذات طبقتين مُعلمة بـ $\theta = \{W, U, V, \mu\}$ يتم تدريبها على مهام الحساب النمطي مع إدخال ضجيج في الملصقات. يتم تغيير نسبة الضجيج $\alpha$ ، حيث يتم تخصيص ملصقات عشووية منتظمة لمجموعة فرعية من بيانات التدريب تختلف عن النتيجة الحقيقية.

يعالج البحث ثلاثة أسئلة رئيسية من خلال تجارب مكثفة تغطي مختلف دوال التنشيط (ReLU، التربيعية، GeLU، LeakyReLU)، والمحسنات (Adam، AdamW، Muon، SGD)، وقوة التنظيم:

س1: تحت أي ظروف يؤدي زيادة حجم النموذج إلى تحسين التعميم مع وجود ملصقات مشوشة؟
س2: هل يمكن للنماذج استعادة القواعد الهيكلية الداخلية في ظل وجود ضجيج حاد في الملصقات؟
س3: هل يمكن فصل الخلايا العصبية المسؤولة عن التعميم عن تلك المستخدمة للحفظ؟

تتضمن المنهجية ما يلي:

تحليل ديناميكيات التدريب: تتبع الدقة على المجموعات الفرعية النظيفة مقابل المشوشة أثناء التدريب لمراقبة ترتيب التعلم.
ترشيح التردد (FF): الاستفادة من الحل التحليلي المعروف للتنشيطات التربيعية (التي تُظهر هياكل دورية) لتفكيك أوزان شبكة ReLU. يفترض المؤلفون أن إشارة التعميم تُحمل بواسطة مكون التردد المهيمن للأوزان، بينما يتم ترميز الحفظ في الترددات المتبقية.
تقسيم الشبكة: محاولة تقسيم الشبكة إلى شبكات فرعية للتعميم والحفظ باستخدام درجات أهمية الخلايا العصبية غير المرتبطة بالمهمة (نسبة المشاركة العكسية وقوة الخلية العصبية) مقابل الأولويات الترددية الخاصة بالمهمة.

النتائج الرئيسية

1. القياس والنزول المزدوج (Double Descent)

لاحظ المؤلفون بقوة ظاهرة النزول المزدوج في وجود ضجيج الملصقات.

التفرط في المعلمات: ضمن نظام التفرط في المعلمات، يؤدي زيادة حجم النموذج باستمرار إلى تحسين دقة الاختبار، بشرط تكوين التحسين والتنظيم بشكل صحيح.
التنظيم: ينقل التنظيم الأقوى النموذج من نظام التفرط في المعلمات نحو نظام نقص المعلمات، مما يؤخر النزول الثاني.
دوال التنشيط: تُظهر نماذج ReLU دقة اختبار غير متناقصة في نظام التفرط في المعلمات. في المقابل، تُظهر النماذج ذات التنشيطات التربيعية أو GeLU سقفًا في دقة الاختبار مع زيادة حجم النموذج، ربما بسبب قيود التماثل في كيفية امتصاص الضوضاء.

2. ديناميكيات تعلم غير متوقعة

من النتائج الهامة هي أن الملصقات المشوشة يتم حفظها بشكل أسرع من الملصقات النظيفة خلال دورات التدريب الأولية، بغض النظر عن المحسن (AdamW، Adam، Muon) أو نسبة الضوضاء.

يُعزى هذا الانعكاس في ترتيب التعلم التقليدي إلى ديناميكيات التدريب بالدفعة الكاملة (full-batch). فالمجموعة الفرعية المشوشة، لكونها أصغر، تتلقى إشارة تحسين أقوى لكل عينة من تدرج الدفعة الكاملة مقارنة بالمجموعة الفرعية النظيفة الأكبر، مما يؤدي إلى ارتفاع دقتها في وقت مبكر.
لوحظت هذه الظاهرة أيضًا في تجارب MNIST، مما يشير إلى أنها خاصية أوسع للتحسين المبكر بالدفعة الكاملة تحت تأثير فساد الملصقات الصريح.

3. تعايش القواعد والضجيج

حتى تحت ضجيج حاد في الملصقات (يصل إلى 80%)، تتعلم النماذج داخليًا القاعدة الجبرية الصحيحة، رغم أن هذه القاعدة يتم قمعها في المخرج الخام بسبب الحاجة إلى ملاءمة الملصقات المشوشة.

ترشيح التردد: من خلال عزل مكون التردد المهيمن للأوزان (المتماشي مع الحل التحليلي للتنشيطات التربيعية)، يمكن للمؤلفين استخراج شبكة فرعية تحقق دقة اختبار تقارب الكمال، حتى عندما يكون مخرج النموذج الكامل فاسدًا بشدة.
المتبقيات: تحتفظ مكونات التردد المتبقية أساسًا بالقدرة على ملاءمة الملصقات المشوشة ولكنها تساهم بقدر ضئيل في التعميم.
استقلال التنشيط: استبدال تنشيط ReLU بتنشيط تربيعي أو (Reverse ReLU) في شبكة مدربة يحافظ على التعميم أو يحسنه، مما يشير إلى أن الأوزان المتعلمة تشفر بالفعل تمثيلًا لقاعدة متماثلة متوافقة مع هذه الدوال.

4. حدود الفصل غير المرتبط بالمهمة

يستقصي البحث ما إذا كان يمكن فصل التعميم والحفظ على مستوى الخلية العصبية دون الاعتماد على أولويات خاصة بالمهمة (مثل الهيكل الترددي).

اختيار الخلايا العصبية: باستخدام مقاييس مثل نسبة المشاركة العكسية (IPR) أو قوة الخلية العصبية (Str.)، يقوم المؤلفون بتقليم الشبكة لاختيار الخلايا العصبية للتعميم. وبينما يحسن هذا التعميم قليلاً، إلا أن المكسب أضعف بكثير مما حققه ترشيح التردد.
التشابك: تشير النتائج إلى أن البنية القابلة للتعميم ليست محصورة في مجموعة فرعية صغيرة من الخلايا العصبية بل هي موزعة بشكل منتشر عبر الشبكة ومتشابكة بعمق مع المكونات المستخدمة لحفظ الضجيج. لا يمكن للتقليم غير المرتبط بالمهمة استخراج هيكل القاعدة الذي تعلمه النموذج بشكل كامل.

الأهمية والادعاءات

يدعي البحث توفير حد صارم وقابل للتحقق بين التعميم الهيكلي والحفظ غير الهيكلي في التعلم المتفرط في المعلمات. وتتمثل مساهماته الرئيسية في:

الرؤية الآلية: يوضح أن النماذج المتفرطة في المعلمات يمكنها تعلم القواعد الأساسية داخليًا حتى في ظل وجود ضجيج صريح في الملصقات، ولكن هذه القواعد تُحجب بسبب ضرورة ملاءمة الضجيج.
فك الارتباط القائم على التردد: يقدم طريقة (ترشيح التردد) تنجح في فك الارتباط بين التعميم والحفظ في مهام الحساب النمطي من خلال استغلال الأولويات الهيكلية للمهمة، مما يستعيد دقة تقارب الكمال من تدريب فاسد بشدة.
محدودية التقليم اللاحق: يسلط الضوء على قصور جوهري في أدوات مستوى الخلية العصبية الحالية. فبينما يوفر اختيار الخلايا العصبية غير المرتبط بالمهمة تحسينات طفيفة، فإنه يفشل في استخراج الهيكل القابل للتعميم لأن القاعدة موزعة ومتشابكة عبر الشبكة.
الآثار الأوسع: يشير المؤلفون إلى أن نماذج التعلم المستقبلية قد تحتاج إلى عزل الحفظ عن الاستدلال المنطقي صراحةً أثناء التدريب، وأن استخراج المعرفة الفعال لاحقًا قد يتطلب أولويات هيكلية خاصة بالمجال بدلاً من درجات الأهمية العامة.

يقر المؤلفون بأن إعدادهم يبسط التباين المعقد لمهام الرؤية الطبيعية أو اللغة. ومع ذلك، يجادلون بأن هذا الإعداد المحكوم ضروري لدراسة تعايش الحفظ والتعميم بصرامة، مما يوفر أدلة تأسيسية على أن هاتين العمليتين متشابكتان بعمق في الشبكات المتفرطة في المعلمات.