🤖 machine learning

Sphere Retraction Normalizations

تعمم هذه الورقة البحثية "التطبيع الجيوديزي" (Geodesic Normalization) من خلال إثبات أن جميع خرائط الارتداد (retraction maps) لتدفقات البقايا الكروية تختزل إلى معلمة قياسية واحدة تتحكم في زاوية الدوران، مما يؤدي إلى عائلة " $p$ -SpheretNorm" المقترحة التي تتفوق على الأساليب الحالية في نموذج nanoGPT عبر تحديد أن الخريطة الأسية (exponential map) ليست سوى حالة حدية وليست الخيار الأمثل.

المؤلفون الأصليون: Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

نُشر 2026-08-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء ناطحة سحاب من قطع ليغو، ولكن في كل مرة تضيف فيها طابقًا جديدًا، يبدأ البرج بأكمله في التمايل أو الالتواء أو الانهيار. هذا هو الصراع اليومي للعلماء الذين يبنون "الشبكات العصبية العميقة" — وهي الأدمغة الحاسوبية فائقة الذكاء التي تشغل كل شيء، من روبوتات الدردشة إلى مولدات الصور. هذه الشبكات مكونة من طبقات متراكمة فوق بعضها البعض، مثل طوابق المبنى. ولجعلها تعمل، يستخدم المهندسون حيلة خاصة تسمى "الاتصال المتبقي" (residual connection)، وهي تشبه منزلقًا يسمح للمعلومات بتجاوز طابق إلى الطابق التالي، مما يمنع البرج من أن يصبح مهتزًا للغاية.

لفترة طويلة، كانت أفضل طريقة للحفاظ على استقرار هذه الأبراج هي استخدام طريقة تسمى "LayerNorm"، والتي تعمل كمهندس معماري صارم، يتحقق باستمرار من حجم الطوب للتأكد من أنه لا يصبح كبيرًا جدًا أو صغيرًا جدًا. ولكن حتى هذا المهندس المعماري الصارم لديه عيوب: فأحيانًا يصبح البرج طويلًا جدًا وتتوقف الطوابق العليا عن التعلم، أو تصبح الطوابق السفلية متحمسة للغاية مما يؤدي إلى اهتزاز الهيكل بأكته. مؤخرًا، حاولت فكرة جديدة تسمى "التطبيع الجيوديسي" (Geodesic Normalization أو GeoNorm) إصلاح ذلك من خلال تخيل أن البرج ليس مبنيًا على أرض مسطحة، بل على سطح كرة عملاقة غير مرئية. على هذه الكرة، تسلك المعلومات أقصر مسار ممكن، مثل طائرة تحلق فوق الأرض، مما يحافظ على حجم البيانات ثابتًا تمامًا. لقد كانت فكرة عبقرية، لكن العلماء الذين اخترعوها استخدموا أداة رياضية محددة ومعقدة للغاية لرسم ذلك المسار، بافتراض أنها الطريقة الوحيدة للقيال به.

هذه الورقة البحثية، التي تحمل عنوان "Sphere Retraction Normalizations"، تطرح سؤالًا بسيطًا ولكنه ثوري: "هل تلك الأداة المحددة هي الطريقة الوحيدة للمشي على الكرة، أم أن هناك طرقًا أخرى أفضل؟". قرر المؤلفون، جي تشانج، وتشنغ فانغ سو، وفريقهم، التوقف عن معاملة الكرة كمسار صلب ذي مسار واحد، وبدلًا من ذلك نظروا إلى العائلة الكاملة للطرق التي يمكنك بها التحرك عبر سطح منحني. واكتشفوا أن الأداة المعقدة التي كان الجميع يستخدمها (الخريطة الأسية - exponential map) هي في الواقع مجرد طرف متطرف واحد من طيف واسع. ومن خلال استكشاف المنطقة الوسطى، وجدوا طريقتين جديدتين وأبسط للتحرك عبر الكرة، وهما لا يقلان جودة عن الطريقة القديمة في الحفاظ على استقرار البرج، ولكنهما أسهل بكثير في الحساب.

قدم الفريق ثلاث طرق جديدة، يطلقون عليها مجتمعة اسم "SpheretNorms". فكر في الكرة كأنها كرة أرضية عملاقة، والمعلومات كمسافر. الطريقة القديمة (GeoNorm) كانت تشبه مسافرًا يتعين عليه اتباع طريق محدد ومتعرج يتطلب أدوات ملاحة معقدة. أظهر المؤلفون أنه يمكنك اتخاذ اختصار. فقد وجدوا "ارتدادات" (retractions) جديدة (وهي اختصارات رياضية للتحرك على كرة)؛ إحداها تسمى Proj-SpheretNorm، وهي تشبه إسقاط ظل مباشرة إلى الأرض ثم الصعود مجددًا إلى السطح، والأخرى تسمى Cay-SpheretNorm، والتي تستخدم خدعة هندسية ذكية لتدوير المسافر إلى الموقع التالي.

ولإثبات نجاح هذه الأفكار، لم يكتفِ الباحثون بالرياضيات النظرية؛ بل بنوا أبراجًا رقمية باستخدام نموذج ذكاء اصطناعي شهير وخفيف الوزن يسمى "nanoGPT". واختبروا طرقهم الجديدة على مجموعتي بيانات ضخمتين من النصوص: OpenWebText و FineWeb-Edu. بنوا نماذج بارتفاعات مختلفة، تتراوح من 12 إلى 36 طبقة، ودربوها على حوالي 6.55 مليار توكن (التوكن هو قطعة من النص، مثل كلمة أو جزء من كلمة).

كانت النتائج مفاجئة. فبينما كانت طريقة "GeoNorm" القدية جيدة، إلا أنها لم تكن الأفضل. في الواقع، وجد المؤلفون أن المسار "المثالي" ليس عند الطرف المتطرف للطيف حيث تعيش الطريقة القديمة، بل في مكان ما في المنتصف. لقد أنشأوا عائلة مرنة من الطرق تسمى p-SpheretNorm، حيث يتحكم رقم واحد، وهو p، في كيفية تحرك المسافر.

عندما تكون p = 1، تحصل على طريقة "إسقاط الظل" (Proj-SpheretNorm).
عندما تكون p = 2، تحصل على طريقة "الخدعة الهندسية" (Cay-SpheretNorm).
عندما تصبح p كبيرة جدًا، تحصل على طريقة GeoNorm القديمة.
عندما تصبح p صغيرة جدًا، تحصل على الطريقة القياسية للأرض المسطحة.

في تجاربهم، تبين أن Proj-SpheretNorm (حيث p = 1) هي البطلة. ففي النماذج المتوسطة والكبيرة، حققت أدنى مستويات الخسارة في التدريب والتحقق، متفوقة ليس فقط على GeoNorm القديمة، بل وأيضًا على طرق شائعة أخرى مثل Pre-LN و Peri-LN و Keel. على سبيل المثال، في مجموعة بيانات FineWeb-Edu مع نموذج مكون من 24 طبقة، حققت الطريقة الجديدة درجة "الارتباك" (perplexity) في التحقق (وهو مقياس حيث الدرجات الأقل أفضل) بلغت 16.81، مقارنة بـ 19.09 لأفضل طريقة سابقة وهي Peri-LN. وعلى مجموعة بيانات OpenWebText، تفوقت أيضًا على المنافسين.

ولعل الأهم من ذلك هو أن الطرق الجديدة كانت مستقرة للغاية. ففي بعض الاختبارات، فشلت الطرق القديمة مثل Pre-LN و Keel تمامًا، حيث انفجرت درجات التحقق لديها لتصل إلى أرقام مثل 111.70 أو حتى 2081.50، مما يعني أن الذكاء الاصطناعي توقف عن التعلم وبدأ يخمن عشوائيًا. في المقابل، تقاربت جميع طرق SpheretNorm الثلاث بسلاسة في كل الإعدادات، حتى في أعمق النماذج المكونة من 36 طبقة.

كما اختبر المؤلفون هذه النماذج في "المهام اللاحقة" (downstream tasks)، وهي تشبه إعطاء الذكاء الاصطناعي سلسلة من الاختبارات لمعرفة مدى ذكائه. استخدموا 11 معيارًا مختلفًا تغطي أشياء مثل الفهم القرائي، والألغاز المنطقية، والأسئلة العلمية. حقق نموذج 1-SpheretNorm (نسخة p=1) أعلى الدرجات في 11 من أصل 12 معيارًا على بيانات تدريب FineWeb-Edu و 10 من أصل 12 على بيانات OpenWebText. وقد برز بشكل خاص في اختبارات "الارتباك" (perplexity)، حيث قلل درجة الارتباك في مجموعة بيانات LAMBADA من 59.55 (أفضل خط أساس) إلى 46.74، وهو تحسن هائل.

تخلص الورقة البحثية إلى أن الخريطة الأسية المستخدمة في GeoNorm ليست هي "الكأس المقدسة" للحركة الكروية، بل هي مجرد طرف واحد من طيف. ومن خلال اختيار نقطة مختلفة في هذا الطيف (تحديدًا p=1)، يمكننا بناء نماذج ذكاء اصطناعي أكثر عمقًا واستقرارًا ودقة دون الحاجة إلى حسابات معقدة. ويشير المؤلفون إلى أن هذا يفتح طريقة جديدة للتفكير في كيفية ربط الطبقات في الشبكات العصبية، بالانتقال من الحلول الصلبة ذات المسار الواحد إلى عائلة مرنة من الخيارات الهندسية. وبينما يشيرون إلى أن هذه الطرق قد لا تعمل مع كل أنواع بنيات الذكاء الاصطناعي (مثل تلك التي تحتاج إلى الحفاظ على تناظرات معينة)، فقد أثبتوا بنجاح أنه على الكرة الفائقة (hypersphere)، هناك عالم كامل من المسارات الأفضل في انتظار الاستكشاف.

ملخص تقني: تطبيع استرجاع الكرة (Sphere Retraction Normalizations)

بيان المشكلة
لا يزال تدريب الشبكات العصبية العميقة بشكل مستقر يمثل تحديًا كبيرًا. المنهجيات الحالية، التي تعتمد أساسًا على الاتصالات المتبقية (residual connections) مقترنة بالتطبيع (مثل Pre-LN و Post-LN في نماذج Transformer)، تظهر قيودًا جوهرية. تعاني بنيات Pre-LN من "لعنة العمق"، حيث تساهم الطبقات الأعمق بشكل متناقص في التعلم، وتسمح مسارات متبقية غير محدودة بتراكم تنشيطات ضخمة، مما يؤدي إلى ظاهرة "بالوعات الانتباه" (attention sinks). وفي المقابل، تواجه بنيات Post-LN تدرجات كبيرة بالقرب من طبقة المخرجات عند بدء التشغيل، مما يستلزم جداول زمنية دقيقة لرفع معدل التعلم (warm-up) تبطئ عملية التحسين. وبينما تحاول الأعمال الحديثة مثل التنميط الجيوديسي (GeoNorm) تثبيت التدريب عبر حصر الحالات الخفية داخل كرة فائقة (hypersphere) عبر الهندسة الريمانية، إلا أنها تعتمد حصريًا على الخريطة الأسية (exponential map) للتحديثات. ويفترض المؤلفون أن الخريطة الأسية هي مجرد عضو واحد ضمن عائلة أوسع من خرائط الاسترجاع (retraction maps)، مما يثير التساؤل عما إذا كانت خرائط الاسترجاع البديلة على الكرة الفائقة يمكن أن تقدم أداءً أو استقرارًا فائقًا.

المنهجية
تقترح الورقة إطارًا موحدًا للاتصالات العميقة يعتمد على خرائط الاسترجاع على كرة فائقة، ويُطلق عليها اسم تطبيع استرجاع الكرة (SpheretNorms).

إطار عمل موحد: أعاد المؤلفون صياغة الاتصالات المتبقية القياسية (RC) وGeoNorm ضمن هيكل حسابي موحد معرف على متشعب (manifold) $\mathcal{M}$ . تُصاغ قاعدة التحديث كالتالي:
$h_l = R_{h_{l-1}}\left[ \alpha_l \cdot \text{proj}_{T_{h_{l-1}}\mathcal{M}}(F_l(h_{l-1})) \right]$
حيث $R$ هي خريطة استرجاع. وبينما يختار GeoNorm الكرة الفائقة ( $S^{d-1}$ ) والخريطة الأسية، فإن هذا الإطار يسمح بخرائط استرجاع أخرى.
نماذج محددة:
- Proj-SpheretNorm: ينفذ الإطار باستخدام استرجاع الإسقاط المتري (المعروف أيضًا باسم الاسترجاع الغنوموني/gnomonic retraction). يتضمن ذلك تطبيع متجه الجمع بين الحالة الحالية والتحديث ليكون واقعًا على الكرة الفائقة.
- Cay-SpheretNorm: يستخدم استرجاع كايلي (الاسترجاع الستيريوغرافي)، المستمد عبر تحويل كايلي لمصفوفة متماثلة مائلة (skew-symmetric) ناتجة عن الحالة الحالية ومتجه التحديث. ينتج عن ذلك تحديث جبري مغلق الصيغة.
التعميم (p-SpheretNorm): لاحظ المؤلفون أن كلاً من Proj-SpheretNorm وCay-SpheretNorm يشتركان في بنية دوران مستوٍ حيث يتم تحويل مقدار التحديث إلى زاوية دوران. وقد قدموا عائلة ذات معامل واحد، p-SpheretNorm، المعرفة بزاوية دوران $\theta_l = p \arctan(\beta_l / p)$ ، حيث $\beta_l$ هو حجم الخطوة الموحد.
- عندما $p=1$ ، نستعيد Proj-SpheretNorm.
- عندما $p=2$ ، نستعيد Cay-SpheretNorm.
- عندما $p \to \infty$ ، تتقارب نحو GeoNorm (الخريطة الأسية).
- عندما $p \to 0^+$ ، تتقارب نحو دالة المحايدة (identity mapping).
- والأهم من ذلك، بالنسبة لقيم $p$ المحدودة، تتشبع زاوية الدوران، مما يمنع النمو غير المحدود، على عكس الخريطة الأسية.
تفاصيل التنفيذ: لضمان الاستقرار، يستخدم المؤلفون عامل اضمحلال $\lambda_l = 1/\sqrt{l}$ لحجم الخطوة القابل للتعلم $\alpha_l$ ، ويطبقون نسخة معدلة من ScaleNorm في الطبقة الأولى لتهيئة نصف قطر الحالة الخفية.

المساهمات الرئيسية

التوحيد النظري: توحد الورقة الاتصالات المتبقية الإقليدية وGeoNorm كتحديثات قائمة على الاسترجاع، مبرهنةً أن GeoNorm هي حالة خاصة من الاتصال المتبقي الريماني المدفوع بالخريطة الأسية.
طبقات تطبيع مبتكرة: قدمت طبقتين جديدتين للتطبيع حافظتين على المعيار (norm-preserving) تعتمدان فقط على العمليات الجبرية، متجنبتين التكلفة الحسابية للدوال المثلثية المطلوبة في الخريطة الأسية.
عائلة بارامترية: قامت بتعميم هذه الطرق في p-SpheretNorm، وهي عائلة ذات معامل واحد تربط بين دالة المحايدة، والاسترجاعات الجبرية، والخريطة الأسية. أثبت المؤلفون أن جميع أعضاء هذه العائلة هي استرجاعات من الدرجة الثانية لها ديناميكيات مماسية متطابقة من الدرجة الأولى.
التفوق التجريبي: أظهرت التجارب المكثفة على نماذج nanoGPT (حتى 36 طبقة، و6.55 مليار توكن) أن 1-SpheretNorm (المقابل لـ $p=1$ ) حقق أدنى مستويات فقدان في التدريب المسبق والتحقق وأعلى دقة في مهام الصفر (zero-shot accuracy) عبر مجموعات بيانات OpenWebText وFineWeb-Edu، متفوقًا على Pre-LN وPre-DyT وPeri-LN وKeel وGeoNorm. ومن الجدير بالذكر أن 1-SpheretNorm يتقارب في الإعدادات التي تباعدت فيها نماذج Pre-LN وKeel.

النتائج

التدريب المسبق: في النماذج المتوسطة (24 طبقة) والكبيرة (36 طبقة)، حقق 1-SpheretNorm أفضل درجة تعقيد (perplexity) للتحقق. على سبيل المثال، في FineWeb-Edu عند 24 طبقة، خفض درجة تعقيد التحقق من 19.09 (في Peri-LN) إلى 16.81.
الاستقرار: على عكس Pre-LN (الذي تباعد في OpenWebText عند الحجم المتوسط) وKeel (الذي تباعد في FineWeb-Edu عند الحجم الصغير)، تقاربت جميع متغيرات SpheretNorm في جميع الإعدادات المختبرة.
المهام اللاحقة: في النماذج كبيرة الحجم المدربة على FineWeb-Edu، حققت متغيرات SpheretNorm أفضل نتيجة في 11 من أصل 12 مقياسًا؛ وعلى OpenWebText، حققت أفضل نتيجة في 10 من أصل 12 مقياسًا. كانت المكاسب أكثر وضوحًا في مقاييس التعقيد (مثل LAMBADA وWikiText-2)، حيث تفوق 1-SpheretNorm بشكل كبير على GeoNorm والنماذج المرجعية الأخرى.
حساسية البارامترات: تشير النتائج إلى أن الأداء الأمثل يتحقق عند قيم $p$ المحدودة (تحديدًا $p=1$ )، مما يشير إلى أن الخريطة الأسية (التي تمثل النهاية عند $p \to \infty$ ) ليست الاسترجاع المفضل لتدفقات المسار المتبقي الكروي، بل هي مجرد طرف في طيف واسع.

الأهمية والادعاءات
تدعي الورقة أن اختيار خريطة الاسترجاع هو خيار تصميم حاسم للاتصالات العميقة على الكرات الفائقة. ومن خلال الانتقال من الخريطة الأسية إلى الاسترجاعات الجبرية (وتحديدًا الإسقاط المتري)، يثبت المؤلفون أنه من الممكن تحقيق الحفاظ على المعيار واستقرار التدريب مع أداء فائق. يشير العمل إلى أن "الخريطة الأسية" ليست ضرورة أساسية للاستقرار في التعلم العميق على المتشعبات، بل هي مجرد نقطة محددة في طيف أوسع من التحديثات الهندسية الصالحة. ويخلص المؤلفون إلى أن تصميم آليات الاتصال العميق هو مشكلة رياضية تقع عند تقاطع نظرية المخططات (graph theory)، والتحسين، والأنظمة الديناميكية، وأن تحديد المقايضة المثلى بين انتشار المعلومات وتكييف جاكوبي (Jacobian conditioning) لا يزال اتجاهًا مفتوحًا للعمل المستقبلي. كما يقرون بالقيود المتعلقة بالبنيات المتخصصة (مثل الشبكات العصبية المتكافئة/Equivariant Neural Networks) والحاجة إلى التقييم على نماذج أكبر نطاقًا من النطاق الحالي.

أبحاث مشابهة