🤖 machine learning

A projection-based framework for gradient-free and parallel learning

تقدم هذه الورقة PJAX، وهو إطار عمل قائم على JAX يعيد صياغة تدريب الشبكات العصبية كمسألة جدوى قابلة للتوازي وخالية من التدرج باستخدام مؤثرات إسقاط تكرارية، مما يقدم بديلاً مقنعاً للتحسين التقليدي القائم على التدرج مع مزايا في التعامل مع العمليات غير القابلة للاشتقاق وتمكين التوازي الهائل.

المؤلفون الأصليون: Andreas Bergmeister, Manish Krishan Lal, Stefanie Jegelka, Suvrit Sra

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Andreas Bergmeister, Manish Krishan Lal, Stefanie Jegelka, Suvrit Sra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز ضخم ومعقد، مثل أحجية ثلاثية الأبعاد عملاقة أو مكعب روبيك، ولكنك لا تعرف الصورة النهائية.

الطريقة القديمة (التعلم القائم على التدرج - Gradient-Based Learning)
تتعلم معظم نماذج الذكاء الاصطناً الحالية باستخدام طريقة تسمى "الانتشار العكسي" (backpropagation). فكر في هذا الأمر كمتسلق يحاول العثور على قاع وادٍ ضبابي (الحل الأمثل). يشعر المتسلق بالمنحدر تحت قدميه (التدرج/gradient) ويأخذ خطوة نحو الأسفل. يستمر في فعل ذلك، خطوة بخوة، حتى يصل إلى نقطة منخفضة.

المشكلة: أحياناً يعلق المتسلق في منخفض صغير (نهاية صغرى محلية) ليس هو القاع الحقيقي. وأحياناً يكون المسار شديد الانحدار أو مسطحاً جداً بحيث يضيع المتسلق أو يتحرك ببطء شديد. أيضاً، لكي يعرف المتسلق اتجاه "الأسفل"، يتعين عليه إرسال إشارة من أسفل الوادي وصولاً إلى قمته، وهو أمر بطيء ويتطلب مساراً محدداً ومتماثلاً للغاية.

الطريقة الجديدة (التعلم القائم على الإسقاط - Projection-Based Learning)
يقترح مؤلفو هذه الورقة استراتيجية مختلفة تماماً. بدلاً من محاولة البحث عن قاع الوادي، هم يعاملون التدريب كـ مسألة إمكانية تحقيق (feasibility problem).

تخيل أن لديك غرفة مليئة بالجدران، وكل جدار له قاعدة محددة.

الجدار (أ) يقول: "يجب أن يكون المكعب الأحمر بجانب المكعب الأزرق".
الجدار (ب) يقول: "يجب أن يكون المكعب الأخضر فوق المكقب الأحمر".
الجدار (ج) يقول: "يجب أن يكون الوزن الإجمالي 50 كجم".

هدفك ليس التزحلق على تلة؛ بل هو العثور على ترتيب واحد فقط للمكعبات حيث يتم استيفاء قاعدة كل جدار في نفس الوقت.

كيف يعمل الأمر: استعارة "الإسقاط" (The Projection Metaphor)
يسمي المؤلفون طريقتهم "القائمة على الإسقاط". وإليكم كيف تعمل:

التقسيم: يقومون بتقسيم اللغز الضخم (الشبكة العصبية) إلى قطع صغيرة وبسيطة تسمى "الدوال الأولية" (مثل عمليات رياضية بسيطة: جمع الأرقام، أو ضربها، أو تحديد ما إذا كان الرقم موجباً).
الإصلاح المحلي: بدلاً من النظر إلى اللغز بأكمله، ينظرون إلى جدار واحد فقط (قاعدة واحدة). إذا لم تتناسب المكعبات مع قاعدة هذا الجدار، فإنهم "يسقطون" (project) المكعبات على الجدار. تخيل تسليط ضوء على المكعبات؛ الظل الذي تلقيه على الجدار هو الموضع "الصحيح" لتلك القاعدة المحددة.
قوة التوازي: هذا هو الجزء السحري. بما أن كل جدار يهتم فقط بجيرانه المباشرين، يمكنك إصلاح الجدار (أ)، والجدار (ب)، والجدار (ج) جميعهم في وقت واحد. ليس عليك الانتظال حتى ينتهي الجدار (أ) قبل البدء في الجدار (ب). هذا يشبه وجود فريق من 100 شخص يقومون بإصلاح أجزاء مختلفة من منزل في آن واحد، بدلاً من شخص واحد يقوم بإصلاح السقف، ثم المطبخ، ثم الحمام، واحداً تلو الآخر.
التكرار: يقومون بهذا مراراً وتكراراً. في كل مرة، يقومون بتحريك المكعبات لتناسب القواعد المحلية بشكل أفضل. في النهاية، تستقر المكعبات في موضع يستوفي جميع القواعد في آن واحد. هذا هو الذكاء الاصطناي المدرب الخاص بك.

لماذا هذا الأمر رائع (وفقاً للورقة البحثية)

لا حاجة لـ "المنحدر": لست بحاجة لحساب "المنحدر" (gradient). وهذا يعني أنه يمكنك استخدام قواعد "متعرجة" أو غير مستمرة (غير قابلة للاشتقاق)، مثل مفتاح يكون إما "تشغيل" أو "إيقاف". الطريقة القديمة تعاني مع هذه القواعد؛ أما هذه الطريقة الجديدة فتتعامل معها بسهولة.
المحاكاة البيولوجية: في الدماغ، لا ترسل الخلايا العصبية "إشارة خطأ" عالمية من نهاية الفكرة إلى بدايتها. إنها فقط تعدل نفسها بناءً على ما يفعله جيرانها المباشرين. هذه الطريقة الجديدة تحاكي هذا التعديل المحلي من جار لجار.
السرعة: بما أن الجميع يعملون بالتوازي، يمكن أن يكون هذا أسرع بكثير على شرائح الكمبيوتر الحديثة (GPUs/TPUs) المصممة للقيام بالعديد من الأشياء في وقت واحد.

المقايضة: تكلفة "الذاكرة"
تعترف الورقة بأن هناك عقبة. للقيام بذلك، يجب على الكمبيوتر تذكر موضع كل "حافة" في اللغز عند كل خطوة.

الاستعارة: في الطريقة القديمة، أنت تتذكر فقط الموقع الحالي للمتسلق. في هذه الطريقة الجديدة، عليك تذكر موضع كل مكعب في الغرفة، وكل اتصال بينها، لكل شخص في فريقك.
النتيجة: هذا يستخدم ذاكرة كمبيوتر (RAM) أكبر بكثير. اضطر المؤلفون إلى تقليص بعض النماذج الاختبارية لتناسب ذاكرة حواسيبهم، بينما كانت الطريقة القديمة تستطيع التعامل مع نماذج أكبر بسهء أكبر.

النتائج
بنى المؤلفون أداة برمجية تسمى PJAX (Projection JAX) لاختبارها. جربوها على أنواع مختلفة من الألغاز:

الأنماط البسيطة (MLPs)
التعرف على الصور (CNNs)
التنبؤ باللغة (RNNs)

وجدوا أنه بينما لا تزال "الطريقة القديمة" (باستخدام محسنات Adam أو SGD) هي البطل في السرعة الخام والدقة النهائية في كثير من الحالات، إلا أن هذه الطريقة الجديدة "القائمة على الإسقاط" تعمل بشكل جيد بشكل مدهش. إنها بديل قابل للتطبيق لأنها:

تتعلم دون الحاجة إلى التدرجات (gradients).
تتعامل مع القواعد "المتعرجة" التي تربك الطرق الأخرى.
تتعلم بكفاءة عالية على الأجهزة المتوازية، خاصة لمهام نمذجة اللغة حيث تعاني الطريقة القديمة من مشكلة "تلاشي التدرجات" (نسيان بداية الجملة).

باخت ملخص
تقول الورقة: "توقف عن محاولة التزحلق على تلة للعثور على الإجابة. بدلاً من ذلك، عامل المشكلة كمجموعة من القواعد المحلية. أصلح كل قاعدة محلياً وفي وقت واحد، وفي النهاية، سيتجه النظام بأكمله إلى مكانه الصحيح". إنها طريقة جديدة لتدريب الذكاء الاصطناعي تكون أكثر توازياً، وأكثر مرونة مع أنواع مختلفة من الرياضيات، ولكنها حالياً تتطلب ذاكرة أكبر.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "إطار عمل قائم على الإسقاط للتعلم الخالي من التدرج والمتوازي".

1. بيان المشكلة

تتناول الورقة القيود الجوهرية في النموذج السائد لتدريب التعلم العميق: التحسين القائم على التدرج عبر الانتشار العكسي (backpropagation). ورغم فاعليته العالية، إلا أن هذا النهج يواجه عدة تحديات حرجة:

متطلب القابلية للاشتقاق: يتطلب أن تكون جميع مكونات الشبكة ودوال الخسارة (دالة الفقد) قابلة للاشتقاق (أو الاشتقاق الجزئي)، مما يستبعد العمليات غير القابلة للاشتقاق (مثل التكميم أو المنطق المتقطع).
عنق الزجاجة التسلسلي: عملية الانتشار الخلفي هي بطبيعتها عملية تسلسلية، مما يحد من التوازي ويزيد من زمن تأخير التحديث، خاصة في البنى العميقة.
عدم الواقعية البيولوجية: تُعتبر آلية نقل الأوزان المتماثل (إرسال تدرجات الخطأ عبر نفس الأوزان المستخدمة في الانتشار الأمامي تماماً) غير واقعية من الناحية البيولوجية.
اعتلالات التحسين: غالباً ما تعاني طرق التدرج من مشكلات تلاشي/انفجار التدرجات، والحد الأدنى المحلي، ونقاط السرج.

يقترح المؤلفون تحولاً في النموذج: إعادة صياغة تدريب الشبكة العصبية ليس كمسألة تقليل خسارة (loss minimization)، بل كمسألة إمكانية تحقيق (feasibility problem). فبدلاً من التنقل في مشهد الخسارة، يكون الهدف هو إيجاد بارامترات الشبكة والحالات الوسيطة التي تحقق في آن واحد مجموعة من القيود المحلية المستمدة من بنية الشبكة وخرائط الإدخال والإخراج.

2. المنهجية

تعتمد المنهجية الجوهرية على خوارزميات الإسقاط التكرارية (iterative projection algorithms) المطبقة على رسم بياني حسابي دقيق التفاصيل.

أ. صياغة الإمكانية (Feasibility Formulation)

يُعرَّف التدريب بأنه إيجاد متجه حالة $z$ (يمثل جميع قيم الحواف في الرسم البياني الحسابي) يقع في تقاطع مجموعات قيود متعددة $C_v$ :
$\text{Find } z \in \bigcap_{v \in V} C_v$
حيث تمثل $V$ العقد في الرسم البياني الحسابي. يتم تعريف القيود محلياً لكل نوع من أنواع العقد:

عقد المدخلات الثابتة: تفرض أن تحمل الحواف الخارجة قيمة المدخل.
عقد البارامترات: تفرض التوافق بين جميع الحواف الخارجة من بارامتر معين (لضمان استخدام قيمة وزن واحدة في كل مكان).
عقد الدوال المخفية: تفرض أن يكون مخرج حافة ما مساوياً لنتيجة تطبيق الدالة الأولية (مثل ReLU، أو الضرب النقطي) على مدخلاتها.
عقد الهدف/الخسارة: تفرض أن يقلل مخرج الشبكة من الخسارة (أو يحقق قيد الهامش) بالنسبة للهدف.

ب. مؤثرات الإسقاط (Projection Operators)

يتم إيجاد الحل باستخدام خوارزميات تكرارية مثل الإسقاطات المتبادلة (AP)، الإسقاطات الدورية (CP)، ودوغلاس-راشدفور (DR).

الإسقاطات المحلية: لكل عقدة، تقوم الخوارزمية بإسقاط الحالة الحالية على مجموعة القيود المحددة بتلك العقدة.
الدوال الأولية: تستنتج الورقة حلولاً مغلقة أو عددية فعالة للإسقاط على رسوم بيانية للعمليات الأساسية (مثل الضرب النقطي، ReLU للمجاميع، max pooling، والتكميم).
عدم القابلية للاشتقاق: بما أن الإسقاطات تعتمد على تقليل المسافة بدلاً من الاشتقاقات، فإن إطار العمل يتعامل طبيعياً مع الدوال غير القابلة للاشتقاق (مثل التكميم، ودوال الدرجة/Step functions).

ج. التوازي عبر الثنائية (Parallelization via Bipartition)

تعد المبرهنة 2 (Theorem 2) مساهمة نظرية رئيسية، حيث تستفيد من الطبيعة ثنائية التجزئة (bipartite nature) للرسوم البيانية الحسابية.

يمكن تقسيم عقد الرسم البياني إلى مجموعتين منفصلتين، $A$ و $B$ ، بحيث لا توجد عقدتان داخل المجموعة نفسها متجاورتان.
يمكن حساب الإسقاطات لجميع العقد في المجموعة $A$ بشكل مستقل ومتوازٍ لأنها تعمل على مجموعات منفصلة من متغيرات الحواف. ينطبق الشيء نفسه على المجموعة $B$ .
يسمح هذا بتوازي خطوة التحديث بالكامل عبر الشبكة، مما يلغي التبعية التسلسلية للانتشار العكسي.

د. إطار عمل PJAX

قدم المؤلفون PJAX (Projection JAX)، وهو إطار عمل برمجي مبني فوق JAX.

تركيبي (Compositional): على غرار كيفية تركيب autodiff للاشتقاقات، يقوم PJAX بتركيب مؤثرات الإسقاط.
واجهة برمجة التطبيقات (API): يوفر واجهة تشبه NumPy/JAX لتعريف النماذج.
الأجهزة (Hardware): يرث قدرات JAX في التجميع الفوري (JIT compilation) ودعم وحدات المعالجة الرسومية (GPUs) ووحدات معالجة التنسور (TPUs).
الأتمتة: يقوم تلقائياً ببناء الرسم البياني الحسابي وتنسيق خطوات الإسقاط التكرارية.

3. المساهمات الرئيسية

إعادة الصياغة النظرية: صياغة دقيقة لتدريب الشبكات العصبية كمسألة إمكانية واسعة النطاق باستخدام متغيرات الحواف والقيود المحلية، مع إثبات أن الحل الممكن يمثل مُعظم الخطر التجريبي (empirical risk minimizer).
خوارزميات قابلة للتوازي: إثبات أن تحديثات الإسقاط يمكن موازاتها بالكامل من خلال استغلال البنية ثنائية التجزئة للرسوم البيانية الحسابية، مما يوفر ميزة واضحة على الانتشار العكسي التسلسلي.
مؤثرات الإسقاط: اشتقاقات رياضية لمؤثرات الإسقاط على الوظائف الأولية الرئيسية (الضرب النقطي، ReLU، max، التكميم) ودوال الخسارة (cross-entropy، margin loss).
إطار عمل PJAX: أول إطار عمل عام للتدريب الخالي من التدرج يدعم بنيات متنوعة (MLPs, CNNs, RNNs) وتسريع الأجهزة.
التحقق التجريبي: تجارب شاملة تثبت جدوى النهج عبر مهام وبنيات متنوعة.

4. النتائج التجريبية

قام المؤلفون بتقييم PJAX على معايير قياسية (MNIST, CIFIA-10, HIGGS, Shakespeare) باستخدام MLPs و CNNs و RNNs، ومقارنته بـ SGD و Adam و Feedback Alignment (FA) و Forward-Forward (FF).

الأداء:
- MLPs: حققت طرق الإسقاط (خاصة Douglas-Rachford) دقة تنافسية مع SGD، وغالباً بزمن خطوة أسرع بكثير (يصل إلى 10 أضعاف في الشبكات الضحلة).
- RNNs: أظهرت طرق الإسقاط ميزة هيكلية من خلال تجنب "الانتشار العكسي عبر الزمن" (BPTT)، مما سمح بتجاوز مشكلات تلاشي/انفجار التدرجات والتقارب بشكل أسرع من حيث عدد الخطوات مقارنة بـ SGD.
- CNNs: كانت الفجوة في الأداء مع الطرق القائمة على التدرج أكبر، وكان زمن الخطوة أبطأ بسبب الحمل المرتفع على الذاكرة الناتج عن مشاركة البارامترات (انظر أدناه).
العمق ووصلات التخطي (Skip Connections): واجهت الشبكات العميقة بدون وصلات تخطي صعوبة في انتشار المعلومات في التدريب القائم على الإسقات. ومع ذلك، فإن إدخال وصلات التخطي (تقصير المسارات من الطبقات المبكرة إلى المخرج) حسن الأداء بشكل كبير، مما يؤكد الحاجة إلى تعديلات معمارية في هذا النموذج.
الكفاءة:
- الوقت لكل خطوة: كانت طرق الإسقاط (AP/CP) تمتلك عموماً وقتاً أقل لكل خطوة مقارنة بـ SGD بفضل التوازي الهائل، رغم أن وقت الجدار الكلي (wall-clock time) للوصول للتقارب كان متفاوتاً.
- الذاكرة: تتطلب الطريقة تخزين متغيرات الحالة لكل حافة في الرسم البياني. وهذا يؤدي إلى تعقيد ذاكرة بمقدار $O(|E|)$ ، وهو أعلى من $O(|V|)$ الخاص بالانتشار العكسي، خاصة في البنيات ذات المشاركة الكثيفة للبارامترات (مثل CNNs و RNNs).

5. الأهمية والتوجهات المستقبلية

الواقعية البيولوجية: يتوافق هذا الأسلوب بشكل أفضل مع مبادئ التعلم البيولوجي من خلال استخدام تحديثات محلية وتجنب الانتشار العالمي للخطأ.
التعامل مع عدم القابلية للاشتقاق: يفتح الباب لتدريب شبكات تحتوي على مكونات متقطعة (مثل الشبكات العصبية المكممة، أو البوابات المنطقية) دون الحاجة لتقريبات التدرج.
القابلية للتوسع: الطبيعة المتوازية للتحديثات تجعل هذا النهج مناسباً جداً للأجهزة الحديثة (GPUs/TPUs)، مما قد يتغلب على الاختناقات التسلسلية للانتشار العكسي في الشبكات العميقة جداً أو الواسعة جداً.
القيود: يتمثل القيد الرئيسي في استهلاك الذاكرة، والذي يتناسب طردياً مع حجم الدفعة (batch size)، وطول التسلسل، ومشاركة البارامترات.
العمل المستقبلي: يقترح المؤلفون استكشاف التخميد التكيفي (adaptive damping)، والمخططات الهجينة (الخلط بين الإسقاطات والتدرجات)، وتقنيات توفير الذاكرة (حالات الحواف منخفضة الرتبة)، والبنيات المصممة خصيصاً لتقليل التفاعل بين البارامترات والبيانات.

باخت ملخص، تقدم هذه الورقة بديلاً مقنعاً للتدريب القائم على التدرج، حيث تثبت أن البحث عن الإمكانية عبر الإسقاطات المتوازية هو نموذج قابل للتطبيق، وعام، وفعال للتعلم العميق، لا سيما للبنيات غير القابلة للاشتقاق والمتكررة.