🤖 machine learning

HORST: Composing Optimizer Geometries for Sparse Transformer Training

تقدم الورقة البحثية HORST، وهو مُحسِّن معياري يجمع بين خطوات تشغيل غير تبادلية لدمج استقرار الطرق التكيفية مع انحياز تشتت $L_1$ عبر خريطة مرآة زائديّة، متفوقاً بشكل ملحوظ على AdamW في تدريب المحولات (transformers) المتفرقة عبر مهام الرؤية واللغة.

المؤلفون الأصليون: Tom Jacobs, Rohan Jain, Rebekka Burkholz

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tom Jacobs, Rohan Jain, Rebekka Burkholz

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة بحث "HORST: تركيب هندسات المُحسِّن لتدريب نماذج المحولات (Transformer) المتفرقة"، مترجمة إلى لغة بسيطة مع تشبيهات إبداعية.

المشكلة الكبيرة: الذكاء الاصطناعي "الثقيل"

تخيل أنك بنيت روبوتًا ضخمًا وذكيًا للغاية (نموذج Transformer). يمكنه كتابة القصص، ترجمة اللغات، والتعرف على الصور. ومع ذلك، فإن هذا الروبوت ثقيل وضخم جدًا لدرجة أنه يتطلب مستودعًا عملاقًا (ذاكرة ضخمة) ومحطة طاقة هائلة (تكلفة حوسبة عالية) لمجرد تشغيله.

لجعل هذا الروبوت عمليًا، نريد تقليل الدهون. نريد إزالة العضلات والتروس غير الضرورية (الأوزان) ليصبح خفيف الوزن وسريعًا. وهذا ما يسمى التخلخل أو التفرع (Sparsification).

المشكلة هي أننا عندما نحاول تقليم هذا النوع المحدد من الروبوتات، فإنه غالبًا ما ينهار؛ حيث يفقد ذكاءه. لماذا؟ لأن "المدرب" الذي نستخدمه لتعليمه (المُحسِّن - Optimizer) يعلمه عن غير قصد أن يكون متوازنًا أكثر من اللازم.

المدربان: "المُعادل" مقابل "المُنتقي"

تجادل الورقة بأن الطريقة التي ندرب بها هذه الرونات تخلق انحيازًا خفيًا. فكر في الأمر كمدربين مختلفين يدربان رياضيًا:

مدرب "المُعادل" (المُحسّنات القياسية مثل AdamW):
- كيف يعمل: يؤمن هذا المدرب بأنه لضمان الاستقرار والأمان، يجب أن تكون كل عضلة بنفس الحجم تقريبًا. إذا أصبحت عضلة ما كبيرة جدًا، يقوم المدرب بتقليصها؛ وإذا أصبحت أخرى صغيرة جدًا، يقوم بتكبيرها.
- النتيجة: ينتهي الأمر بالروبوت بجسم تكون فيه كل قطعة نشطة قليلاً. إنه مستقر جدًا، لكنه ثقيل. لا توجد "عضلات صفرية". لا يمكنك بسهًا قطع أي شيء لأن كل جزء يقوم بقليل من العمل.
- مصطلح الورقة: يُسمى هذا انحياز $L_\infty$ (كل شيء يتساوى).
مدرب "المُنتقي" (النزول المرآتي / انحياز التخلخل - Mirror Descent):
- كيف يعمل: يؤمن هذا المدرب بالتخصص. يريد من الروبوت أن يختار بضع عضلات قوية جدًا ويطفئ البقية تمامًا. إنه يجبر الروبوت على تركيز كل طاقته في أجزاء قليلة جدًا.
- النتيجة: يصبح الروبوت خفيفًا جدًا ومتفرقًا (Sparse). ومع ذلك، إذا استخدمت هذا المدرب فقط، فقد يصبح الروبوت غير مستقر أو ينهار أثناء التدريب لأنه عدواني للغاية.
- مصطلح الورقة: يُسمى هذا انحياز $L_1$ (تركيز الكتلة).

الصراع: يستخدم تدريب الذكاء الاصطناعي القياسي "المُعادل" لأنه مستقر. ولكن لجعل الذكاء الاصطناعي صغيرًا (متفرقًا)، نحتاج إلى "المُنتقي". لا يمكنك مجرد استبدال المدربين؛ فـ "المُنتقي" خطير للغاية على الروبوت المعقد، و"المُعادل" لن يسمح لك بتقليم الدهون.

الحل: المدرب "المُركب" (HORST)

أدرك المؤلفون، توم جاكوبس وفريقه، أنه ليس عليك الاختيار بين مدرب واحد. يمكنك إنشاء روتين تدريب هجين يستخدم كلاهما، ولكن بترتيب محدد للغاية.

يطلقون على طريقتهم الجديدة اسم HORST (المُعامل الزائدي للتدريب المتفرق القوي - Hyperbolic Operator for Robust Sparse Training).

التشبيه: النحات والإزميل
تخيل أنك تنحت تمثالًا من كتلة ضخمة من الرخام (الشبكة العصبية).

الخطوة 1 (المُعادل/Adam): أولاً، تستخدم أداة عريضة ومسطحة لتنعيم الحواف الخشنة وضمان وقوف التمثال بشكل مستقيم دون تمايل. هذا يحافظ على استقرار الهيكل.
الخطوة 2 (المُنتقي/المرآة الزائدية): فورًا بعد التنعيم، تستخدم إزميلًا حادًا ودقيقًا لنحت الزوائد، مما يجبر الشكل على أن يصبح رفيعًا ومتفرقًا.

السر يكمن في التفاصيل: الترتيب مهم!

إذا بدأت بالإزميل أولاً ثم التنعيم، فإن أداة التنعيم ستملأ الفراغات التي صنعتها للتو. وبذلك يختفي التخلخل (Sparsity).
إذا قمت بالتنعيم أولًا ثم الإزميل، فإن الإزميل سيعمل على الشكل المستقر وينجح في إزالة الوزن الزائد.

تثبت الورقة رياضيًا أن هذا الترتيب المحدد (خطوة الاستقرار $\leftarrow$ خطوة التخلخل) يسمح للروبوت بالبقاء مستقرًا بينما يصبح خفيف الوزن بشكل مذهل.

ماذا وجدوا (النتائج)

اختبر الفريق هذا "المدرب المركب" (HORST) على نوعين من الروبوتات:

محولات الرؤية (Vision Transformers): روبوتات تنظر إلى الصور (مثل تحديد القطط أو السيارات).
محولات اللغة (Language Transformers): روبوتات تفهم النصوص (مثل تلك التي تكتب هذا الملخص).

النتيجة:

عندما حاولوا قطع 80% إلى 90% من وزن الروبوت (جعله متفرقًا جدًا)، جعل المدرب القياسي (AdamW) الروبوت يؤدي بشكل سيء للغاية؛ حيث نسي كيف يرى أو يتحدث.
حافظ المدرب HORST على أداء الروبوت ليكون قريبًا جدًا من النسخة الكاملة الثقيلة، حتى بعد قطع معظم وزنه.
بكلمات بسيطة: وجد HORST طريقة لجعل الروبوت صغيرًا دون تدمير عقله.

ملخص

تحل الورقة لغزًا: "كيف نجعل نماذج الذكاء الاصطناعي صغيرة دون جعلها غبية؟"

الطريقة القديمة: استخدم مدربًا مستقرًا، لكنه لن يسمح لك بجعل النموذج صغيرًا.
الطريقة الجديدة (HORST): ادمج مدربًا مستقرًا مع مدرب تخلخل بالترتيب الصحيح.
النتيجة: تحصل على ذكاء اصطناٍ خفيف الوزن، فعال، ولا يزال يعمل بشكل مثالي، حتى بعد إزالة 90% من أجزائه.

المؤلفون لم يخترعوا طريقة جديدة لـ قص الأوزان (مثل التقليم/Pruning)؛ بل اخترعوا طريقة جديدة لـ تدريب النموذج بحيث ترغب الأوزان طبيعيًا في أن تُقص، دون أن ينهار النموذج في هذه العملية.

ملخص تقني: HORST: تركيب هندسات المُحسِّن لتدريب نماذج المحولات (Transformer) المتفرقة

بيان المشكلة

لا يزال جعل نماذج المحولات (Transformers) متفرقة (Sparse) تحديًا جوهريًا. وبينما يوفر تفريد الشبكات (إزالة الأوزان الزائدة) مسارًا واعدًا لضغط النماذج وكفاءة الاستدلال، إلا أنه يؤدي باستمرار إلى تدهور كبير في الأداء في نماذج المحولات، لا سيما عند مستويات التفريد العالية حيث تكون عملية الضغط أكثر قيمة. في المقابل، تنجح الشبكات التلافيفية (CNNs) في التفرق بشكل أكثر فعالية.

يجادل المؤلفون بأن هذا التفاوت ينبع من الانحياز الضمني (Implicit Bias) للمُحسّنات المستخدمة أثناء التدريب. تعتمد نماذج المحولات القياسية على مُحسّنات تكيفية مثل AdamW، والتي تُظهر انحيازًا ضمنيًا من نوع $L_\infty$ . هذا الانحياز يفضل الاستقرار عبر مساواة أحجام الأوزان عبر المعلمات، وهي هندسة تتعارض جوهريًا مع انحياز $L_1$ المطلوب لتحقيق التفرق، والذي يستلب ضرورة تركيز كتلة الوزن على مجموعة فرعية صغيرة من المعلمات ودفع البقية نحو الصفر. وعلى العكس من ذلك، فإن التدرج المنحدر القياسي (المستخدم في CNNs) يستحث انحيازًا من نوع $L_2$ ، بينما يُعد التدرج الإحداثي (الذي يعتمد على $L_1$ كأسرع هبوط) مثاليًا نظريًا للتفرق، ولكنه غير قابل للتنفيذ حاسوبيًا للشبكات العميقة الكبيرة.

تفشل المحاولات الحالية لتحفيز التفرق عبر "تدرج المرآة" (Mirror Descent) (على سبيل المثال، باستخدام الإنتروبيا الزائدية) في بيئة المحولات لأنها تستبدل التدرج مباشرة، مما يفقد الاستقرار الذي توفره الطرق التكيفية. المشكلة الجوهرية هي توتر هندسي: استقرار المُحسّنات التكيفية ( $L_\infty$ ) يتعارض مع متطلبات التفرق ( $L_1$ ).

المنهجية

يقترح البحث HORST (المُشغل الزائدي للتدريب المتفرق القوي)، وهو مُحسّن معياري يحل هذا التوتر عن طريق تركيب خطوات التحسين كعمليات دالية غير تبديلية (Non-commutative functional operators).

1. إطار تركيب العمليات (Operator Composition Framework)

يعامل المؤلفون تحديثات التحسين كعمليات تؤثر على متجهات المعلمات وتدرجاتها. وقد حددوا فئتين متميزتين من العمليات:

عمليات الهبوط الأشد (Steepest Descent Operators): محدودة وثابتة المقياس (مثل "تدرج الإشارة" Sign Descent، الذي يقرب Adam). توفر هذه العمليات الاستقرار ولكنها تُحدث انحيازًا من نوع $L_\infty$ .
عمليات تدرج المرآة (Mirror Descent Operators): خطية ولكنها غير محدودة بشكل عام. وتُحدث خرائط مرآة محددة، مثل خريطة الإنتروبيا الزائدية، انحيازًا من نوع $L_1$ يعزز التفرق.

2. عدم التبديليّة وترتيب العمليات (Non-Commutativity and Order of Operations)

ثمة رؤية نظرية رئيسية مفادها أن هذه الفئات من العمليات غير تبديلية.

تطبيق خطوة المرآة متبوعة بخطوة الهبوط الأشد ( $S \circ M$ ) يؤدي إلى هيمنة عملية الهبوط الأشد، مما يبطل فعليًا انحياز التفرق.
تطبيق خطوة الهبوط الأشد متبوعة بخطوة المرآة ( $M \circ S$ ) يسمح لخريطة المرآة بالعمل على التحديث القائم على الإشارة، مما ينجح في وراثة استقرار الهبوط الأشد مع استحثاث انحياز التفرق من نوع $L_1$ .

3. خوارزمية HORST

تنفذ HORST التركيب $M_R \circ S$ في إطار عمل منفصل وعملي:

التحديث المستقر: تقوم أولاً بعملية تحديث تكيفي قياسي (AdamW)، مما يوفر الاستقرار اللازم وتنظيمًا من نوع $L_\infty$ .
استحثاث التفرق: ثم تطبق تحديثًا أسيًا مشتقًا من خريطة المرآة للإنتروبيا الزائدية. تعمل هذه الخطوة فعليًا على إعادة تمثيل الأوزان لتفضيل التفرق.
التنظيم المنفصل: تدمج الخوارزمية اضمحلال الوزن المنفصل وحداً إضافياً للتنظيم ( $\beta$ ) للتحكم بشكل أكبر في انحياز التفرق.

تُعرف قاعدة التحديث كالتالي:
$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$
$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$
حيث يتحكم $\alpha$ في القوة النسبية لانحياز التفرق. ضبط $\alpha=0$ يستعيد AdamW القياسي.

المساهمات الرئيسية

الثنائية الهندسية: يصيغ البحث الثنائية الهيكلية بين الهبوط الأشد (محدود، مستقر، انحياز $L_\infty$ ) وتدرج المرآة (خطي، غير محدود، انحياز $L_1$ )، موضحًا سبب عدم كفاية أي منهما بمفرده لتدريب المحولات المتفرقة بقوة.
تركيب العمليات: يقدم "تركيب عمليات المُحسّن" كمبدأ تصميمي، ويثبت أن ترتيب التركيب أمر بالغ الأهمية. الترتيب المحدد ( $M \circ S$ ) يسمح للنظام بوراثة الاستقرار من الطرق التكيفية مع استبدال انحيازها الضمني بانحياز $L_1$ معزز للتفرق.
الضمان النظري: يثبت المؤلفون (النظرية 4.7) أن تركيب الهبوط الأشد (بالنسبة لمعيار $L_p$ حيث $p \ge 2$ ) مع خريطة مرآة الإنتروبيا الزائدية يجعل التكرارات تتقارب في الاتجاه نحو حل لمشكلة تقليل $L_1$ ، مما يؤدي فعليًا إلى تجاوز انحياز $L_\infty$ للمُحسّن الأساسي.
مُحسّن HORST: يقترحون HORST، وهو مُحسّن معياري يتكامل بسلاسة مع الطرق التكيفية (مثل AdamW) ولا يتطلب أي تقييمات إضافية للتدرج، بل يتطلب فقط تحديثًا أسيًا لكل معلمة.

النتائج التجريبية

قيم المؤلفون HORST على مهام الرؤية واللغة باستخدام مسار التفرق AC/DC (الضغط/فك الضغط المتناوب).

المحولات الرؤيوية (DeiT): على ImageNet، تفوقت HORST-AdamW باستمرار على نماذج AdamW الأساسية عبر جميع مستويات التفرق (70%، 80%، 90%). وتظهر المكاسب بوضوح عند مستويات التفرق العالية (80-90%)، حيث يتدهور أداء AdamW بشكل حاد. على سبيل المثال، عند تفرق بنسبة 90% على DeiT-base، تحقق HORST دقة 76.83% مقارنة بـ 68.86% لـ AdamW.
النماذج اللغوية (GPT-2 Small): في عملية تقليم المقدار غير المهيكل لطبقة واحدة (one-shot layerwise unstructured magnitude pruning) على SlimPajama-6B، تُظهر النماذج المدربة باستخدام HORST-AdamW تشتتًا (perplexity) أقل بكثير في التحقق بعد التقليم مقارنة بـ AdamW و HAM. وتتسع الفجوة عند مستويات التفرق الأعلى.
المقارنة مع HAM: تتفوق HORST بشكل كبير على HAM (مُحسّن تناوبي سابق) في DeiT-small عند تفرق بنسبة 90% (70.5% مقابل 60.06%). ويعزو المؤلفون ذلك إلى أن HORST يقوم بتركيب التحديث الأسي مع تحديث AdamW نفسه، بدلاً من تطبيق خطوة أسية قائمة على التدرج كما يفعل HAM.
توزيع الأوزان: تؤكد التصورات أن HORST يستحث توزيعًا للأوزان مركزًا بشدة حول الصفر (مما يشير إلى انحياز $L_1$ )، بينما تحتفظ AdamW بملف تعريف أوسع قريب من التوزيع الطبيعي (Gaussian).

الأهمية والادعاءات

يدعي البحث أن الانحياز الضمني للمُحسّن هو عقبة رئيسية أمام تدريب المحولات المتفرقة. ومن خلال معاملة خطوات التحسين كعمليات قابلة للتركيب، يوضح المؤلفون أنه من الممكن فصل استقرار الطرق التكيفية عن انحيازها الهندسي.

تكمن أهمية HORST في قدرتها على:

تمكين التدريب عالي التفرق لنماذج المحولات دون التدهور الحاد في الأداء المرتبط عادةً بهذا النوع من الضغط.
توفير إطار عمل مبدئي ومعياري لتصميم مُحسّنات يمكنها تلبية متطلبات هندسية متضاربة (الاستقرار مقابل التفرق).
تقديم حل عملي يتطلب حدًا أدنى من العبء الحسابي (لا يتطلب تقييمات إضافية للتدرج) ويتكامل مع مسارات التدريب المتفرقة الحالية.

يخلص المؤلفون إلى أنه بينما تظل حدود $L_\infty$ للهبوط الأشد وتفاعلها مع تحديثات المرآة مسألة نظرية مفتوحة، فإن إطار العمل المقترح ينجح في سد الفجوة بين استقرار التدريب التكيفي وهندسة الحلول المتفرقة.