Layer Collapse in Diffusion Language Models
تكشف هذه الورقة أن نماذج اللغات الانتشارية تظهر ظاهرة "انهيار الطبقات" الفريدة الناتجة عن الإفراط في التدريب، حيث تطور الطبقات المبكرة قيمًا شاذة فائقة وحالات تمثيل زائدة، مما يتيح ضغطًا أفضل بشكل ملحوظ واستراتيجيات تخصيص تخلخل متميزة مقارنة بالنماذج ذات التوليد الذاتي الانحداري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نوعين مختلفين من الطهاة يحاولون كتابة قصة.
الطاهي التقليدي (النماذج ذات التوليد الذاتي - Autoregressive Models) يكتب كلمة واحدة في كل مرة، من اليسار إلى اليمين. إذا ارتكب خطأً في البداية، فلا يمكنه العودة لإصلاحه. هذه هي الطريقة التي تعمل بها معظم نماذج الذكاء الاصطناعي الحالية (مثل Llama).
طاهي الانتشار (نماذج لغة الانتشار - Diffusion Language Models) يبدأ بصفحة فوضوية ومبعثرة مليئة بالخربشات. يقوم بعدة تمريرات على الصفحة بأكملة في وقت واحد، وينظف الضجيج ببطء حتى تصبح القصة منطقية. هذا هو نهج "الانتشار" الجديد (مثل LLaDA).
تبحث هذه الورقة البحثية فيما يحدث داخل "عقل" هذين الطاهيين أثناء عملهما. وجد الباحثون أن طاهي الانتشار يعمل بطريقة هي النقيض تماماً للطاهي التقليدي، وهذا يغير الطريقة التي يجب أن نحاول بها تصغير حجمهم أو تسريعهم.
إليك الاكتشافات الثلاثة الرئيسية، مشروحة ببساطة:
1. "القناة الفائقة" مقابل "العمل الجماعي"
في عقل الطاهي التقليدي (Llama)، تضيء أجزاء مختلفة من الدماغ لكلمات مختلفة. إذا أطفأت بالخطأ مصباحاً معيناً، فسيصاب الطاهي ببعض الارتباك لكنه سيتمكن من إكمال القصة.
أما في عقل طاهي الانتشار (LLaDA)، فقد وجد الباحثون شيئاً غريباً: مصباح واحد فقط يتوهج بسطوع شديد لدرجة أنه يعمي الأبصار.
- هذه "القناة الفائقة" تكون نشطة لكل كلمة تقريباً، من بداية القصة وحتى منتصفها.
- إنها مهمة جداً لدرجة أنه إذا فصلت هذا السلك الوحيد، فلن يرتبك الطاهي فحسب، بل سينهار تماماً ويبدأ في تكرار نفس الكلمة مراراً وتكراراً ("اشتري اشتري اشتري اشتري...").
- التشبيه: تخيل طاقم بناء. الطاقم التقليدي لديه العديد من العمال الذين يقومون بوظائف مختلفة؛ إذا غادر عامل واحد، سيبنى المبنى ببطء أكبر قليلاً. أما طاقم الانتشار فيحتوي على "عامل فائق" واحد يحمل المبنى بأكمله، بينما يقف الآخرون حوله للمراقبة فقط. إذا غادر العامل الفائق، سينهار المبنى فوراً.
2. "الطبقات المبكرة الفائضة" (عكس المعتاد)
عادةً، في نماذج الذكاء الاصطناعي، تكون الطبقات الأولى مثل مرحلة "الرسم المبدئي" (متميزة وإبداعية للغاية)، بينما تكون الطبقات العميقة هي المكان الذي تصبح فيه الأمور مكررة لأن النموذج قد تعلم بالفعل كل ما يحتاه (وهذا ما يسمى بـ "لعنة العمق").
وجد الباحثون أن نماذج الانتشار تقلب هذا السيناريو:
- الطبقات المبكرة مملة: نظرًا لأن "العامل الفائق" يقوم بكل العمل الشاق، فإن الطبقات المبكرة في نموذج الانتشار تقوم جميعها بنفس الشيء تماماً. إنها نسخ مكررة من بعضها البعض.
- الطبقات العميقة فريدة: الطبقات اللاحقة تمتلك في الواقع تنوعاً أكبر.
- التشبيه: في المصنع العادي، تكون المحطات القليلة الأولى خطوات تجميع فريدة، والمحطات الأخيرة هي مجرد تلميع (ممل/مكرر). أما في مصنع الانتشار، فإن المحطات القليلة الأولى تقوم جميعها بنسخ نفس التعليمات من "العامل الفائق"، بينما المحطات النهائية هي حيث يحدث العمل الفريد الفعلي.
3. لماذا يهم هذا بالنسبة لـ "تصغير" النموذج
بسبب هذه الاختلافات، فإن قواعد جعل هذه النماذج أصغر حجماً (الضغط - compression) معكوسة تماماً.
- بالنسبة للنماذج التقليدية: تريد عادةً أن تكون حذراً مع الطبقات الأولى لأنها فريدة. لذا تقوم بتقليم (قص) الطبقات العميقة بشكل أكثر عدوانية.
- بالنسبة لنماذج الانتشار: يمكنك في الواقع قص الطبقات المبكرة بشكل أكثر عدوانية! بما أنها مجرد نسخ مكررة من "العامل الفائق"، فإن إزالتها لا تضر كثيراً. في الواقع، وجد الباحثون أنه إذا حاولت معاملة نماذج الانتشار مثل النماذج التقليدية (بقص الطبقات العميقة أولاً)، فسيكون أداء النموذج أسوأ.
- النتيجة: نماذج الانتشار قوية بشكل مدهش. حتى لو صغرنا حجمها بشكل كبير (باستخدام التكميم بـ 3-بت)، فإنها تصمد بشكل أفضل من النماذج التقليدية. النموذج التقليدي قد يفقد 65% من ذكائه عند تصغيره، بينما يفقد نموذج الانتشار حوالي 2% فقط.
"السبب" وراء ذلك
أجرى الباحثون تجربة خاصة حيث قاموا بتدريب نموذجين صغيرين من الصفر: أحدهما باستخدام الطريقة التقليدية والآخر باستخدام طريقة الانتشار. وجدوا أن "العامل الفائق" الغريب و"الطبقات المبكرة الفائضة" حدثا بسبب طريقة التدريب نفسها، وليس بسبب تصميم النموذج.
يبدو أن طريقة الانتشار "تفرط في تدريب" الطبقات المبكرة، مما يجبرها على الاعتماد على تلك القناة المهيمنة الواحدة، في حين أن الطريقة التقليدية تترك الطبقات المبكرة أكثر تنوعاً.
الملخص
- نماذج الانتشار لديها "قناة فائقة" واحدة تقوم بكل العمل في المراحل المبكرة.
- إزالة هذه القناة يدمر النموذج، لكن إزالة الطبقات المبكرة الأخرى آمن لأنها مجرد نسخ مكررة.
- لتصغير هذه النماذج: اقطع الطبقات المبكرة بقوة، واحْمِ الطبقات العميقة. هذا هو العكس تماماً لما تفعله مع نماذج الذكاء الاصطناعي القياسية.
- الخلاصة: نماذج الانتشار مبنية بشكل مختلف، لذا نحتاج إلى قواعد مختلفة لجعلها فعالة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.