Anatomical Heterogeneity in Transformer Language Models
تتحدى هذه الورقة البحثية افتراض تجانس الطبقات في النماذج اللغوية القائمة على المحولات (Transformer) من خلال إثبات وجود تباين تشريحي عميق في نموذج SmolLM2-135M، حيث تُظهر الطبقات اختلافاً شاسعاً في الأهمية ومتطلبات التدريب، مما يثبت في النهاية أن إعادة تخصيص الميزانيات الحسابية بناءً على أهمية الطبقة يمكن أن يقلل التكاليف بشكل كبير مع تحسين الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تبني ناطحة سحاب عملاقة مكونة من 30 طابقاً لتكون مسكناً لذكاء اصطناي فائق الذكاء.
لسنوات، قام المهندسون (الباحثون في مجال الذكاء الاصطناعي) ببناء هذه الناطحات عبر معاملة كل طابق بنفس الطريقة تماماً. لقد منحوا كل طابق نفس كمية الخرسانة، ونفس عدد العمال، ونفس الوقت للبناء. افترضوا أن الطابق الأول لا يقل أهمية عن الطابق 15 أو الطابق 30.
لكن دراسة جديدة أجراها الباحث توماش ويتريزيكوفسكي تشير إلى أن هذا خطأ فادح. فقد نظر داخل نموذج ذكاء اصطناعي صغير (يسمى SmolLM2) واكتشف أن "طوابقه" هي في الواقع مختلفة تماماً عن بعضها البعض. فبعض الطوابق هي عقل المبنى، وبعضها مجرد ممرات زخرفية، وهناك قلة منها تمثل في الواقع نقاط ضعف هيكلية تجعل المبنى أسوأ.
إليك تفصيل لنتائجه باستخدام تشبيهات بسيطة:
1. "تشريح" الذكاء الاصطناعي
وجد ويتريزيكوفسكي أن الذكاء الاصطناعي ليس كتلة موحدة من الكود البرمجي، بل له تشريح، تماماً مثل جسم الإنسان:
- جذع الدماغ (الطبقتان 1 و2): هذه هي نقاط الدخول. إذا تضررت هذه الطبقات، فلن يتمكن الذكاء الاصطناعي حتى من فهم ما تقوله. إنها حيوية ويصعب إصلاحها.
- "الدماغ" (الطبقات من 8 إلى 11): هذا هو مركز التفكير العميق. هو الذي يقوم بالعمل الشاق. إذا عبثت بهذه الطبقات، سيصاب الذكاء الاصطناعي بالجنون تماماً. إحدى هذه الطبقات (الطبقة 11) مهمة لدرجة أنها أكثر حيوية بـ مليون مرة من بعض الطبقات الأخرى.
- "الأنسجة الضامة" (الطبقات من 3 إلى 7، ومن 12 إلى 22): هذه هي الممرات والدعامات. هي تساعد قليلاً، ولكن إذا أزلتها أو جعلتها أصغر، فسيظل المبنى قائماً. إنها "فائضة عن الحاجة".
- "الطبقات المضادة" (الطبقتان 14 و17): هذا هو الاكتشاف الأكثر صدمة. هذه الطبقات تشبه الزائدة الدودية السيئة. إنها في الواقع تضر الذكاء الاصطناعي. عندما قام ويتريزيكوفسكي بإزالتها أو استبدالها بضوضاء عشوائية، أصبح الذكاء الاصطناعي في الواقع أكثر ذكاءً. لقد كانت تعمل ضد النموذج بشكل نشط.
- "القشرة الحركية" (الطبقات من 23 إلى 28): هذه الطبقات تجهز الإجابة النهائية. هي مهمة، لكنها مرنة للغاية ويمكنها التعافي بسرعة إذا تعرضت للخلل.
2. سر "الموجة المتذبذبة"
لاحظ الباحث نمطاً غريباً في كيفية تغير الأوزان (الأرقام داخل الذكاء الاصطناعي) من طابق لآخر. الأمر يشبه موجة مستقرة في مسبح.
إذا دفع الطابق 5 الماء في اتجاه واحد، فإن الطابق 6 يدفعه في الاتجاه المعاكس، ثم يدفع الطابق 7 الماء للأمام مرة أخرى. إنهم يعوضون بعضهم البعض باستمرار. وهذا يعني أنه لا يمكنك مجرد نسخ ولصق طابق من جزء إلى آخر في المبنى؛ لأن "الدفع والسحب" المتبادل سيؤدي إلى انهيار الهيكل بأكيـل.
3. خدعة "المقياس السحري"
حاول الفريق تجربة طرق عديدة لإصلاح أو استبدال الطوابق "عديمة الفائدة":
- تصفير قيمتها: انهار المبنى.
- نسخ الجيران: ارتبك المبنى.
- مزجها معاً: تفكك المبنى.
الشيء الوحيد الذي نجح هو خفض مستوى صوتها بلطف (تغيير حجم الأوزان بمقدار 0.9). إنه يشبه إخبار طابق زائد عن الحاجة: "لست بحاجة للعمل بجهد كبير، فقط اهمس بجزئك". حافظ هذا على عمل الذكاء الاصطناعي بشكل مثالي مع توفير الموارد.
4. الطريقة الجديدة للبناء: "تدريب النمو"
أكبر استنتاج هو كيف يجب أن ندرب هذه الأنظمة من الذكاء الاصطناعي في المستقبل.
الطريقة القديمة (التدريب الموحد):
تخيل تدريب جوقة موسيقية من خلال جعل كل مغنٍ يتدرب على نفس الأغنية لنفس المدة الزمنية، بغض النظر عما إذا كان مغنياً رئيسياً (سوبرانو) أو مجرد شخص في الخلف يهمهم فقط. هذا غير فعال.
الطريقة الجديدة (تدريب النمو):
هذا يحاكي كيفية نمو الطفل.
- أولاً، ابنِ الهيكل العظمي والدماغ: درب الطبقات الأكثر حيوية (الـ "النواة") أولاً.
- ثم، أنمِ الأطراف: بمجرد أن يصبح الدماغ صلباً، أضف الطبقات التالية، مستخدماً أنماط الدماغ كخريطة طريق.
- أخيراً، أضف الجلد: درب الطبقات الثانوية والفائضة عن الحاجة في النهاية.
النتيجة:
في اختبار ما، بنى أسلوب "النمو" هذا نموذجاً أفضل بـ 4.7 مرة من الطريقة القياسية، باستخدام نفس القدر من الوقت والمال. والأكثر إثارة للإعجاب هو أن نموذجاً تم تدريبه باستخدام نصف الميزانية فقط باستخدام هذه الطريقة، لا يزال يتفوق على النموذج القياسي الذي تم تدريبه بكامل الموارد.
الخلاصة
نماذج الذكاء الاصطناعي ليست آلات موحدة؛ بل هي هياكل معقدة تشبه الكائنات الحية ذات أجزاء متخصصة. من خلال معاملتها ككائنات بيولوجية — عبر إعطاء "الدماغ" المزيد من الاهتمام، وإزالة "الزائدة الدودية السيئة"، وبنائها على مراحل — يمكننا جعلها أكثر ذكاءً، وأسرع، وأرخص في التدريب.
نحن لا نحتاج لبناء كل طابق في ناطحة السحاب بنفس الطريقة؛ نحن فقط بحاجة لبناء الطوابق الصحيحة، بالترتيب الصحيح، وبالقدر المناسب من الجهد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.