A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

تعتمد أنظمة الذكاء الاصطناعي الحديثة التي تكتب وتترجم وتستنتج على تصميم معماري محدد يُعرف باسم "المحول" (Transformer). وفي قلب هذا التصميم، توجد طبقات معالجة عميقة، تقوم كل واحدة منها بتنقية المعلومات التي تتلقاها من الطبقة السابقة. وللحفاظ على هذه الشبكات العميقة من الانهيار أثناء التدريب، يستخدم المهندسون "وصلات التخطي" (skip connections). تخيل نهراً يتدفق عبر سلسلة من الشلالات؛ وصلة التخطي تشبه قناة تحويل تسمح للمياه بالتدفق حول الشلال والالتحام مجدداً في المجرى في اتجاه المصب. وهذا يضمن عدم ضياع الإشارة أو تلاشيها، بغض النظر عن عدد الطبقات التي يجب أن تمر عبرها البيانات. لسنوات، كانت الممارسة القياسية هي تضمين هذه المسارات الجانبية بعد كل خطوة معالجة. ولكن استقصاءً حديثاً طرح سؤالاً هيكلياً بسيطاً: ماذا يحدث إذا أزلنا مجرد وصلة واحدة من هذه الوصلات؟ هل سيفشل النظام تماماً، أم أنه سيجد وسيلة للتكيف؟

شرع باحث يدعى براتيك كومار باباريا في الإجابة على ذلك من خلال بناء نماذج ذكاء اصطناعي وإزالة هذه شبكات الأمان بشكل منهجي. واختبر سيناريوهين محددين: أحدهما حيث تمت إزالة الوصلة التي تلي آلية الانتباه (attention mechanism)، والآخر حيث تمت إزالة الوصلة التي تلي الشبكة المغذية للأمام (feed-forward network). آلية الانتباه هي الجزء الذي يقرر أي الكلمات في الجملة هي الأكثر صلة ببعضها البعض، بينما الشبكة المغذية للأمام هي الجزء الذي يعالج تلك المعلومات ويحولها. كان الهدف هو معرفة ما إذا كان النموذج سيتمكن من النجاة بدون هذه الاختصارات المحددة، أم أن الإزالة ستؤدي إلى انهيار عملية التعلم بأكملها.

أشارت التجارب الأولية، التي أجريت على نماذج أصغر، إلى نتيجة قاتمة. فعندما أزال الباحث إحدى الوصلتين، فشلت النماذج في التعلم، وظلت عالقة عند نفس مستوى الأداء الضعيف الذي يظهره نموذج لا يحتوي على أي وصلات تخطي على الإطلاق. بدا أن كلا الاختصارين ضروريان بنفس القدر. ومع ذلك، كانت هذه النتيجة المبكرة ناتجة على الأرجح عن خدعة في أدوات القياس؛ إذ أدرك الباحث أن الطريقة التي كان يقيم بها النماذج كانت تُدخل ضوضاء عشوائية، مما جعل من المستحيل رؤية الفروق الدقيقة في الأداء. لذا أعاد بناء التجربة بإعداد أكثر صرامة، باستخدام بيانات ثابتة للاختبار وضمان التحكم في كل متغير.

وعندما أُعيد تشغيل التجربة بهذه الطريقة الأكثر دقة، ظهر تباين صارخ. فقد أدت إزالة الوصلة التي تلي الشبكة المغذية للأمام إلى فشل النموذج تماماً، تماماً كما أظهرت الاختبارات الأولية؛ حيث لم يستطع النموذج التعلم، وظل أداؤه عالقاً عند معدل خطأ مرتفع. ولكن عندما أزيلت الوصلة التي تلي آلية الانتباه، فعل النموذج شيئاً غير متوقع: لقد تعلم. لم يكن أداؤه بمستوى نموذج يمتلك جميع اختصاراته كاملة، لكنه نجح في تعلم معالجة اللغة، محققاً مستوى من الأداء أفضل بكثير من النموذج الفاشل. ولم تكن هذه النتيجة محض صدفة؛ فقد أجرى الباحث التكوين الناجح ثماني مرات بنقاط بداية عشوائية مختلفة، وفي كل حالة، تعلم النموذج بفعالية. كما كان فشل التكوين الآخر متسقاً بنفس القدر، حيث حدث في كل مرة تم اختباره فيها.

ثم بحث الباحث في سبب وجود هذا الاختلاف. لاحظ أنه في النماذج الفاشلة، توقف تدفق المعلومات من الطبقات السفلى إلى العليا تماماً، وهي ظاهرة تُعرف باسم "تضور التدرج" (gradient starvation). حدث هذا في كلتا الحالتين الفاشلتين. ومع ذلك، في النموذج الذي نجح، يبدو أن آلية الانتباه وجدت حلاً بديلاً. وبما أن آلية الانتباه تنظر إلى جميع الكلمات في الجملة في وقت واحد، فيمكنها تعلم توجيه المعلومات عبر مواضع مختلفة، مما يعيد بناء مسار لتدفق البيانات بفعالية حتى بدون الاختصار الفيزيائي. وفي المقابل، تعالج الشبكة المغذية للأمام كل كلمة بمعزل عن غيرها ولا يمكنها إنشاء هذا النوع من الاتصال العرضي؛ فبدون وصلة التخطي الخاصة بها، ليس لديها وسيلة لاستعادة المعلومات المفقودة.

لا تنتهي القصة بلغز تم حله بالكامل. فعندما رفع الباحث نطاق التجربة إلى نموذج أكبر بكثير، أصبحت النتائج أقل وضوحاً. فبينما ظل النموذج الذي أزيلت منه وصلة الشبكة المغذية للأمام فاشلاً، أظهر النموذج الذي أزيلت منه وصلة آلية الانتباه علامات على التعلم، لكن أداءه تباين بشكل كبير اعتماداً على ظروف البداية العشوائية. ففي بعض المرات، تعلم جيداً، وفي مرات أخرى، عانى من الصعوبة. يشير هذا إلى أنه بينما القدرة على التكيف حقيقية، إلا أنها تصبح أصعب مع نمو النموذج وزيادة تعقيده. كما كشف الباحث عن خطأ منهجي كبير في عمله المبكر: فقد حاول إصلاح النماذج الفاشلة عن طريق تعديل معامل ضرب أثناء عملية التدريب، مما جعلها تبدو ناجحة. وقد أدرك لاحقاً أن خوارزمية التدريب قد عوضت هذا التغيير تلقائياً، مما جعل التعديل مجرد وهم. ومن خلال تصحيح هذا الخطأ والإبلاغ عن الفشل بشفافية، ضمن أن الاستنتاج النهائي كان مبنياً على الواقع، وليس نتاجاً لخطأ في البرمجيات.

إن النتيجة الجوهرية هي أن ليس كل الاختصارات في دماغ الذكاء الاصطناعي متساوية. إن إزالة المسار الذي يلي الجزء الذي يربط الكلمات ببعضها البعض يسمح للنظام بالبقاء والتعلم، ويرجع ذلك على الأرجح إلى قدرة هذا الجزء من النظام على إعادة صياغة نفسه للتعويض. أما إزالة المسار الذي يتبع الجزء الذي يعالج الكلمات الفردية فيؤدي إلى انهيار النظام تماماً. هذا التمييز يظل قائماً في النماذج الأصغر، ويُستدل عليه بقوة في النماذج الأكبر، وإن كانت النماذج الأكبر تتطلب مزيداً من الدراسة لتأكيد حدود هذه القدرة على التكيف. وتعمل هذه الدراسة كتذكير بأنه في الأنظمة المعقدة، فإن الترتيب المحدد للاتصالات يهم بقدر أهمية الاتصالات نفسها، وأنه حتى عندما يبدو أن النظام قد فشل، فإن نظرة فاحصة يمكن أن تكشف عن قدرة خفية على التعافي.