You Do Not Fully Utilize Transformer's Representation Capacity

تعتمد الذكاء الاصطناعية الحديثة غالبًا على نوع محدد من البرامج الحاسوبية يسمى "ترانسفورمر" (Transformer). هذه البرامج هي المحركات الكامنة وراء العديد من أدوات اللغة الأكثر تقدمًا التي نستخدمها اليوم، وهي قادرة على قراءة كميات هائلة من النصوص وتوليد استجابات تشبه استجابات البشر. لفهم كيفية عملها، تخيل قارئًا يعالج قصة طويلة. فبينما ينتقل القارئ من الجملة الأولى إلى الأخيرة، يجب عليه تتبع كل تفصيل، وكل شخصية، وكل رابط منطقي لفهم الرواية بأكملها. في نموذج "ترانسفورمر" القياسي، يتم التعامل مع هذه الذاكرة عبر قناة واحدة ضيقة تنقل المعلومات من طبقة إلى الطبقة التالية من البرنامج. تقوم كل طبقة بتنقية فهم النص، ثم تمرره بنسخته المنقحة لأسفل في السلسلة. ومع ذلك، تمامًا كما يمكن لممر واحد أن يصبح مزدحمًا ويفقد التفاصيل إذا حاول الكثير من الناس المرور عبره في وقت واحد، يمكن لهذه القناة الضيقة أن تجبر البرنامج على طمس الفروق الدقيقة بين الكلمات أو الأفكار المختلفة مع طول النص أو زيادة عمق البرنامج. هذه الظاهرة، المعروفة باسم "انهيار التمثيل" (representation collapse)، تعني أن الاختلافات الطفيفة ولكن الحاسمة بين "التوكنز" (tokens) — وهي الوحدات الأساسية للنص — يمكن أن تضيع، مما يجعل من الصرع أكثر صعوبة للنموذج في التفكير عبر المشكلات المعقدة أو تذكر التسلسلات الطويلة بدقة.

اقترح باحثون من "تي-تيك" (T-Tech) طريقة جديدة لحل هذه العقبة، حيث قدموا طريقة أطلقوا عليها اسم "الذاكرة المتكاملة مع الطبقات" (Layer-Integrated Memory)، أو اختصارًا "LIMe". بدلًا من إجبار كل قطعة من المعلومات على المرور عبر قناة واحدة مباشرة، يسمح هذا التصميم الجديد لكل جزء من البرنامج بالوصول إلى الخلف وسحب المعلومات مباشرة من أي من الطبقات السابقة التي عالجها بالفعل. فكر في الأمر كأنك تمنح القارئ مجموعة من الملاحظات اللاصقة الموضوعة عند كل مرحلة من مراحل رحلة القراءة الخاصة به. فعندما يواجه مفهومًا صعبًا، لن يقتصر الأمر على الملاحظة التي يحملها حاليًا فحسب؛ بل يمكنه النظر إلى الوراء إلى الملاحظات من البداية، أو المنتصف، أو من أي مكان في المنتصف، واختيار التفاصيل الأكثر صلة لمساعدته على فهم الجملة الحالية. لا يتطلب هذا النهج بناء ممر أوسع أو إضافة المزيد من سعة التخزين؛ بل يقوم ببساطة بإعادة تنظيم كيفية الوصول إلى الذاكرة الموجودة، مما يسمح للبرنامج باسترجاع سمات محددة من مراحل تفكيره السابقة.

اختبر الفريق هذه الفكرة من خلال بناء نماذج يمكنها تعلم توجيه المعلومات ديناميكيًا. لقد أنشأوا نظامًا حيث تتعلم كل "رأس انتباه" (attention head) — وهو الجزء من البرنامج الذي يقرر الكلمات التي يجب التركاليز عليها — مجموعة من الأوزان، مما يعني اتخاذ قرار بشأن مدى الثقة في المعلومات من الطبقة التي تسبقها مباشرة مقابل المعلومات من الطبقة الأولى أو أي طبقة في المنتصف. تحدث عملية التعلم هذه تلقائيًا أثناء التدريب. ووجد الباحثون أن هذه المرونة حسنت بشكل كبير قدرة النموذج على التعامل مع المهام المعقدة. ففي الاختبارات التي تتضمن الاستدلال الرياضي وألغاز المنطق، تفوقت النماذج الجديدة على النسخ القياسية بفارق كبير. على سبيل المثال، عندما طُلب منها حل مسائل حسابية ذات خطوات عديدة، غالبًا ما فشلت النماذج القياسية مع زيادة عدد الخطوات، ويرجع ذلك على الأرجាប់ إلى فقدانها لتتبع الأرقام المتوسطة. ومع ذلك، حافظت النماذج الجديدة على دقتها حتى مع زيادة صعوبة المسائل، مما يشير إلى أنها كانت أفضل في الحفاظ على التمايز العددي الضروري واضحًا.

بعيدًا عن مجرد الحصول على درجات أفضل في الاختبارات، نظر الباحثون داخل النماذج لمعرفة ما كان يحدث. واكتشفوا أن النماذج القياسية تميل إلى ضغط الكلمات المختلفة في تمثيلات متطابقة تقريبًا مع انتقالها عبر الطبقات الأكثر عمقًا، مما يؤدي فعليًا إلى طمس الخطوط الفاصلة بينها. في المقابل، حافظت النماذج الجديدة على تنوع أغنى بكثير في التمثيلات. فمتجهات "القيمة" (value vectors) الداخلية، التي تحمل المعنى الجوهري للكلمات، ظلت متميزة ومتنوعة، حتى في أعمق أجزاء الشبكة. سمح هذا الحفاظ على التفاصيل للنماذج بالحفاظ على مسارات استدلال مختلفة ومنفصلة، وهو أمر بالغ الأهمية للمهام التي تتطلب استكشاف احتمالات متعددة أو اتباع سلسلة من المنطق. أظهرت الدراسة أنه من خلال السماح للبرنامج بالوصول إلى تاريخه بحرية أكبر، يمكنه تجنب فخ تبسيط المعلومات بشكل مفرط.

كانت النتائج متسقة عبر مختلف أحجام وأعماق النماذج. في التجارب التي بنى فيها الباحثون شبكات عميقة جدًا تصل إلى 128 طبقة، سمحت الطريقة الجديدة لنموذج مكون من 64 طبقة بأن يؤدي بمستوى يضاهي أو يتفوق على نموذج قياسي مكون من 128 طبقة. وهذا يشير إلى أن جودة تدفق المعلومات أهم من مجرد تكديس المزيد من الطبقات فوق بعضها البعض. كما حلل الباحثون "أوزان التوجيه" (routing weights) التي تعلمتها النماذج، ووجدوا أن البرامج أعادت استخدام السمات من الطبقات الأولى بشكل منهجي للسياق طويل المدى مع الاعتماد أيضًا على الجيران المباشرين للتفاصيل قصيرة المدى. يشير هذا النمط إلى أن النماذج تعلمت توزيع عبء الذاكرة عبر الشبكة بأكملها بدلًا من حشرها في تدفق واحد.

وعلى الرغم من أن الطريقة الجديدة تتطلب قدرًا ضئيلاً من الوقت الإضافي لحساب هذه الاتصالات، إلا أن المقايضة ضئيلة مقارنة بالمكاسب في الأداء والكفاءة. تعمل هذه الطريقة مع الأجهزة الحالية ولا تتطلب زيادات هائلة في الذاكرة، مما يجعلها ترقية عملية للأنظمة الحالية. وتخلص الدراسة إلى أن القصور في نماذج "ترانسفورمر" القياسية ليس في نقص القدرة، بل في كيفية استخدام تلك القدرة. فمن خلال فتح تدفق المعلومات بين الطبقات، يفتح النهج الجديد مستوى أعلى من الاستدلال والتمثيل، مما يثبت أن أفضل طريقة للمضي قدمًا هي أحيانًا تذكر أين كنت بالفعل.