WhiteMatter: All-to-All Cross-Layer Connections via KV Mixing

تعتمد الذكاء الاصطناعي الحديث الذي يولد النصوص على بنية تسمى "ترانسفورمر" (Transformer)، والتي تعالج المعلومات عبر سلسلة من الطبقات المتراكمة. تخيل خط تجميع في مصنع حيث تمر مادة خام عبر المحطة الأولى، ثم المحطة الثانية، وهكذا، حيث تقوم كل محطة بتكرير المنتج. في الإعداد القياسي، عندما ينتقل النظام إلى قطعة النص التالية، يمكن لكل محطة فقط أن تنظر إلى العمل الذي أنجزته المحطة التي تعلوها مباشرة في الخطوة السابقة. وهذا يعني أن الرؤى الأكثر عمقاً وتعقيداً التي تتشكل في أعلى التراكم غالباً ما تكون غير متاحة للمحطات الأدنى أو الأبكر عندما تعالج معلومات جديدة. وبينما يكون النظام قد أنشأ تاريخاً غنياً من الفهم، فإنه يكافح لاستخدام هذا العمق الكامل بكفاءة، مما يحد من قدرته على تتبع السياق طويل الممد وتتبع المشكلات المعقدة.

اقترح باحثون في جامعة جنوب كاليفورنيا بنية جديدة تسمى "وايت ماتر" (WhiteMatter) لحل هذه العقبة. بدلاً من تقييد كل طبقة بعمقها الخاص، تسمح "وايت ماتر" لكل جزء من النظام بالوصول إلى ملخص مدمج للمعلومات من كل طبقة من الماضي. وقد بنى الفريق آلية تعمل كـ "موجه ديناميكي"، يأخذ الحالات الخفية من جميع الطبقات للكلمة السابقة ويمزجها معاً في مجموعة أصغر من القنوات المشتركة. بعد ذلك، تختار كل طبقة من الكلمة الحالية قناة واحدة من هذه القنوات للقراءة منها. يحاكي هذا التصميم الطريقة التي يربط بها الدماغ البشري المناطق البعيدة عبر ألياف المادة البيضاء، مما يسمح للأجزاء الضحلة من الشبكة بتلقي معلومات عميقة ومعالجة من الماضي، بينما لا تزال الأجزاء العميقة قادرة على الوصول إلى السياق الخام والمباشر.

اختبر الباحثون هذا النظام عبر تدريبه من الصفر على مجموعة بيانات ضخمة مكونة من ثمانية مليارات رمز نصي. وقارنوا نماذج "وايت ماتر" الجديدة بنماذج قياسية بنفس الحجم، وبنماذج قياسية أكبر بكثير. وأظهرت النتائج أن نموذج "وايت ماتر" المكون من ست عشرة طبقة كان أفضل من نموذج قياسي مكون من أربع وعشرين طبقة، محققاً معدل خطأ أقل بكثير في التنبؤ بالكلمة التالية. وقد تحقق هذا التحسن حتى عندما قلل الباحثون مساحة التخزين الذاكرية المطلوبة للنظام إلى النصف، مما أثبت أن النموذج يمكنه الاحتفاظ بأدائه العالي مع استخدام ذاكرة أقل. كما أظهرت الدراسة أن النظام يمكن تدريبه بكفاءة باستخدام طريقة تكرارية محددة تسمح للحاسوب بمعالجة العديد من الكلمات في وقت واحد، بدلاً من الاضطرار للعمل من خلالها واحدة تلو الأخرى، وهو ما يتطلبه عادةً مثل هذا الاتصال العميق.

يكمن الابتكار الجوهري في كيفية تعامل النظام مع ذاكرة الكلمات الماضية. في الإعداد التقليدي، تُخزن ذاكرة الكلمة طبقة تلو أخرى، ولا يمكن للكلمة التالية إلا الوصول إلى الذاكرة عند نفس العمق. تكسر "وايت ماتر" هذه القاعدة من خلال إنشاء حوض من قنوات الذاكرة التي يتم تحديثها بناءً على محتوى الكلمة نفسها. يقوم موجه بتحليل الحالات الخفية لجميع الطبقات لكلمة سابقة ودمجها في بضع قنوات. ويمكن تعديل عدد هذه القنوات؛ حيث وجد الباحثون أن استخدام عدد قنوات أقل من إجمالي عدد الطبقات يقلل من بصمة الذاكرة دون التضحية بقدرة النموذج على فهم النصوص المعقدة. تتيح هذه المرونة للنظام أن يكون أكثر كفاءة، فهو ليس بحاجة لتخزين تاريخ كل طبقة بالتفصيل الكامل، بل فقط المزيج الأكثر صلة.

ولإنجاح ذلك خلال مرحلة التدريب، كان على الباحثين التغلب على تبعية دائرية. نظرًا لأن ذاكرة الكلمة تعتمد على معالجة تلك الكلمة، والمعالجة تعتمد على الذاكرة، فلا يمكن للنظام ببساطة حساب كل شيء في تمريرة واحدة. طور الفريق طريقة تسمى "تكرار غاوس-سايدل الدوري" (cyclic Gauss–Seidel iteration)، والتي تعالج النص في مجموعات. وهذا يسمح للنظام بتحديث فهمه في مراحل، حيث يمكن للمجموعات اللاحقة في التسلسل استخدام المعلومات المحدثة من المجموعات الس earlier ضمن نفس التمريرة. ووجد أن هذا النهج أسرع بكثير من الطرق السابقة التي كانت تتطلب تمريرات أكثر بكثير للوصول إلى نفس المستوى من الدقة، مما جعل تدريب مثل هذه النماذج العميقة والمترابطة ممكناً على الأجهزة القياسية.

أكدت التجارب أن هذه البنية لا تحسن جودة النص الناتج فحسب، بل تعزز أيضاً أداء النموذج في مهام الاستدلال المختلفة. فعند اختبارها على معايير قياسية لفهم اللغة، تفوقت نماذج "وايت ماتر" باستمرار على نظيراتها القياسية من نفس العمق، بل وتجاوزت النماذج القياسية الأكبر حجماً. كما حافظ تكوين "نصف الذاكرة"، الذي استخدم ثماني قنوات فقط لنموذج مكون من ست عشرة طبقة، على معظم مكاسب الأداء مع استخدام ذاكرة أقل بكثير من التخزين المؤقت الكامل. يشير هذا إلى أن القدرة على مزج المعلومات ديناميكياً من جميع الأعماق هي أكثر قيمة من مجرد زيادة حجم مساحة التخزين الذاكرية.

كما استكشفت الدراسة كيف يتصرف النظام تحت ظروف تدريب مختلفة. وجد الباحثون أن الطريقة المحددة التي يتكرر بها النظام عبر البيانات أثناء التدريب لها تأثير كبير على أدائه النهائي. فالنماذج التي تم تدريبها وفق جدول يحاكي عملية فك التشفيد خطوة بخطوة النهائية أدت بشكل أفضل وكانت أكثر استقراراً. ومع ذلك، حتى مع جدول تدريب أبسط، لا تزال نماذج "وايت ماتر" تتفوق على النماذج القياسية، مما يشير إلى أن التغيير الهيكلي نفسه هو المحرك الرئيسي للتحسن. وأشار الباحثون إلى أنه بينما تتطلب عملية التدريب قوة حوسبية أكبر من النموذج القياسي، فإن عملية فك التشفيد -أي توليد النص الفعلي- سريعة تقريباً، مما يجعل النظام عملياً للتطبيقات الواقعية.

في السياق الأوسع للذكاء الاصطناعي، يعالج هذا العمل قصوراً جوهرياً في كيفية معالجة نماذج التعلم العميق للمعلومات بمرور الوقت. فمن خلال السماح لكل طبقة بالوصول إلى رؤية تركيبية لتاريخ الشبكة بأكملها، تتغلب "وايت ماتر" على العزلة التي تعاني منها عادةً البنيات العميقة. وتشير النتائج إلى أن كفاءة هذه الأنظمة لا تأتي فقط من جعلها أكبر أو أعمق، بل من كيفية ربطها ومشاركة المعلومات عبر هياكلها الداخلية. إن القدرة على ضغط ذاكرة التفاعلات الماضية دون فقدان ثراء البيانات تقدم مساراً واعداً لبناء نماذج لغوية أكثر قدرة وكفاءة.

خلص الباحثون إلى أن نهجهم نجح في دمج التغذية الراجعة من العميق إلى الضحل، مما يسمح للنظام باستخدام العمق الكامل لتمثيلاته. وقد أثبتوا أن هذا يمكن تحقيقه مع تقليل بصمة الذاكرة، مما يتحدى الافتراض بأن الأداء الأفضل يتطلب تخزيناً أكبر. وبينما تتضمن عملية التدريب بعض التعقيد الإضافي، فإن المكاسب في الدقة والكفاءة أثناء الاستخدام الفعلي للنموذج تعتبر جوهرية. يوفر هذا العمل مثالاً ملموساً على كيف يمكن لإعادة التفكير في الروابط بين أجزاء مختلفة من الشبكة العصبية أن تؤدي إلى تحسينات كبيرة في الأداء، مما يقدم اتجاهاً جديداً لتطوير أنظمة الذكاء الاصطناعي المستقبلية.