The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models
تُثبت هذه الورقة أن استبدال ركيزة الحالة الخفية القياسية ذات القيم الحقيقية ببديل مستوحى من الكم وذات قيم مركبة، يُسرع بشكل كبير من تقارب التدريب لكل من نماذج فضاء الحالة ونماذج الانتباه القائمة على التسلسل، رغم أن ميزة الأداء طويلة المدى لا تستمر إلا في بنيات فضاء الحالة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يعتمد الذكاء الاصطناعي الحديث، ولا سيما الأنظمة التي تكتب النصوص وتترجم اللغات وتتنبأ بالكلمة التالية في الجملة، على نوع محدد من المحركات الرياضية. تعالج هذه المحركات المعلومات عن طريق نقلها عبر سلسلة من الطبقات، تماماً مثل إشارة تنتقل عبر سلك طويل. لعقود من الزمن، كانت الطريقة القياسية لبناء هذه المحركات هي استخدام الأعداد الحقيقية، وهي أعداد العد والعشريات المألوفة التي نستخدمها في حياتنا اليومية. في هذا الإعداد القياسي، يتذكر المحرك المعلومات الماضية من خلال الحفاظ على قوة حجم إشاراته الداخلية. ومع ذلك، كلما انتقلت المعلومات لمسافة أبعد في الزمن، تميل هذه الإشارات بطبيعتها إلى الانكماش، مثل همس يتلاشى في ممر طويل. وعندما يصبح حجم الإشارة صغيراً جداً، ينسى الجهاز فعلياً ما حدث في بداية الجملة، مما يجعل من الصعب التعلم من تسلسلات البيانات الطويلة. هذا التلاشي هو قيد جوهري في التصميم الحالي، مما يجبر الباحثين على استخدام كميات هائلة من البيانات والوقت لتعليم الآلة كيف تتذكر.
اكتشف فريق من الباحثين طريقة لتجاوز مشكلة التلاشي هذه عن طريق تغيير نظام الأعداد الذي تستخدمه الآلة للتفكير. فبدلاً من الاعتماد فقط على الأعداد الحقيقية، بنوا نسخة من نماذج اللغة هذه تستخدم الأعداد المركبة. وبينما تحتوي الأعداد الحقيقية على قيمة واحدة فقط، تحمل الأعداد المركبة معلومتين متميزتين: الحجم والاتجاه، أو الزاوية. وجد الباحثون أنه من خلال تخزين المعلومات المهمة في الزاوية بدلاً من الحجم، يمكن للآلة أن تسافر لمسافات أبعد بكثير دون فقدان ذاكرتها. وحتى لو انكمش حجم الإشارة أثناء انتقالها عبر الشبكة، تظل الزاوية حادة ومثالية دون تغيير. وهذا يسمح للآلة بالاحتفاظ بسياق بداية الجملة وصولاً إلى نهايتها، دون أن تتلاشى الإشارة أبداً في الصمت.
اختبر الباحثون هذا النهج الجديد عبر بناء نوعين مختلفين من نماذج اللغة، يعتمد أحدهما على تصميم قياسي والآخر على تصميم أحدث وأكثر كفاءة. وقد أنشأوا نسخة "مركبة" من كل منهما، باستبدال الأعداد الحقيقية بأعداد مركبة، ثم قاموا بتدريبها على ثلاث مجموعات مختلفة من النصوص، تتراوح من مجموعة صغيرة تبلغ 100 ميجابايت إلى 15 جيجابايت ضخمة. كانت النتائج مذهلة؛ ففي التصميم الأحدث والأصغر، وصل النموذج المركب إلى نفس مستوى دقة النموذج القياسي في حوالي ثلث خطوات التدريب فقط. وفي التصميم الأكبر والأكثر تقليدية، وصل إلى نفس المستوى في حوالي نصف الخطوات. وهذا يعني أن النماذج الجديدة تعلمت نفس القدر من المعلومات مع استهلاك كمية أقل بكثير من البيانات والوقت.
وما يجعل هذا الاكتشاف قوياً بشكل خاص هو أن الميزة ظهرت فوراً، لكن سلوك التصميمين تباين مع استمرار التدريب. لاحظ الباحثون أن النماذج المركبة تقدمت للأمام منذ المائة خطوة الأولى من التدريب. ومن الأهمية بمكان أنهم وجدوا أن طبيعة هذا التسريع اختلفت بين المعماريتين. ففي حالة التصميم الأحدث (نموذج فضاء الحالة)، اتسعت الفجوة بين النموذج المركب والنموذج القياسي مع استمرار التدريب، مما يشير إلى أن الفائدة هي ميزة دائمة في التصميم الجديد وليست مجرد أثر عابر في بداية العملية. أما في التصميم الأقدم (نموذج الانتباه)، فقد كانت الميزة في أقوى حالاتها في البداية ثم تلاشت ببطء نحو الصفر مع تقدم التدريب. ورغم هذا التلاشي، إلا أن الدفعة المبكرة كانت كبيرة بما يكفي لتقليص وقت التدريب إلى النصف لهذا التصميم تحديداً.
لقد حرص الباحثون على ضمان أن هذا التسريع لم يكن ناتجاً عن مجرد إضافة المزيد من القوة الحوسبية أو تغيير حجم النماذج. فقد طابقوا النسختين من كل نموذج بدقة شديدة بحيث كان لهما نفس عدد الأجزاء القابلة للضبط، بفارق يقل عن واحد في المائة في المئة. كما استخدموا نفس جدول التدريب ونفس الأجهزة الحاسوبية لكل من النسختين. وقد أكد هذا التحكم الصارم أن الفرق في السرعة جاء بالكامل من التحول إلى الأعداد المركبة والطريقة التي تعالج بها الآلة هذه الأعداد. كما استبعدت الدراسة فكرة أن النماذج المركبة كانت مجرد "محظوظة" في ظروف البداية؛ إذ إن الميزة المتسقة عبر أحجام مختلفة من النصوص ومعماريات نماذج مختلفة تشير إلى تحسن جوهري في كيفية تعلم الآلة.
أحد أكثر جوانب هذا العمل إثارة للاهتمام هو كيفية تغيير الطريقة التي تتعامل بها الآلة مع المعلومات المتضاربة. في النموذج القياسي، إذا لم تكن الآلة متأكدة مما إذا كان تسلسل الأرقام يمثل سنة أو سعراً، فعليها أن تعمل بنشاط على كبح أحد هذين الاحتمالين عن طريق تقليص إشارتها الداخلية حتى تختفي. أما في النموذج المركب، فيمكن للآلة بدلاً من ذلك تدوير زاوية الإشارة. فإذا كان هناك احتمالان في حالة صراع، يمكن للآلة تدويرهما بحيث يلغي أحدهما الآخر من خلال عملية تسمى "التداخل"، تماماً مثلما تعمل سماعات إلغاء الضجيج عن طريق إنشاء موجة صوتية هي النقيض التام للضوضاء. وهذا يسمح للآلة بالتخلص من الفكرة الخاطئة دون فقدان قوة الفكرة الصحيحة، وهي قدرة لا تستطيع النماذج القياسية القيام بها.
لاحظ الباحثون أنه بينما تعلمت النماذج المركبة بشكل أسرع، كانت هناك بعض المقايضات العملية. فالرقائق الحاسوبية المستخدمة لهذه المهام مُحسّنة حالياً للأعداد الحقيقية، لذا تطلب تشغيل النماذج المركبة قوة معالجة أكبر قليلاً في كل خطوة. وبالنسبة لتصميم النموذج الأحدث، تعني هذه التكلفة الإضافية أن الوقت الإجمالي لتدريب النموذج كان مساوياً تقريباً للنسخة القياسية، رغم أنه استغرق خطوات أقل. ومع ذلك، استهلك النموذج المركب بيانات أقل بكثير للوص م إلى نفس الجودة، وهو ما يعد ميزة رئيسية في المهام المتخصصة حيث تكون البيانات شحيحة. أما بالنسبة لتصميم النموذج الأقدم، فلم يكن لدى الباحثين نسخة محسنة من النموذج القياسي للمقارنة بها، لذا لم يتمكنوا بعد من الجزم ما إذا كانت النسخة المركبة ستكون أسرع في زمن التشغيل الفعلي، لكن مكسب كفاءة البيانات كان واضحاً.
يشير هذا العمل إلى أن اختيار نظام الأعداد لا يقل أهمية عن معمارية النموذج نفسه. لسنوات، ركز الباحثون على تغيير كيفية توجيه الآلة للمعلومات، لكن هذه الدراسة تظهر أن تغيير اللغة التي تفكر بها الآلة يمكن أن يحقق فوائد أكبر بكثير. لم تكتفِ النماذج المركبة بالتعلم بسرعة أكبر قليلاً، بل غيرت بشكل جذري كفاءة عملية التعلم، حيث وصلت إلى مستويات عالية من الأداء باستخدام جزء بسيط من البيانات. وخلص الباحثون إلى أنه بينما تعتبر نسختهم الحالية تكيفاً عملياً يخفف من بعض القواعد الرياضية الصارمة للنظرية، إلا أنها كافية لإثبات أن النهج المركب يعمل على نطاق واسع. وقد أتاحوا جميع أكوادهم وسجلات التدريب الخاصة بهم، داعين الآخرين للتحقق من النتائج واستكشاف كيف يمكن لهذه الطريقة الجديدة من التفكير أن تحسن الجيل القادم من الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.