LoopMTP: A looped transformer guided by latent multi-token prediction
تقترح الورقة البحثية LoopMTP، وهو إطار عمل فعال من حيث المعلمات يعزز نماذج المحولات الحلقية (looped transformers) عبر محاذاة الحالات الخفية المتوسطة مع تضمينات الرموز المستقبلية من خلال التنبؤ متعدد الرموز الكامن، مما يخفف من حدة الإفراط في التفكير ويحسن دقة الاستنتاج بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو كتابة قصة ذات حبكة مفاجئة. يمكنك استئجار فريق ضخم من الخبراء، لكل منهم مكتبه الخاص، للعمل على هذا اللغز. هكذا تعمل معظم نماذج الذكاء الاصطناعي القوية اليوم: فهي ضخمة، وتتكون من آلاف الطبقات من "الخبراء" المتراكمة فوق بعضها البعض. ولكن ماذا لو كان لديك خبير عبقري واحد ومكتب صغير؟ هل يمكنه أيضاً حل اللغز إذا سمحت له بالتفكير فيه مراراً وتكراراً، وتطوير إجابته في كل مرة؟ هذا هو السؤال الكبير في عالم الذكاء الاصطناعي، وتحديداً في مجال يُسمى "المحولات الحلقية" (looped transformers).
لفترة طويلة، اعتقد العلماء أنه لكي يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه يحتاج إلى أن يصبح أكبر حجماً. لكن هناك عقبة: النماذج الأكبر هي أكثر تكلفة ويصعب تشغيلها على الحواسيب العادية. كما أنها قد تقع أحياناً في حلقة مفرغة من أفكارها الخاصة، فتفرط في التفكير في إجابة بسيطة حتى تفسدها. فكرة أخرى، تُسمى "التنبؤ متعدد الرموز" (Multi-Token Prediction)، تقترح أنه بدلاً من مجرد تخمين الكلمة التالية في جملة ما، يجب على الذكاء الاصطناعي محاولة تخمين الكلمات القليلة التالية دفعة واحدة. هذا يجبر النموذج على التخطيط للمستقبل، تماماً مثل لاعب الشطرنج الذي ينظر ثلاث خطوات للأمام بدلاً من خطوة واحدة فقط. التحدي كان في كيفية الجمع بين نهج "التفكير ملياً" ونهج "التخطيط للمستقبل" دون أن يصاب الذكاء الاصطناعي بالارتباك أو يهدر طاقته.
هنا يأتي دور LOOPMTP، وهي طريقة جديدة اقترحها الباحث بهزاد شومالي وفريقه. فكر في LOOPMTP كاستراتيجية ذكية لذلك الخبير العبقري الوحيد. فبدلاً من ترك الخبير يحدق في اللغز ويعيد كتابة ملاحظاته (الأمر الذي يؤدي غالباً إلى مسح الأفكار الجيدة)، تمنح LOOPMTP هذا الخبير دليلاً خاصاً. في كل مرة يلقي فيها الخبير نظرة جديدة على اللغز (دورة "loop")، يتم توجيهه بلطف ليبقي عينيه على جزء محدد من الحل في المستقبل.
إليك كيف يعمل الأمر من الناحية العملية: تخيل أن الذككاء الاصطناعي يكتب قصة. في حلقة قياسية، قد يكتب جملة، ثم ينسى فوراً ما كتبه للتو ويحاول إعادة كتابتها، مما يؤدي غالباً إلى وقوع أخطاء. تغير LOOPMTP القواعد؛ فعندما يمر الذكاء الاصطناعي في جولته الثانية من كتابة القصة، يتم إخباره سراً: "مهلاً، تذكر أن عليك أن تكون مستعداً لكتابة الكلمة التي ستأتي بعد خطوتين من الآن". وفي الجولة الثالثة، يُطلب منه النظر ثلاث خطوات للأمام. هذا هو جزء "التنبؤ متعدد الرموز" الذي يعمل كدليل. هي لا تجبر الذكاء الاصطناعي على الصراخ بالكلمات المستقبلية، بل تواءم أفكاره الداخلية مع فكرة تلك الكلمات المستقبلية. الأمر يشبه المتنزه الذي يحتفظ بخريطة في جيبه، ليس للقفز للأمام، بل للتأكد من أن كل خطوة يخطوها تسير في الاتجاه الصحيح.
كما أضاف الباحثون آلية "حارس البوابة" (gatekeeper). في الماضي، عندما يقوم الذكاء الاصطناعي بعمل حلقات، فإنه غالباً ما يتخلص من العمل الناتج عن الحلقات السابقة، مثل طاهٍ يرمي الصلصة في كل مرة يتذوقها فيها. أما LOOPMTP فتحتفظ بجميع النسخ، لكنها تستخدم بوابة ذكية لتقرر مقدار كل نسخة يتم خلطها في الطبق النهائي. هذا يضمن عدم فقدان أي معلومات جيدة، حتى لو فكر الذكاء الاصطناعي في المشكلة مرات عديدة.
النتائج التي حققها هذا النهج واعدة للغاية. فعندما اختبر الفريق LOOPMTP في مهام متنوعة، بما في ذلك الرياضيات والبرمجة وأسئلة المعرفة العامة، تفوقت بشكل ملحوظ على النماذج الحلقية الأخرى. في الواقع، تحسنت الدقة في المتوسط بنسبة تصل إلى 8.1% مقارنة بنموذج قياسي لم يستخدم خدعة التكرار هذه. والأكثر إثارة للإعجاب هو أنها حافظت على استقرارها واستمرت في التحسن حتى عندما طُلب من الذكاء الاصطناعي "التفكير" في المشكلة 15 مرة متتالية. بينما انهارت نماذج أخرى مماثلة أو ارتبكت بعد بضع حلقات فقط.
تشير الورقة البحثية إلى أن هذه الطريقة تعد وسيلة قوية لجعل نماذج الذكاء الاصطناعي الأصغر أكثر ذكاءً دون الحاجة إلى بناء نماذج ضخمة ومكلفة. وهي توضح أنه من خلال توجيه الأفكار الداخلية للذكاء الاصطناعي نحو المستقبل، يمكننا منع الإفراط في التفكير ومساعدة الذكاء الاصطناعي على استخدام قدراته الحوسبية المحدودة بكفاءة أكبر بكثير. وبينما يشير الباحثون إلى أن هذا يعمل بشكل جيد بشكل خاص في مهام الرياضيات والاستدلال، إلا أنهم يشيرون أيضاً إلى وجود حد؛ فإذا طلبت من النموذج التفكير لمرات كثيرة جداً، فقد يبدأ في النهاية في الارتباك مجدداً. ولكن في الوقت الحالي، تقدم LOOPMTP طريقة جديدة وممتعة لمساعدة الذكاء الاصطناعي على "التفكير بعمق أكبر" دون الحاجة إلى دماغ أكبر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.