Hierarchical Latent Prediction for Language Models
تقدم هذه الورقة التنبؤ الكامن الهرمي (HiLP)، وهو هدف مساعد مبتكر يستفيد من الكوامن المجردة عالية المستوى للتخفيف من تراكم الأخطاء في عمليات التدحرج في الفضاء الكامن، مما يؤدي إلى تحسين الاستدلال طويل الأمد، وأداء البرمجة، وكفاءة فك التشفير الاستباقي في النماذج اللغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يكتب قصة. الطريقة القياسية للقيام بذلك تسمى "التنبؤ بالرمز التالي" (Next-Token Prediction). إنها تشبه لعبة "ماد ليبس" (Mad Libs) حيث ينظر الروبوت إلى آخر كلمة كتبتها ويخمن الكلمة التالية مباشرة. إذا قلت "القط جلس على الـ"، سيخمن الروبوت "سجادة". ثم تغذيه بـ "القط جلس على السجادة"، فيخمن "الناعمة". لقد بنت هذه الطريقة روبوتات ذكية للغاية، لكن بها عيباً؛ فبسبب نظر الروبوت خطوة واحدة فقط للأمام، يمكنه أن يتوه في القصص الطويلة. إذا ارتكب خطأً صغيراً في البداية، فإن هذا الخطأ يكبر ويكبر مع استمراره في التخمين، مثل كرة ثلج تتدحرج من فوق تلة. وهذا ما يسمى "انحياز التعرض" (exposure bias).
ولإصلاح ذلك، حاول العلماء تعليم الروبوت النظر لعدة خطوات للأمام أو تخمين "روح" أو "جو" الكلمات القليلة القادمة بدلاً من مجرد الحرف التالي. لكن هذه الأساليب غالباً ما تكون لها مشاكلها الخاصة: فإما أنها لا تستطيع الرؤية بعيداً بما يكفي في المستقبل، أو أنها ترتبك بسبب أخطائها عندما تحاول التخطيط لمسافة بعيدة جداً للأمام. السؤال الكبير هو: هل يمكننا تعليم الروبوت فهم بنية القصة على مستويات متعددة في آن واحد—مثل معرفة حبكة الفصل بينما يعرف أيضاً الجملة التالية—دون جعل الروبوت بطيئاً جداً أو معقداً في الاستخدام؟
هذا بالضبط ما عالجه الباحثون في "مايكروسوفت ريسيرش" وجامعة "تكساس في أوستن" في ورقتهم البحثية الجديدة بعنوان "التنبؤ الكامن الهرمي للنماذج اللغوية" (Hierarchical Latent Prediction for Language Models). لقد قدموا طريقة تدريب ذكية تسمى HiLP (التنبؤ الكامت الهرمي). فكر في عقل الروبوت كأنه يحتوي على طبقتين من التفكير. الطبقة الأولى هي رؤية "مستوى الشارع"، والتي تركز على الكلمة التالية المباشرة، تماماً مثل الطريقة القديمة. الطبقة الثانية هي "رؤية المروحية"، التي تنظر إلى كتلة من الكلمات دفعة واحدة لفهم الصورة الأكبر، مثل فقرة أو مشهد.
في تجاربهم، علم الباحثون الروبوت استخدام "رؤية المروحية" هذه كأداة تدريب سرية. لقد أنشأوا طبقة "مجردة" خاصة تلخص الكلمات القليلة الأخيرة في مفهوم واحد رفيع المستوى. ثم طلبوا من الروبوت التنبؤ بمكان ذلك المفهوم رفيع المستوى بعد بضع خطوات في المستقبل. هذا أجبر الروبوت على تعلم كيفية تدفق القصة عبر مسافة أطول، وليس فقط من كلمة إلى كلمة. والأهم من ذلك، أن "رؤية المروحية" هذه تُستخدم فقط أثناء التدريب. بمجرد انتهاء الروبوت من التعلم، يقوم الباحثون بالتخلص من الطبقات الإضافية. عندما يكتب الروبوت قصة لك، فإنه يستخدم فقط رؤية "مستوى الشارع" البسيطة والسريعة. وهذا يعني أن الروبوت يصبح أكثر ذكاءً في التخطيط طويل المدى دون أن يصبح أبطأ أو أثقل في التشغيل.
تشير النتائج إلى أن هذا النهج يعمل بشكل جيد. فعندما اختبروا الروبوت الجديد في مهام البرمجة وألغاز الاستدلال متعددة الخطوات، حقق أداءً أفضل من الأساليب السابقة التي حاولت النظر للأمام. على سبيل المثال، في اختبار برمجي يسمى HumanEval، حققت الطريقة الجديدة درجة 11.33، متفوقة على الطريقة القياسية (التي سجلت 8.77) وعلى المحاولات الحديثة الأخرى مثل NextLat (التي سجلت 10.58). كما وجد الباحثون أن هذه الطريقة جعلت "فك التشفير الاستدلالي" (speculative decoding) أكثر كفاءة؛ وهي تقنية حيث يخمن الروبوت عدة كلمات في وقت واحد لتسريع العملية؛ ومع HiLP، كانت تخمينات الروبوت أكثر دقة، مما يعني أنه أضاع وقتاً أقل في تصحيح نفسه.
تجادل الورقة البحثية بأنه بينما يعد النظر خطوة واحدة للأمام أمراً جيداً للتفاصيل المحلية، إلا أنه يفشل في التقاط البنية طويلة المدى للغة. ومن خلال إضافة "رؤية المروحية" الهرمية هذه أثناء التدريب، يتعلم الروبوت إبقاء أهدافه طويلة المدى في ذهنه، مما يقلل من "تأثير كرة الثلج" للأخطاء. ويشير المؤلفون إلى أن هذه الطريقة توفر وسيلة للحصول على فوائد التخطيط طويل الأمد دون المقايضات المعتادة في السرعة أو التعقيد، رغم أنهم أشاروا إلى أن مسافة "النظر للأمام" المحددة التي استخدموها كانت إعداداً يدوياً، وأن العمل المستقبلي يمكن أن يجعلها أكثر مرونة. في النهاية، تظهر HiLP أن تعليم النموذج اللغوي رؤية الغابة والأشجار معاً أثناء الممارسة يمكن أن يساعده في كتابة قصص أفضل، حتى لو كان يستخدم الأشجار فقط عند وقت الأداء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.