DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees
تُعد DARTree طريقةً لفك التشفير الاستباقي خالية من التدريب، حيث تُوسع نطاق التصحيح ذاتي الانحدار من السلاسل الخطية إلى أشجار مرشحة ثابتة العرض، محققةً بذلك أقصى سرعات التحسين غير الفاقد للمعلومات عبر فك الارتباط بين استنتاج رأس (AR) والعمليات المتسلسلة لتعظيم قبول الرموز.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول كتابة قصة مع صديق آلي ذكي للغاية، ولكنه بطيء بشكل لا يصدق. هذا الروبوت بارع في فهم العالم ويمكنه كتابة جمل مذهلة، لكن لديه قاعدة صارمة: يمكنه فقط كتابة كلمة واحدة في كل مرة. قبل أن يكتب الكلمة التالية، يجب عليه أن يتوقف، ويفكر في كل ما كتبه حتى الآن، ثم يختار بعناية الكلمة الأفضل والوحيدة لإضافتها. الأمر يشبه طباخاً لا يمكنه إلا تذوق مكون واحد في كل مرة قبل أن يقرر ما سيضعه في الحساء. وبينما يضمن ذلك أن يكون طعم الحساء مثالياً، إلا أن عملية الطهي تستغرق وقتاً طويلاً جداً لتحضير وجبة كبيرة. في عالم الذكاء الاصطناعي، تسمى عملية "كلمة واحدة في كل مرة" هذه التوليد ذاتي الانحدار (Autoregressive Generation)، وهي السبب الرئيسي وراء شعور بعض روبوتات الدردشة القوية بالبطء أحياناً.
لتسريع الأمور دون إفساد الجودة، اخترع العلماء حيلة تسمى التوليد التخميني (Speculative Decoding). فكر في هذا الأمر كتوظيف متدرب سريع ونشيط ليخمن الكلمات القليلة التالية للروبوت البطيء. يصرخ المتدرب بجملة كاملة، ثم يقوم الروبوت البطيء بالتحقق بسرعة مما إذا كان المتدرب على حق. إذا خمن المتدرب بشكل صحيح، يقبل الروبوت الجملة بأكملها فوراً وينتقل لما بعدها. أما إذا ارتكب المتدرب خطأً، فيقوم الروبوت فقط بتصحيح تلك الكلمة الواحدة ويبدأ من جديد. يكمن السحر في كون المتدرب جيداً بما يكفي لتخمين العديد من الكلمات بشكل صحيح متتالٍ، مما يسمح للروبوت البطيء بتجاوز جزء التفكير الصعب والاكتفاء بقول "نعم، هذا صحيح!" لمجموعة كاملة من النصوص دفعة واحدة.
مؤخراً، حاول باحثون جعل المتدرب أسرع باستخدام نوع آخر من الأدمغة يسمى نموذج الانتشار (Diffusion Model). فبدلاً من تخمين الكلمات واحدة تلو الأخرى، يحاول هذا المتدرب تخيل الجملة التالية بأكملها دفعة واحدة، مثل رسام يملأ لوحة كاملة بضربة فرشاة واحدة. هذا سريع للغاية، ولكن به عيب: نظرًا لأن المتدرب يخمن الجملة بأكملها دفعة واحدة، فهو لا يعرف حقاً كيف تؤثر الكلمة الأولى على الثانية، أو كيف تؤثر الثانية على الثالثة. إنه يشبه تخمين نهاية فيلم دون مشاهدة المشاهد الوسطى. ولإصلاح ذلك، أضاف باحثون آخرون خطوة "تصحيح"، لكنهم فعلوها بطريقة كانت لا تزال بطيئة وغير متناسقة، مما أجبر الروبوت على التحقق من عمل المتدرب كلمة بكلمة، وهو ما أدى إلى إبطاء الغرض من السرعة.
هنا يأتي دور ورقة بحثية جديدة من مختبر VILA في جامعة محمد بن زايد للذكاء الاصطناعي (MBZUAI) تقدم حلاً ذكياً يسمى DARTree. فقد أدرك الباحثون أن الطريقة القديمة للتحقق من عمل المتدرب كانت تشبه محاولة تنظيم مكتبة عن طريق التقاط كتاب واحد، والتحقق من رفّه، ثم إعادته، ثم التقاط الكتاب التالي، وهكذا دواليك. كان ذلك يتطلب الكثير من الحركة ذهاباً وإياباً. بدلاً من ذلك، يقترح DARTree طريقة جديدة لبناء "شجرة" من الاحتمالات. تخيل أن المتدرب لا يخمن مساراً واحداً للكلمات فحسب، بل يرسم شجرة كثيفة من احتمالات القصص المختلفة. ثم ينظر الروبوت البطيء إلى الشجرة بأكملها دفعة واحدة، ولكن مع لمسة خاصة: فهو يتحقق من "الأغصان" في مجموعات كبيرة (دفعات) بدلاً من واحدة تلو الأخرى.
الابتكار الرئيسي هو أن DARTree يفصل بين "التخمين" و"التحقق". أولاً، يبني شجرة مؤقتة واسعة من العديد من مسارات القصص المحتملة دفعة واحدة. ثم يستخدم أداة تقليم ذكية لقطع الأغصان التي لا تبدو واعدة، تاركاً فقط أفضل شجرة ليعرضها على الروبوت البطيء. ومن خلال القيام بالعمل الشاق المتمثل في التحقق من مسارات القصة في دفعات كبيرة، يتجنبون عملية المشي البطيئة خطوة بخطوة التي كانت تعيق كل شيء. وتظهر الورقة البحثية أن هذه الطريقة ناجحة للغاية؛ ففي مجموعة متنوعة من الاختبارات التي تشمل المسائل الرياضية، ومهام البرمجة، ومحادثات الدردشة، تمكن DARTree من قبول ما يصل إلى 12.97 رمزاً (Token) (كلمات أو أجزاء من الكلمات) في كل جولة من جولات التحقق. وهذه قفزة هائلة مقارنة بالطرق السابقة؛ حيث كان أفضل بنسبة 98.6% من منافس رئيسي يسمى DFlash، وأفضل بنسبة 27.9% من منافس آخر يسمى Domino.
النتي نتيجة لذلك، هو نظام سريع للغاية ولكنه دقيق تماماً. فقد قاس الباحثون أن هذه الطريقة الجديدة يمكن أن تجعل الذكاء الاصطناعي أسرع بـ 9.73 مرة من الطريقة القياسية للكتابة، دون فقدان أي من الجودة أو اختلاق حقائق وهمية. وقد اختبروا ذلك على أنواع مختلفة من نماذج الذكاء الاصطناعي ووجدوا أنه يعمل بشكل رائع سواء كان الذكاء الاصطناعي صارماً ومنطقياً (مثل الرياضيات) أو مبدعاً وعشوائياً (مثل الدردشة). وتجادل الورقة البحثية بأن نهج "الشجرة" هذا، الذي يتحقق من مسارات عديدة بالتوازي قبل اتخاذ قرار نهائي، هو أفضل طريقة لتسريع هذه الروبوتات الذكية. إنها تثبت أنه ليس عليك الاختيار بين السرعة والذكاء؛ فمع الهيكل الصحيح، يمكنك الحصول على كليهما.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.