Esoteric Language Models: A Family of Any-Order Diffusion LLMs
تقدم الورقة البحثية نماذج Eso-LMs، وهي عائلة جديدة من النماذج اللغوية التي تدمج بين نماذج الانتشار المقنعة والنماذج ذات الترتيب الذاتي باستخدام الانتباه السببي لتمكين الحساب الدقيق للاحتمالية وتخزين الذاكرة المخبأة (KV caching)، مما يحقق أداءً رائدًا في الكفاءة والجودة على جبهة باريتو (Pareto frontier) بين السرعة والجودة في التوليد غير المشروط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تكتب فيه الحواسيب القصص، والبرمجيات، والقصائد. لفترة طويلة، كان المعيار الذهبي لهذا الأمر هو طريقة تسمى "النمذجة ذات الترتيب الذاتي" (Autoregressive). فكر في هذا ككاتب نسخ مهذب للغاية، ولكنه بطيء، يكتب الجملة كلمة بكلمة، من اليسار إلى اليمين بدقة شديدة. يجب عليه أن ينهي كلمة "الـ" قبل أن يتمكن حتى من التفكير في كلمة "قط". هذه الطريقة دقيقة للغاية، ولكن لأنهم لا يستطيعون كتابة كلمتين في وقت واحد، فإن كتابة قصة طويلة تستغفرق وقتاً طويلاً.
على الجانب الآخر من الغرفة، هناك نهج جديد وأسرع يسمى "الانتشار" (Diffusion). تخيل فناناً فوضوياً يبدأ بصفحة بيضاء مغطاة بالضجيج الساكن ويحاول "إزالة الضجيج" منها لتحويلها إلى صورة. في عالم اللغة، يعني هذا البدء بجملة مليئة بعلامات الاستفهام (الأقنعة) وتخمين الكلمات التي يجب أن توضع في الفراغات. الشيء الرائع في هذا الفنان هو أنه يمكنه تخمين عدة كلمات في نفس الوقت، مما يجعله أسرع بكثير. ومع ذلك، فإن هذه الطريقة لها عيب: فهي غالباً أقل دقة من الكاتب المهذب البطيء، وقد كان من الصعب جعلها فعالة بما يكفي للدردشة في الوقت الفعلي. السؤال الكبير الذي كان العلماء يطرحونه هو: هل يمكننا بناء آلة تمتلك سرعة الفنان الفوضوي ودقة الكاتب المهذب؟
إليك "نماذج اللغات الباطنية" (Esoteric Language Models - Eso-LMs)، وهي عائلة جديدة من نماذج الذكاء الاصطناعي تعمل كطاهٍ ماهر يمزج وصفتين مختلفتين تماماً في طبق واحد مثالي. لقد قام الباحثون وراء هذا العمل، بقيادة سوبهام سيكار ساهو وزملائه، بإنشاء نظام يدمج أسلوب الكتابة "واحدة تلو الأخرى" للنماذج ذات الترتيب الذاتي مع أسلوب "التخمين المتوازي" لنماذج الانتشار.
إليك كيف فعلوا ذلك: بدلاً من إجبار الذكاء الاصطناعي على الاختيار بين الكتابة ببطء ودقة أو الكتابة بسرعة وفوضوية، قاموا ببناء محرك هجين. يبدأ النموذج باستخدام طريقة الانتشار لملء مجموعة من الكلمات دفعة واحدة، ثم ينتقل إلى طريقة الترتيب الذاتي لملء الباقي، واحدة تلو الأخرى. الخدعة السحرية تكمن في آلية "الانتباه" (attention)—وهي الجزء من الدماغ الذي يقرر أي الكلمات ينظر إليها. صمم الفريق طريقة جديدة تجعل النموذج ينظر إلى الكلمات تسمح له بالقيام بالأمرين معاً في آن واحد.
الاكتشاف الأكثر إثارة هو أن هذا النموذج الجديد يحل مشكلة سرعة رئيسية كانت تؤرق نماذج الانتشار لسنوات. في الماضي، لم تستطع هذه النماذج السريعة استخدام اختصار ذكي يسمى "تخزين KV" (KV caching) (فكر فيه كمسودة يستخدمها الكمبيوتر لتذكر ما كتبه للتو حتى لا يضطر لإعادة حسابه مجدداً). وبدون هذه المسودة، كان على النماذج إعادة قراءة الجملة بأكمل ت كل مرة يضيفون فيها كلمة جديدة، مما كان يجعل العملية بطيئة للغاية. استطاعت نماذج Eso-LMs معرفة كيفية استخدام هذه المسودة حتى أثناء القيام بالتخمين المتوازي السريع.
النتائج مبهرة. تظهر الورقة البحثية أن نماذج Eso-LMs يمكنها توليد النصوص بشكل أسرع بكثير من نماذج الانتشار القياسية—بما يصل إلى 65 ضعفاً للجمل الطويلة (8,192 رمزاً/token) و3 إلى 4 أضعاف أسرع من أفضل طريقة هجينة سابقة (BD3-LMs). وعلى عكس المحاولات الهجينة الأخرى التي كانت ستنتج كلاماً غير مفهوم إذا حاولت جعلها سريعة جداً، تحافظ Eso-LMs على جودة عالية حتى عندما ترفع وتيرة السرعة. كما تمكنوا من حساب "الاحتمالية الدقيقة" (مقياس لمدى ثقة النموذج في كلماته) لأول مرة في هذا النوع من نماذج الانتشار، وهو أمر كان مستحيلاً في السابق.
باختصار، يشير المؤلفون إلى أنه من خلال دمج هذين العالمين، فقد أنشأوا نظاماً جديداً يمثل "حد كفاءة باريتو" (Pareto frontier)—وهي طريقة فنية للقول بأنها تقدم أفضل مقايضة ممكنة بين السرعة والجودة. الأمر ليس مجرد تحسن طفيف؛ بل هو تحول جوهري يسمح للذكاء الاصطناعي بالكتابة بشكل أسرع دون أن يفقد عقله، مما يجعل توليد النصوص عالية الجودة في الوقت الفعلي أمراً ممكناً للغاية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.