Dynamic Multi-Byte Prediction With Hierarchical Language Models
تقدم هذه الورقة تقنية التنبؤ متعدد البايتات (MBP)، وهي تقنية مبتكرة للنماذج اللغوية الهرمية على مستوى البايت تعمل على تسريع الاستدلال من خلال توليد بايتات متعددة بالتوازي عبر نافذة تنبؤ متغيرة الطول ومخطط قناع انتباه يحافظ على السببية، مما يحقق توازناً أمثلاً بين الأداء والإنتاجية دون إضافة أي معاملات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت الحواسيب التي تفهم وتنتج لغة البشر ركيزة أساسية في الحياة المعاصرة، من المساعدين في الكتابة إلى أدوات الترجمة. وفي قلب هذه الأنظمة يكمن تحدٍ جوهري: كيفية تفكيك التنوع اللانهائي للغة البشرية والنصوص إلى قطع يمكن للآلة معالجتها. لسنوات طويلة، كان الحل القياسي هو تقطيع النص إلى "كلمات فرعية"، أو أجزاء صغيرة من الحروف تمثل أصواتاً شائعة أو أجزاً من الكلمات. ورغم كفاءة هذه الطريقة، إلا أنها تعاني من عيب: فهي تواجه صعوبة مع الكلمات النادرة، أو المصطلحات العامية الجديدة، أو اللغات ذات أنظمة الكتابة المعقدة، حيث غالباً ما تقطعها إلى شظايا غير متناسقة. وهناك نهج بديل يُعرف باسم النمذجة على مستوى البايت (byte-level modeling)، يتخطى هذه الأجزاء تماماً ويعمل مباشرة على "البايتات" الخام — وهي اللبنات الرقمية الفردية التي تشكل كل حرف على الشاشة. هذه الطريقة مرنة للغاية ويمكنها التعامل مع أي لغة أو رمز دون افتراضات مسبقة. ومع ذلك، هناك عقبة؛ فبسبب معالجتها للنص قطعة صغيرة تلو الأخرى، تكون أبطأ بكثير من الطرق القائمة على الأجزاء، مما يخلق عنق زجاجة يجعل توليد الاستجابات الطويلة يبدو بطيئاً.
اقترح باحثون من جامعة ولاية أوهايو، وجامعة فلوريدا، وجامعة واشنطن طريقة لتسريع عملية المعالجة "بايت تلو الآخر" هذه دون التضحية بمرونة النهج الخام. فقد قدموا تقنية تسمى "التنبؤ الديناميكي متعدد البايتات" (dynamic multi-byte prediction)، والتي تسمح للحاسوب بتخمين عدة بايتات في وقت واحد بدلاً من بايت واحد فقط. ويكمن سر نجاحهم في طريقة جديدة لتنظيم انتباه الحاسوب، والتي أطلقوا عليها اسم "الانتباه السببي الكامن" (Latent Causal Attention). وبكلمات أبسط، يتعلم النظام التعرف على "القطاعات" الطبيعية أو مجموعات البايتات التي تنتمي لبعضها البعض، تماماً كما يرى القارئ عبارة بدلاً من مجرد سلسلة من الحروف الفردية. فبدلاً من معاملة كل بايت كخطوة منفصلة ومعزولة، يقوم النموذج بتجميعها في هذه القطاعات المتعلمة ويتنبأ بالمجموعة بأكملة بالتوازي. ويمثل هذا تحولاً كبيراً عن الطرق السابقة التي حاولت تسريع العملية عبر إضافة رؤوس تنبؤ إضافية ومنفصلة لكل رمز مستقبلي، مما كان يزيد من حجم النموذج وتعقيده.
بنى الباحثون نظامهم على بنية هرمية، حيث يقوم النموذج أولاً بضغط تدفق البايتات الطويل إلى وحدات أقصر وذات معنى قبل معالجتها. ثم قاموا بتعديل "المفكك" (decoder) — وهو الجزء من النموذج الذي يولد المخرجات — لاستخدام رأس تنبؤ واحد ذكي. هذا الرأس مزود بقاعدة خاصة، أو "قناع" (mask)، يسمح له بالنظر إلى الخلف إلى مجموعات البوارات السابقة لفهم السياق، بينما يتنبأ في الوقت نفسه بجميع البايتات داخل المجموعة الحالية. يضمن هذا التصميم عدم وصول النموذج إلى معلومات مستقبلية؛ فهو يحافظ على التدفق المنطقي للغة مع اكتساب ميزة سرعة هائلة. وقد درب الفريق نموذجاً يحتوي على 373 مليون معلمة (parameter) على مجموعة بيانات ضخمة من النصوص الإنجليزية، واختبروه في أربع مهام مختلفة: اتباع التعليمات المعقدة، الإجابة على الأسئلة، تلخيص المقالات الإخبارية، والترجمة بين الإسبانية والفرنسية والإنجليزية.
أظهرت النتائج أن هذا النهج الجديد يحقق توازناً ممتازاً بين السرعة والدقة. ففي ثلاث من المهام الأربع التي تم اختبارها، حققت الطريقة الجديدة أفضل مقايضة ممكنة بين سرعة توليد النص وجودته، متفوقة على الطرق الأخرى التي حاولت تسريع عملية التوليد. وفي مهمة الترجمة، كانت أقل دقة قليلاً من الطريقة الأكثر بطئاً ودقة، لكنها كانت أسرع بكثير، مما يوفر تحسيناً عملياً للاستخدام في العالم الحقيقي. وكان أحد النتائج الجوهرية هو أن النظام لا يحتاج إلى إعادة تدريب لتغيء عدد البايتات التي يتنبأ بها في المرة الواحدة؛ إذ استطاع الباحثون ببساطة ضبط عدد المرشحين التخمينيين أثناء عملية التوليد. وعندما استخدموا خطوة تحقق للتدقيق في التنبؤات، حافظ النظام على جودته العالية مع زيادة سرعته بنسبة تقارب 40 بالمئة. وهذا يشير إلى أن الطريقة ليست مجرد تحسين نظري، بل هي أداة عملية يمكن دمجها في الأنظمة الحالية لجعلها أسرع دون الحاجة إلى إعادة تصميم كاملة أو نموذج أكبر وأكثر تكلفة.
كما استكشفت الدراسة كيفية سلوك النظام عندما يُطلب منه التنبؤ بمزيد من البايتات مما تم تدريبه عليه بدقة. ووجدوا أن النموذج يمكنه التنبؤ بسلاسل أطول من البايتات بنجاح، وإن كانت دقة هذه التخمينات الطويلة تعتمد على المهمة المحددة. فبالنسبة لبعض المهام، مثل الترجمة، كان أداء النموذج في أفضل حالاته عند التنبؤ بما يصل إلى سبعة بايتات في المرة الواحدة، بينما كانت ستة بايتات هي "النقطة المثالية" لمهمة التلخيص. ومن المثير للاهتمام أن النظام نادراً ما يقبل نافذة كاملة من البايتات المتنبأ بها في الخطوة الأولى من التوليد، لأنه يحتاج إلى تجميع سياق كافٍ لتقديم تخمينات واثقة. ومع ذلك، مع تقدم عملية التوليد، كان النموذج يقبل مجموعات كاملة من البايتات دفعة واحدة، مما يشير إلى أنه تعلم التعرف على قطاعات نصية متماسكة. إن هذه القدرة على تكييف طول التنبؤ بناءً على تدفق النص، بدلاً من الارتباط بعدد ثابت من الرموز المستقبلية، هي ما يسمح للنظام بأن يظل فعالاً دون أن يصبح جامداً.
في نهاية المطاف، يوضح هذا العمل أن البنية الهرمية الموجودة بالفعل في نماذج مستوى البايت المتقدمة يمكن استغلالها لحل مشكلة السرعة التي لطالما عانت منها هذه النماذج. فمن خلال معاملة القطاعات المتعلمة كوحدة للتوليد بدلاً من البايتات الفردية، ابتكر الباحثون طريقة تتسم بالسرعة والدقة في آن واحد. لا يتطلب هذا النهج معلمات إضافية ويستخدم رأس مفكك واحد، مما يجعله إضافة خفيفة الوزن على البنيات الحالية. وبينما أُجريت التجارب على حجم نموذج محدد وركزت بشكل أساسي على اللغة الإنجليزية واللغات المقترنة بها، فإن المبدأ الأساسي المتمثل في استخدام القطاعات المتعلمة للتنبؤ المتوازي يبدو قوياً. ويشير الباحثون إلى أن العمل المستقبلي سيحتاج إلى التحقق مما إذا كانت هذه المكاسب ستظل قائمة في النماذج الأكبر حجماً واللغات الأكثر تنوعاً، لكن النتائج الحالية تقدم مساراً واضحاً لجعل نماذج اللغة أسرع وأكثر استجابة دون المساس بقدرتها على فهم تفاصيل التواصل البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.