Joint Optimization for Greedy Longest-match Tokenization
تقدم هذه الورقة JOLT، وهو إطار تحسين مشترك يصيغ تعلم المفردات كبرنامج عدد صحيح مع قيود اتساق جشعة لمواءمة التدريب مع فك التشفير بأطول مطابقة، محققاً ضغطاً يقارب المثالية يتفوق بشكل كبير على BPE القياسي مع توفير شهادة على قرب المثالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حزم مكتبة ضخمة من الكتب في حقيبة سفر صغيرة واحدة. تريد وضع أكبر قدر ممكن من النصوص في مساحة محدودة، لكن لا يمكنك مجرد سحق الصفحات لتصبح كرة؛ بل تحتاج إلى تنظيمها في قطع مرتبة وسهلة الإدارة. في عالم الذكاء الاصطناي، هذه "الحقيبة" هي ذاكرة الكمبيوتر، وهذه "القطع" تسمى الرموز (tokens). تقرأ نماذج الذكاء الاصطناعي النصوص ليس ككلمات كاملة، بل كقطع أصغر. وطريقة تقسيم الكلمات هذه تهم كثيراً: فإذا قطعتها بشكل سيئ، ستستهلك مساحة أكبر وسيتعين على الكمبيوتر بذل جهد أكبر لقراءتها. لسنوات، كانت الطريقة القياسية لتقسيم هذه الكلمات هي طريقة تسمى "ترميز زوج البايت" (Byte Pair Encoding - BPE). فكر في BPE كأمين مكتبة كفء، ولكنه صارم قلياً، يتبع قاعدة محددة: "دائماً قم بلصق قطعتين من النص الأكثر شيوعاً معاً أولاً". إنه نهج سريع وجشع (greedy)، وقد نجح بشكل جيد، ولكنه في الأساس يعتمد على "استدلال" (heuristic) — أي تخمين جيد بناءً على قاعدة بسيطة، وليس حلاً رياضياً مثالياً.
مؤخراً، بدأ العلماء في طرح سؤال كبير: هل "تخمين" أمين المكتبة هذا هو أفضل ما يمكننا فعله حقاً؟ أم أن هناك طريقة أذكى لتقطيع الكلمات بحيث تتسع لمزيد من النصوص داخل الحقيبة؟ يتعمق هذا البحث في هذا السؤال من خلال النظر في طريقة محددة يقرأ بها الذكاء الاصطناي النصوص تسمى "المطابقة الطويلة الجشعة" (Greedy Longest-Match). تخيل قراءة جملة، وفي كل خطوة، تأخذ أطول كلمة ممكنة تعرفها قبل الانتقال إلى الحرف التالي. أراد المؤلفون معرفة ما إذا كان بإمكانهم تصميم مفردات مخصصة لهذا الأسلوب في القراءة، بدلاً من مجرد الأمل في أن تعمل مفردات عامة الغرض. لقد بنوا نظاماً جديداً يسمى JOLT (التحسين المشترك للمطابقة الطويلة الجشعة). بدلاً من مجرد لصق القطع معاً بناءً على التكرار، يعامل JOLT المسألة بأكملها كأحجية ضخمة ومعقدة. فهو يستخدم رياضيات متقدمة لتحديد أي قطع الكلمات يجب الاحتفاظ بها وكيفية تقطيع كل كلمة في بيانات التدريب بدقة، بحيث عندما يقرأها الذكاء الاصطناي باستخدام قاعدة "المطابقة الطويلة"، يستخدم أقل عدد ممكن من القطع.
تجد الورقة البحثية أنه بينما كان أمين المكتبة القديم (BPE) جيداً للغاية في الواقع — حيث يقترب بالفعل بنسبة 1% إلى 2% من أفضل حزم نظري ممكن — فإن النظام الجديد، JOLT، يمكنه استغلال مساحة إضافية قليلة. ومن خلال حل هذه الأحجية الرياضية، تمكن JOLT من سد الفجوة شبه الكاملة بين الطريقة القديمة والحد النظري المثالي. وفي الاختبارات مع أحجام مختلفة من البيانات النصية، قلل JOLT عدد الرموز المطلوبة بنسبة تصل إلى 0.78% مقارنة بالطريقة القياسية. ورغم أن هذا الرقم قد يبدو صغيراً، إلا أنه في عالم الذكاء الاصطاني، تعني توفير حتى جزء من المئة أن النموذج يمكنه قراءة المزيد من النصوص، والتفكير بشكل أسرع، والتكلفة التشغيلية أقل. يوضح المؤلفون أنه من خلال مواءمة المفردات تماماً مع الطريقة التي يقرأ بها الذكاء الاصطناي، يمكننا استعادة كل "مساحة الضغط" (compression headroom) التي كانت متروكة سابقاً.
قصة JOLT: حل أحجية الكلمات
لفهم كيفية عمل JOLT، تخيل أنك طاهٍ ماهر يحاول إعداد قائمة طعام مثالية لمأدبة ضخمة. لديك قائمة كبيرة من المكونات (النص)، وتحتاج إلى تقطيعها إلى أحجام محددة (الرموز) لتقديمها لضيوفك (الذكاء الاصطناي). العائق هو أن ضيوفك لديهم عادة أكل محددة جداً: فهم دائماً يأخذون أكبر لقمة ممكنة تتسع لأفواههم قبل الانتقال إلى اللقمة التالية. هذه هي قاعدة "المطابقة الطويلة الجشعة".
لفترة طويلة، استخدم الطهاة (باحثو الذكاء الاصطناي) وصفة قياسية تسمى BPE. كانوا ينظرون إلى المكونات ويقولون: "مهلاً، 'th' و 'e' يظهران معاً كثيراً، فلنلصقهما في 'the'". استمروا في فعل ذلك، أي لصق الأزواج الأكثر شيوعاً، حتى أصبح لديهم قائمة طعام بحجم معين. لقد نجح الأمر، لكنه كان يشبه بناء منزل عبر تكديس الطوب فقط دون التحقق مما إذا كانت الجدران مستقيمة تماماً. لقد كان نهجاً "جشعاً" — القيام بالأمر السهل والبديهي أولاً.
أدرك مؤلفو هذه الورقة أنه إذا كنت تريد من الضيوف أن يأكلوا بكفاءة، فلا ينبغي لك فقط بناء قائمة طعام بناءً على ما هو شائع؛ بل يجب عليك بناء قائمة طعام بناءً على كيفية أكلهم. لقد ابتكروا JOLT، وهو بمثابة طاهٍ فائق الذكاء يخطط لقائمة الطعام بأكملبها دفعة واحدة، مع مراعاة كل مكون وكل طريقة ممكنة لتقطيعه، لضمان أن النتيجة النهائية مثالية تماماً لعادة "اللقمة الأكبر" لدى الضيوف.
الأحجية الرياضية
جوهر JOL JOT هو مسألة رياضية ضخمة. كان على المؤلفين اتخاذ قرارين في وقت واحد:
- أي المكونات يجب الاحتفاظ بها: أي قطع الكلمات يجب أن تكون في المفردات النهائية؟
- كيفية تقطيع النص: لكل كلمة في بيانات التدريب، ما هي القطع المحددة التي يجب استخدامها لبنائها؟
الجزء الصعب هو أن هذين القرارين مرتبطان ببعضهما البعض. لا يمكنك اتخاذ قرار بتقطيع كلمة إلى "ta" و "ble" ما لم تكن قد قررت بالفعل الاحتفاظ بـ "ta" و "ble" في مفرداتك. علاوة على ذلك، ولأن الذكاء الاصطناي يستخدم قاعدة "المطابقة الطويلة"، يجب عليك التأكد من أنه إذا قمت بتقطيع كلمة إلى "ta" و "ble"، فلا توجد قطعة أطول مثل "table" في مفرداتك قد "تسرق الأضواء". إذا كانت "table" موجودة، فإن الذكاء الاصطناي سيأكل "table" كاملة، وستفشل خطتك لتقديم "ta" و "ble".
لحل ذلك، استخدم المؤلفون تقنية تسمى "البرمجة الصحيحة" (Integer Programming). تخيل شبكة ضخمة من المفاتيح. بعض المفاتيح تقوم بتفعيل كلمة ما (وضعها في المفردات)، والبعض الآخر يفعل طريقة معينة لتقطيع الكلمة. الهدف هو تحريك المفاتيح للحصول على أقل عدد إجمالي من القطع. ومع ذلك، فإن حل هذه الشبكة لمكتبة كاملة من النصوص أمر ضخم جداً لدرجة أن أسرع الحواسيب ستستغرق وقتاً طويلاً جداً.
الاختصار الذكي
لذا، ابتكر المؤلفون حيلة ذكية. بدلاً من محاولة حل الأحجية بأكملها دفعة واحدة، بدأوا بنسخة صغيرة وبسيطة. نظروا فقط في تقطيع الكلمات إلى قطعة واحدة أو اثنتين. حلوا المسألة الرياضية، وإذا قال الكمبيوتر: "مهلاً، هذه الكلمة صعبة التقطيع باستخدام هذه القطع فقط، أحتاج إلى المزيد من الخيارات"، قاموا بإضافة خيارات تقطيع أكثر تعقيداً لتلك الكلمة تحديداً. كرروا هذه العملية، مضيفين التعقيد فقط عند الحاجة، حتى استقر الحل.
سمح هذا النهج لهم بإيجاد حل قريب جداً من الحد النظري المثالي. وجدوا أن طريقة BPE القياسية كانت تقوم بعمل رائع بالفعل، حيث كانت قريبة بنسبة 1% إلى 2% من أفضل نتيجة ممكنة. لكن JOLT تمكن من سد 89.6% إلى 99.4% من تلك الفجوة المتبقية.
النتائج
عندما اختبروا نظامهم الجديد على كميات مختلفة من البيانات (من 100,000 إلى 400,000 كلمة) وأحجام مفردات مختلفة (32,000 و 64,000 كلمة)، كانت النتائج واضحة. استخدم JOLT باستمرار عدداً أقل من الرموز مقارنة بطريقة BPE القياسية.
- مع مفردات مكونة من 32,000 كلمة، قلل JOLJ عدد الرموز بنسبة تصل إلى 0.78% مقارنة بالطريقة القياسية.
- مع مفردات مكونة من 64,000 كلمة، كان التحسن أصغر ولكنه لا يزال موجوداً، حيث وصل إلى 0.31%.
تحققت الورقة أيضاً من مدى قرب حلهم من الحد الرياضي المطلق. وجدوا أن حلهم النهائي "المقرب" كان ضمن نطاق 0.008% إلى 0.176% من الحد النظري الأفضل. وهذا يعني أن عملية "التقريب" (تحويل الحل الرياضي إلى مفردات حقيقية وقابلة للاستخدام) لم تفقد الكثير من الكفاءة. التحسينات الصغيرة التي حققها JOLT مقارنة بـ BPE لم تكن مجرد صدفة، بل كانت تحسينات هيكلية حقيقية.
لماذا هذا مهم؟
نظر المؤلفون أيضاً في طرق أخرى. وجدوا أن طريقة شائعة تسمى WordPiece، والمصممة لنفس أسلوب القراءة "المطابقة الطويلة"، كانت في الواقع تؤدي أداءً أسوأ من BPE عند اختبارها. كان ذلك لأن WordPiece تم تدريبها لتعظيم هدف مختلف (التنبؤ بالكلمة التالية) بدلاً من تقليل عدد القطع. وهذا يثبت أنه لا يمكنك فقط استخدام مفردات مصممة لغرض ما وتوقع أن تعمل بشكل مثالي لغرض آخر. يجب عليك تدريب المفردات خصيصاً للطريقة التي يقرأ بها الذكاء الاصطناي.
باخت ملخص، تظهر هذه الورقة أنه بينما كان أمين المكتبة "الجشع" القديم (BPE) يقوم بعمل جيد بشكل مفاجئ، إلا أنه لا تزال هناك مساحة ضئيلة متبقية لاستغلالها. من خلال استخدام نهج جديد صارم رياضياً يواءم المفردات تماماً مع أسلوب القراءة الخاص بالذكاء الاصطناي، يستعيد JOLJ جميع تلك المساحة المفقودة تقريباً. إنها تذكير بأنه في عالم الذكاء الاصطناي، يمكن للتحسينات الصغيرة في الكفاءة أن تؤدي إلى نماذج أسرع، وأرخص، وأكثر قدرة. لم يكتفِ المؤلفون بالتخمين؛ بل أثبتوا رياضياً أن طريقتهم تجعلنا نقترب من عملية الحفظ المثالية أكثر من أي وقت مضى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.