Tokenization with Split Trees
تقدم هذه الورقة البحثية ToaST، وهي طريقة جديدة لتقطيع الكلمات الفرعية تستخدم أشجار التقسيم والبرمجة الصحيحة لتحسين اختيار المفردات لتقليل عدد الرموز إلى الحد الأدنى، محققةً تحسينات كبيرة في كفاءة الضغط وأداء النماذج اللغوية مقارنة بالنماذج المرجعية الحالية مثل BPE وWordPiece.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إرسال مكتبة ضخمة من الكتب عبر الإنترنت، لكن اتصالك بالإنترنت بطيء. ولجعل عملية النقل أسرع، تريد ضغط الكتب إلى أقل عدد ممكن من "القطع" (الرموز/tokens) دون فقدان أي معنى.
لفترة طويلة، كانت الطريقة القياسية للقيام بذلك تشبه بناء الليغو الذي يبدأ بقطع صغيرة فردية (حروف) ثم يجمعها معاً واحدة تلو الأخرى، فقط عندما يرى قطعتين تلتصقان ببعضهما كثيراً. هذه الطريقة، التي تسمى BPE، سريعة وجشعة، ولكنها ليست دائماً الأكثر كفاءة. فقد تقوم بلصق قطعتين لا تنتميان حقاً لبعضهما، أو قد تفوت فرصة لصق كلمة كاملة لأنها علقت في قطعة أصغر أولاً.
تقدم الورقة البحثية طريقة جديدة تسمى ToaST (الترميز باستخدام أشجار التقسيم). وإليك كيف تعمل، باستخدام بعض التشبيهات البسيطة:
1. "شجرة الاحتمالات" (أشجار التقسيم)
بدلاً من لصق الأشياء معاً، تبدأ ToaST بكلمة كاملة (مثل "Kentucky") وتسأل: "إذا كان عليّ تقسيم هذه الكلمة إلى نصفين، فأين هو أفضل مكان للقيام بذلك؟"
تنظر الطريقة إلى قاعدة بيانات ضخمة لكيفية ظهور أجزاء مختلفة من الكلمات في العالم الحقيقي. وتختار القطع الذي يقسم الكلمة إلى قطعتين تكون كلتاهما شائعة جداً. ثم تأخذ هاتين القطعتين وتسأل نفس السؤال مرة أخرى. وتستمر في ذلك حتى تصل إلى الحروف الفردية.
- التشبيه: تخيل أن لديك رغيف خبز ضخم غير مقطع. بدلاً من تقطيعه عشوائياً، تنظر إلى خريطة توضح أين يأكل الناس الخبز عادةً. تجد المكان المثالي لتقطيع الرغيف بحيث يكون كلا النصفين بأحجام شائعة. ثم تأخذ هذين النصفين وتقطعهما مرة أخرى في الأماكن الأكثر شعبية. ينتهي بك الأمر بـ شجرة عائلة لكل طريقة ممكنة لتقطيع تلك الكلمة، من الرغيف الكامل وصولاً إلى الفتات الفردي.
2. "القائمة الذكية" (اختيار المفردات)
الآن، لديك شجرة تحتوي على الملايين من القطع المحتملة. لا يمكنك استخدامها جميعاً؛ فلديك مساحة لعدد محدد من "عناصر القائمة" (حجم المفردات، لنقل 40,000).
الطرق القديمة كانت تختار القطع الأكثر شيوعاً فقط. أما ToaST فتستخدم محسناً رياضياً (برنامج صحيح/Integer Program) للعب لعبة "ماذا لو؟":
- إذا اخترت هذه القطعة الكبيرة من "Kentucky" كرمز واحد، فكم عدد القطع الإجمالية التي سأوفرها؟
- إذا اخترت "Kent" و "ucky" بشكل منفصل، هل سيوفر ذلك مساحة أكبر في مكان آخر؟
إنها تحسب المزيج المثالي من القطع الذي يؤدي إلى أقل عدد إجمالي من القطع اللازمة لكتابة المكتبة بأكملها. الأمر يشبه طباخاً يخطط لقائمته ليس بناءً على ما هو شائع فحسب، بل لتقديم الخدمة لأكبر عدد من الزبائن بأقل عدد من الأطباق.
3. "الخدعة السحرية" (الاستدلال)
بمجرد تحديد القائمة، تصبح قراءة النص سريعة. عندما يرى الكمبيوتر كلمة "Kentucky"، ينظر إلى قمة الشجرة.
- هل "Kentucky" موجودة في القائمة؟ نعم؟ رائع، أرسلها كرمز واحد.
- هل "Kentucky" موجودة في القائمة؟ لا؟ إذن انظر إلى المستوى التالي أدناه. هل "Kent" موجودة في القائمة؟ نعم؟ أرسل "Kent"، ثم انظر إلى الجانب الآخر لترى "ucky".
لأن الشجرة بُنيت قبل اختيار القائمة، فإن المسار يكون دائماً واضحاً. لا توجد قواعد مربكة أو سيناريوهات مثل "ماذا يحدث إذا غيرت هذا؟".
لماذا هذا أفضل؟
تزعم الورقة البحثية أنه بالنسبة للمكتبات الكبيرة (أحجام مفردات 40,000 فأكثر)، فإن ToaST أفضل بكثير من الطرق القديمة:
- الضغط: إنها تقلل عدد القطع المطلوبة بنسبة تزيد عن 11%. فكر في هذا كتقليص وثيقة من 100 صفحة إلى 89 صفحة دون فقدان كلمة واحدة.
- الكفاءة: إنها تستخدم عدداً أقل من رموز "الحروف الفردية" (مثل إرسال الحرف 'y' أو 'u' فقط). هذا يجعل تدفق البيانات أكثر سلاسة وكفاءة.
- الأداء: عندما قاموا بتدريب نموذج لغوي (عقل يتعلم التحدث) باستخدام هذه الطريقة الجديدة، كان النموذج يعمل بشكل أفضل في الاختبارات. لقد سجل درجات أعلى في مهام الاستدلال والمنطق مقارنة بالنماذج التي تم تدريبها باستخدام الطرق القديمة.
الخلاصة
ToaST هي طريقة جديدة لتقسيم النصوص. بدلاً من لصق القطع معاً بشكل أعمى، تقوم برسم خريطة لكل طريقة ممكنة لتقطيع الكلمة، ثم تستخدم حلاً رياضياً قوياً لاختيار أفضل مجموعة من القطع لتقليل إجمالي كمية البيانات. النتيجة هي طريقة أكثر كفاءة، وأسرع، وأذكى لكي تقرأ وتكتب الحواسيب اللغة.
ملاحظة: اختبرت الورقة البحثية هذا فقط على النصوص الإنجليزية. وهي لا تدعي أن هذه النتائج تنطبق على اللغات الأخرى بعد، كما أنها لا تناقش الاستخدامات الطبية أو السريرية. التحسينات تتعلق حصرياً بمدى كفاءة معالجة النصوص ومدى أداء النماذج اللغوية في الاختبارات المعيارية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.