💬 NLP

FLEXITOKENS: Flexible Tokenization for Evolving Language Models

تقدم الورقة البحثية FLEXITOKENS، وهي طريقة ترميز مرنة لنماذج اللغة على مستوى البايت تستخدم متنبئ حدود قابل للتعلم مع هدف تدريب مبسط للتغلب على جمود أجهزة الترميز الثابتة، مما يقلل من التجزئة المفرطة ويحقق تحسينات في الأداء تصل إلى 10% عبر لغات ومهام متنوعة.

المؤلفون الأصليون: Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يقرأ ويفهم العالم. للقيام بذلك، يحتاج الروبوت إلى تقسيم الجمل إلى قطع أصغر وأسهل في الإدارة تسمى "الرموز" (tokens). فكر في الرموز كأنها الطوب الذي يستخدمه البنّاء لبناء جدار.

لفترة طويلة، استخدمت الروبوتات مجموعة ثابتة للغاية من الطوب. كانت هذه الطوبات مقطوعة مسبقاً إلى أشكال محددة (مثل "un-"، "do"، "able") بناءً على كتاب قواعد ثابت. هذا يعمل بشكل رائع مع اللغات والمواضيع التي تدرب عليها الروبوت في الأصل. ولكن، بمجرد أن يحاول الروبوت قراءة شيء جديد — مثل مجلة طبية، أو دليل برمجي، أو لغة لم يرها من قبل — تسبب هذه القواعد الثابتة مشاكل.

المشكلة: "الطوبة الواحدة التي تناسب الجميع"

تسمي الورقة البحثية هذه المشكلة التجزئة المفرطة (over-fragmentation).

تخيل أنك تحاول بناء جدار من شريط طويل ومستمر من النص. إذا كان كتاب القواعد الخاص بك يقول: "في كل مرة ترى فيها شرطة (-)، اقطع الشريط"، فقد ينتهي بك الأمر بتقطيع كلمة واحدة مثل "hypertrophic" (مصطلح طبي) إلى قطع صغيرة عديمة الفائدة: "hyper"، "tro"، "phic".

النتيجة: يتعين على الروبوت حمل الكثير من الطوب الصغير جداً لبناء الجدار. وهذا يجعل عملية البناء بطيئة، ومكلفة (من حيث قدرة الكمبيوتر)، ومربكة. يفقد الروبوت معنى الكلمة بأكملها لأنه مشغول جداً بالنظر إلى القطع الصغيرة المكسورة.
الطريقة القديمة: الطرق التقليدية (مثل BPE) تشبه مصنعاً يقطع جميع الطوب مسبقاً قبل أن يبدأ الروبوت في البناء حتى. وبمجرد قطع الطوب، لا يمكن تغييره، حتى لو كان الروبوت يبني نوعاً مختلفاً من المنازل لاحقاً.

الحل: FLEXITOKENS

يقترح مؤلفو هذه الورقة البحثية، FLEXITOKENS، طريقة أكثر ذكاءً ومرونة. بدلاً من استخدام طوب مقطوع مسبقاً، هم يعطون الروبوت قاطعاً ذكياً ومرناً يتعلم كيفية تقطيع الشريط أثناء بنائه.

إليك كيف فعلوا ذلك، باستخدام تشبيه بسيط:

القاعدة القديمة (فخ "الضغط الثابت"):
حاولت المحاولات السابقة لجعل الروبوتات تقطع طوبها الخاص استخدام قاعدة صارمة: "يجب عليك تقطيع الشريط بحيث ينتهي بك الأمر بـ 3 طوبات لكل 10 بوصات من النص".
- العيب: إذا كان النص بلغة تكون فيها الكلمات طويلة بطبيعتها (مثل التركية)، فإن فرض قاعدة الـ 3 طوبات قد يؤدي إلى تقطيع كلمة واحدة إلى قطع صغيرة عديمة المعنى. وإذا كان النص بلغة تكون فيها الكلمات قصيرة (مثل الصينية)، فإن نفس القاعدة قد تلصق كلمتين مختلفتين معاً لتصبحا كتلة واحدة مربكة. كانت القاعدة جامدة للغاية بحيث لا تستطيع التكيف مع "شكل" النص المحدد.
القاعدة الجديدة (FLEXITOKENS):
تغير FLEXITOKENS القاعدة إلى نطاق مرن. بدلاً من قول: "يجب أن يكون لديك 3 طوبات بالضبط"، تقول: "يمكنك الحصول على أي عدد يتراوح بين 2 و 4 طوبات، اعتماداً على ما يبدو منطقياً لهذه الجملة المحددة".
- خسارة "المفصل" (Hinge Loss): تقدم الورقة البحثية طريقة تدريب خاصة (خسارة تشبه المفصل) تعمل كمنطقة أمان. إذا قطع الروبوت النص إلى عدد من القطع يقع ضمن النطاق الآمن، يحصل الروبوت على "إعفاء" — لا توجد عقوبة. هذا يسمح للروبوت بأن يكون مرناً. يمكنه تقطيع مصطلح طبي طويل إلى طوبة واحدة كبيرة وذات معنى، أو تقطيع جملة قصيرة إلى العديد من الطوبات الصغيرة، أيهما يساعده على فهم المعنى بشكل أفضل.

ماذا حدث عندما جربوا ذلك؟

اختبر الباحثون هذا القاطع المرن الجديد على العديد من اللغات المختلفة (بما في ذلك الإنجليزية والإسبانية والروسية والهندية والتيلوجو) ومواضيع مختلفة (مثل الطب والبرمجة).

فوضى أقل: توقف الروبوت عن تقطيع الكلمات دون داعٍ. على سبيل المثال، في نص طبي، تعلم كيفية إبقاء "hypertrophic" كوحدة واحدة متماسكة بدلاً من تفكيكها إلى قطع حطام.
أسرع وأذكى: نظرًا لأن الروبوت لم يعد مضطراً لحمل الكثير من الطوب الصغير المكسور، فقد عالج المعلومات بشكل أسرع واستخدم ذاكرة كمبيوتر أقل.
أداء أفضل: في مهام مثل الترجمة وفهم الجمل، كان أداء الروبوت المزود بالقاطع المرن أفضل من الروبوتات التي تستخدم الطرق القديمة الجامدة. حتى أنه تعامل مع لغات لم يسبق له رؤيتها (مثل الأردية) بشكل أفضل بكثير، دون تفكيكها إلى قطع صغيرة ومربكة.

الخلاصة

فكر في FLEXITOKENS كترقية للروبوت من استخدام مجموعة ألعاب بلاستيكية ذات طوب مقطع مسبقاً إلى استخدام طابعة ثلاثية الأبعاد ذكية يمكنها طباعة طوب بالحجم والشكل المثاليين لأي شيء تبنيه في تلك اللحظة.

من خلال السماح للروبوت بتقرير كيفية تفكيك الكلمات بناءً على السياق (بدلاً من إجباره على قاعدة ثابتة)، تظهر الورقة البحثية أن نماذج اللغة يمكن أن تصبح أكثر كفاءة، وتتعامل مع لغات جديدة بشكل أفضل، وتفهم مواضيع معقدة مثل الطب دون الارتباك بسبب النص "المقطع بشكل مفرط".

ملخص تقني: FLEXITOKENS

بيان المشكلة

غالبًا ما تعوق عملية تكييف النماذج اللغوية (LMs) مع توزيعات بيانات جديدة، مثل المجالات غير المرئية أو اللغات أو النصوص (scripts)، عبر الضبط الدقيق البسيط، صلابة أجهزة الترميز الفرعية (subword tokenizers) (مثل BPE). تظل أجهزة الترميز هذه ثابتة أثناء التكيف، مما يؤدي إلى ترميز غير فعال يتسم بالإفراط في التجزئة في سياقات التوزيع الخارج عن النطاق (out-of-distribution). هذا الإفراط في التجزئة يزيد من أطوال التسلسلات، مما يؤدي إلى ارتفاع التكاليف الحسابية، واستهلاك الذاكرة، وتكاليف الاستدلال، بينما يؤدي أيضًا إلى تدهور الأداء في المهام النهائية.

بينما ظهرت نهج "خالية من الترميز" (tokenizer-free) التي تنمذج البايتات مباشرة أو تستخدم وحدات ترميز قابلة للتعلم داخل النموذج اللغوي لمعالجة هذه المشكلة، إلا أنها تقدم شكلاً جديداً من الصلابة. تعتمد طرق الترميز القائمة على التدرج (gradient-based) الحالية عادةً على خسارة مساعدة (مثل خسارة ثنائية الحدين - binomial loss) تفرض معدل ضغط ثابت يتم تحديده مسبقاً أثناء التدريب المسبق. هذا المعدل الثابت يمنع جهاز الترميز من التكيف مع المتطلبات الهيكلية للمجالات الجديدة (مثل اللغات الغنية صرفياً أو المصطلحات الطبية المتخصصة) أو النصوص غير المرئية، مما يؤدي غالباً إلى تجزئة دون المستوى الأمثل.

المنهجية

يقترح المؤلفون FLEXITOKENS (FXT)، وهو إطار عمل للترميز مرن وقائم على التدرج، صُمم للسماح لاستراتيجيات الترميز بالتطور ديناميكياً أثناء التكيف.

بنية النموذج

النموذج عبارة عن محول (Transformer) على مستوى البايت يدمج وحدة ترميز قابلة للتعلم مباشرة في البنية، متبعاً تصميم Nawrot et al. (2023). تتكون البنية من ثلاث مراحل أساسية:

الترميز/تقليل العينات (Downsampling): يعالج نموذج محول خفيف الوزن (طبقة أو طبقتان) تسلسل البايت المدخل. يقوم متنبئ الحدود بتقدير احتمالية وجود حد فاصل عند كل موضع. يتم الحصول على الحدود المنفصلة عبر إعادة بارامترية (re-parameterization) لـ Gumbel sigmoid لـ توزيع برنولي للحفاظ على قابلية الاشتقاق.
النمذجة اللغوية: يقوم النموذج بتجميع الحالات المخفية لمستوى البايت بين الحدود المتوقعة لإنشاء تمثيلات على مستوى الرمز (token-level representations)، والتي تتم معالجتها بواسطة كتل Transformer قياسية.
رفع العينات (Upsampling): تقوم وحدة نهائية بإعادة بناء احتمالات مخرجات مستوى البايت من تمثيلات مستوى الرمز باستخدام اتصالات تخطي (skip connections) ومحول خفيف الوزن.

هدف FLEXITOKENS

الابتكار الجوهري يكمن في هدف التدريب لمتنبئ الحدود. على عكس الطرق السابقة التي تفرض معدل ضغط مستهدف $\alpha$ صارم عبر خسارة ثنائية الحدين، يقدم FLEXITOKENS خسارة تشبه "المفصل" (hinge-like loss) تحدد نطاقاً من معدلات الضغط المقبولة بدلاً من نقطة واحدة.

تُعرف دالة الخسارة $L_{BP}$ كالتالي:
$L_{BP} = \max\left(\frac{k}{N} - \alpha, 0\right) + \max\left(\beta - \frac{k}{N}, 0\right)$
حيث أن:

$k$ هو عدد الحدود المتوقعة.
$N$ هو إجمالي عدد البايتات.
$\alpha$ هو الحد الأعلى لمعدل الضغط.
$\beta = \alpha - \lambda\sigma$ هو الحد الأدنى، حيث $\sigma$ هو الانحراف المعياري لمعدلات الترميز عبر العينات و $\lambda$ هو معلمة فائقة (hyperparameter).

الآلية الرئيسية: إذا وقع معدل الضغط ( $k/N$ ) ضمن النطاق $[\beta, \alpha]$ ، تكون الخسارة صفراً. هذا يلغي العقوبة على تغير معدلات الضغط ضمن النطاق المقبول، مما يسمح للنموذج بتعديل التجزئة ديناميكياً بناءً على هيكل تسلسل المدخلات دون إجباره على متوسط عالمي صارم.

التكيف متعدد اللغات

للتعامل مع التدريب متعدد اللغات حيث تتطلب النصوص المختلفة تعقيدات بايت مختلفة (مثل اللاتينية مقابل الديفاناغاري)، يقترح المؤلفون استخدام متنبئ حدود مشترك مع معلمات فائقة خاصة بكل لغة ( $\alpha_L$ ). يتم اشتقاق هذه المعلمات من مجموعة نصوص متوازية صغيرة بين لغة مرجعية (الإنجليزية) واللغة المستهدفة، مما يضمن ترميزاً عادلاً عبر النصوص المختلفة دون الحاجة إلى متنبئات منفصلة لكل لغة.

المساهمات الرئيسية

هدف تدريب مرن: تقديم دالة خسارة قائمة على النطاق تعمل على تخفيف قيود معدلات الضغط الثابتة، مما يسمح لأجهزة الترميز بالتكيف مع توزيعات البيانات المتغيرة أثناء الضبط الدقيق.
التكيف الدينماكي: إثبات أن حدود الترميز المتعلمة يمكن أن تتغير لالتقاط الأنماط الخاصة بالمجال (مثل معاملة المصطلحات الطبية كوحدات كاملة) أو التعامل مع النصوص غير المرئية دون إفراط في التجزئة.
إطار عمل موحد متعدد اللغات: طريقة لتحقيق ترميز عادل عبر النصوص المتنوعة باستخدام متنبئ واحد مشترك مع حدود مشتقة خاصة بكل لغة، مما يتجنب تعقيد المتنبئات الخاصة بكل نص.

النتائج

قيم المؤلفون FLEXITOKENS على عدة اختبارات معيارية متعددة اللغات (تغطي النصوص اللاتينية، والسيريلية، والديفاناغاري، والتيلوغو) ومهام متنوعة بما في ذلك الترجمة، والتعرف على الكيانات المسماة (NER)، وتحليل المشاعر.

مكاسب الأداء: تفوق FLEXITOKENS باستمرار على النماذج المرجعية (BPE، وتجميع البايت الثابت، وأجهزة الترميز القائمة على خسارة ثنائية الحدين). في المهام التوليدية مثل الترجمة الآلية، لوحظت تحسينات تصل إلى 21 نقطة مقارنة بـ BPE. وفي مهمة XNLI (الاستدلال اللغوي الطبيعي)، سُجلت مكاسب تزيد عن 3 نقاط مقارنة بالنموذج المرجعي ثنائي الحدين.
كفاءة الضغط: حققت الطريقة معدلات ضغط أعلى بكثير (عدد أقل من الرموز لكل تسلسل) مقارنة بالنماذج المرجعية، مما أدى إلى تقليل وقت تشغيل الاستدلال.
تقليل التجزئة: أظهر التحليل النوعي أن FLEXITOKENS قلل من الإفراط في تجزئة الرموز، لا سيما بالنسبة للغات الغنية صرفياً (الهندية، التيلوغو) والنصوص غير المرئية (الأردية)، حيث أنتج BPE ما يصل إلى 6 أضعاف عدد الرموز.
القابلية للتوسع: أكدت التجارب مع أحجام نماذج مختلفة (صغير: 126 مليون، متوسط: 388 مليون) وتكوينات الطبقات أن الطريقة تتوسع بفعالية، حيث تحقق النماذج الأعمق ضغطاً وأداءً أعلى.

الأهمية والادعاءات

يزعم البحث أن FLEXITOKENS يعالج قصوراً حرجاً في تكييف النماذج اللغوية: عدم قدرة أجهزة الترميز الثابتة أو المقيدة بصرامة على التطور مع البيانات. من خلال السماح لجهاز الترميز بتعديل استراتيجية التجزئة الخاصة به بمرونة ضمن نطاق محدد، تتيح الطريقة:

استدلال أكثر كفاءة: معدلات الضغط الأعلى تقلل التكاليف الحسابية.
القوة تجاه تغير التوزيع: يتكيف النموذج مع المجالات الجديدة والنصوص الجديدة دون الحاجة إلى إعادة تدريب جهاز الترميز أو استبداله بطرق استدلالية.
المحاذاة الدلالية: يتعلم جهاز الترميز استعادة الرموز ذات المعنى الدلالي ذات الصلة بمهام محددة (مثل المصطلحات الطبية) بدلاً من الاعتماد على الوحدات الفرعية سابقة التدريب.

يخلص المؤلفون إلى أن استراتيجيات الترميز القابلة للتكيف ضرورية لبناء نماذج لغوية أكثر كفاءة وقابلية للتعميم، خاصة في السياقات متعددة اللغات والمتخصصة في مجالات معينة. كما يقرون بوجود قيود تتعلق بالميزانية الحسابية عند المقاييس الأكبر والتحديات المحتملة مع اللغات التي تتميز بمورفيمات غير متصلة (مثل اللغات السامية)، لكنهم يؤكدون أن الطريقة عامة ومن المرجح أن تترجم إلى تنوع لغوي أوسع.