ملخص تقني: LiteToken: إزالة بقايا الدمج الوسيطة من أجهزة ترميز BPE

1. بيان المشكلة

بينما شهدت النماذج اللغوية الكبيرة (LLMs) نمواً هائلاً في عدد المعلمات (parameters) وبيانات التدريب، إلا أن تصميم أجهزة الترميز الخاصة بها (tokenizers) — وتحديداً خوارزمية ترميز زوج البايت (BPE) واسعة الاستخدام — لم يحظَ بقدر مماثل من التدقيق. تحدد هذه الورقة البحثية عدم كفاءة محددة في مفردات BPE القياسية تسمى "بقايا الدمج الوسيطة" (المشار إليها أيضاً باسم "tokens السقالات" أو scaffold tokens).

أثناء تدريب BPE، تقوم الخوارزمية بدمج أزواج الرموز المتجاورة الأكثر تكراراً بشكل تكراري. العديد من الرموز التي يتم إنشاؤها خلال هذه العملية تكون عالية التكرار في لحظة إنشائها، ولكن يتم استيعابها لاحقاً بواسطة عمليات دمج إضافية. وبناءً على ذلك، تظهر هذه الرموز بشكل غير متكرر في مجموعة البيانات النهائية، ومع ذلك تظل موجودة في المفردات. يحدد المؤلفون ثلاث مشكلات رئيسية ناتجة عن هذه البقايا:

1. هدر الرموز (Token Waste): تشغل هذه الرموز سعة في تضمينات الرموز (embeddings) وطبقات فك التشفين دون استخدام فعال، مما يؤدي إلى هدر المعلمات وعمليات الحساب (FLOPs) (يُقدر بنسبة 1-3% للنماذج التي يقل حجمها عن 8 مليار معلمة).
2. تدهور الأداء: نظراً لأن هذه الرموز نادرة في المجموعة النهائية، فإنها تكون غير مدربة بشكل كافٍ. تواجه النماذج معدلات خطأ أعلى عند معالجة المدخلات التي تستدعي هذه الرموز، خاصة في السيناريوهات غير النمطية أو خارج نطاق التوزيع (out-of-distribution).
3. الثغرات الأمنية: تجعل هذه الرموز، بسبب انخفاض تكرارها وارتباطها بأنماط نصية ضوضائية، ناقلاً للهجمات العدائية (adversarial attacks) وتراجع المتانة ضد الأخطاء الإملائية أو محاولات الاختراق (jailbreak) القائمة على تغيير شكل النص.

2. المنهجية: LiteToken

يقترح المؤلفون LiteToken، وهو خوارزمية خفيفة الوزن، قابلة للتركيب والتشغيل المباشر (plug-and-play)، مصممة لتحديد وإزالة بقايا الدمج الوسيطة من جهاز ترميز BPE موجود دون إعادة تدريب جهاز الترميز أو النموذج. تتضمن العملية ثلاث مراحل رئيسية:

أ. خوارزمية التحديد

تستخدم الطريقة تحليلاً إحصائياً مدفوعاً بالمجموعة النصية (corpus) للتمييز بين البقايا الحقيقية والرموز ذات المعنى اللغوي منخفضة التكرار (مثل الجذور، أو السوابق، أو اللواحق). وهي تستخدم مقيیسين:

1. نسبة النهائي/الوسيط (FI Ratio): تقيس تكرار الرمز في المجموعة النهائية ($F_1$) بالنسبة لإجمالي ظهورها أثناء عملية الدمج ($F_1 + F_2$). تشير النسبة المنخفضة إلى أن الرمز تم دمجه في الغالب في وحدات أكبر.
   $$R = \frac{F_1}{F_1 + F_2}$$
2. تصفية اعتلاج الجيران (Neighbor Entropy Filtering): لتجنب إزالة الوحدات المورفولوجية الصالحة (مثل "re" في "rewrite" أو "import" ككلمة مستقلة)، تحسب الخوارزمية الاعتلاج (entropy) للرموز المجاورة من اليسار واليمين. عادة ما يكون لبقايا الدمج سياقات ثابتة ومنخفضة الاعتلاج (على سبيل المثال، "includ" يتبعها دائماً تقريباً "e" أو "ing" وما إلى ذلك)، بينما تظهر الجذور الصالحة أو الكلمات المستقلة تنوعاً أكبر في الجيران.
   $$S(t) = \min \{S_{left}(t), S_{right}(t)\}$$
   تُصنف الرموز على أنها بقايا إذا كانت نسبة FI الخاصة بها أقل من عتبة ($r$) ودرجة الاعتلاج الخاصة بها أقل من عتبة ($s$).

ب. الإزالة وإعادة الدمج

بمجرد تحديد البقايا، يتم تعديل جهاز الترميز عبر عملية التقسيم (Split) وإعادة الدمج (Re-Merge):

• التقسيم (Split): عند مواجهة رمز ينتمي إلى مجموعة البقايا، تقوم الخوارزمية بعكس عمليات الدمج التي أنشأته بشكل تكراري، وتقسيمه مرة أخرى إلى الرموز السابقة له حتى تتبقى فقط الرموز الأساسية (أو غير البقايا). يضمن هذا عدم توليد رموز غير معروفة.
• إعادة الدمج (Re-Merge): لمنع التجزئة المفرطة للتسلسل، تطبق الخوارزمية خطوة إعادة دمج باستخدام عمليات الدمج المتعلمة "غير المقنعة" (unmasked). تقوم هذه الخطوة بإعادة دمج الرموز المقسمة في وحدات أكثر تماسكاً وتوافقاً لغوياً (على سبيل المثال، إعادة تشكيل "corruption" من أجزاء مقسمة) دون إعادة إدخال رموز البقايا التي تمت إزالتها.

ج. قناع طبقة المخرجات (Output Layer Masking)

لمنع النموذج من توليد رموز البقايا أثناء فك التشفير التوليدي (autoregressive decoding)، يتم قناع الأعمدة المقابلة في مصفوفة إسقاط المخرجات ($O \in \mathbb{R}^{d_h \times N_{vocab}}$). يشير المؤلفون إلى أن إعادة الدمج لا تُطبق أثناء التوليد للحفاظ على التوافق مع ذاكرة التخزين المؤقت لـ KV (KV caches).

د. التوافق مع Tiktoken

تم تكييف الطريقة مع tiktoken (المستخدم في عائلات Llama-3 وGPT وGemma)، والذي يفتقر إلى شجرة دمج صارمة. بالنسبة لأجهزة الترميز هذه، تأخذ الخوارزمية في الاعتبار جميع مسارات الدمج المسموح بها التي تنتج رمزاً معيناً وتجري إحصاءات التكرار بناءً على جدول الدمج الفعلي المستخدم أثناء الترميز.

3. المساهمات الرئيسية

• التوصيف المنهجي: تقدم الورقة تحليلاً تجريبياً يكشف أن حوالي 5% إلى 10% من الرموز في أجهزة ترميز LLM واسعة الاستخدام (بما في ذلك عائلات Qwen وDeepSeek وLlama-3 وGPT) هي بقايا دمج وسيطة.
• خوارزمية LiteToken: طريقة مبتكرة لا تتطلب تدريباً لتقليص هذه البقايا، مما يقلل حجم المفردات ومعلمات النموذج مع تحسين كفاءة الرموز.
• النشر المباشر (Plug-and-Play): تسمح هذه الطريقة للنماذج المدربة مسبقاً باستخدام جهاز الترميز المعدل فوراً دون الحاجة إلى ضبط دقيق (fine-tuning).

4. النتائج التجريبية

قيم المؤلفون LiteToken على نماذج تتراوح أحجامها من 0.6 مليار إلى 70 مليار معلمة (Qwen، Llama-3، DeepSeek، إلخ) باستخدام مجموعات بيانات C4-en وRedPajama وSQuAD.

• تقليل المعلمات والحوسبة: يؤدي إزالة البقايا إلى تقليل حجم المفردات بنسبة 5-10%، مما يؤدي إلى تقليل متناسب في معلمات التضمين وطبقات المخرجات (حوالي 2.6% للنماذج ذات 0.6 مليار معلمة).
• أداء نمذجة اللغة: أظهر جهاز الترميز المعدل ("Lite") تأثيراً طفيفاً جداً على الارتباك (perplexity - PPL). على سبيل المثال، في C4-en، كان الفرق في PPL بين أجهزة الترميز الأصلية وLite أقل من 0.5 لنموذجي Qwen-3-8B وLlama-3.1-70B.
• المتانة: لوحظت أهم المكاسب في المتانة. في اختبارات الاضطراب (الأخطاء الإملائية والحدود الرمزية العدائية)، أظهرت نماذج LiteToken دقة أعلى في تصحيح الأخطاء والإجابة على الأسئلة مقارنة بالنماذج الأصلية. على سبيل المثال، انخفض انخفاض الأداء لنموذج Qwen-3-8B تحت تأثير الاضطراب من 1.78% إلى 0.82%.
• الأداء العام: في الاختبارات القياسية مثل SQuAD، حافظت عملية إزالة البقايا على درجات F1 ضمن هامش ضئيل للغاية (على سبيل المثال، 0.833 مقابل 0.829 لـ Qwen-3-8B)، مما يؤكد أن التقليص لا يضر بالقدرات العامة لمعالجة اللغات الطبيعية.

5. الأهمية والادعاءات

تجادل الورقة بأن تصميم جهاز الترميز هو مكون حاسم، وإن كان غالباً ما يتم تجاهله، في بنية النماذج اللغوية الكبيرة. يدعي المؤلفون أن بقايا الدمج الوسيطة تمثل عدم كفاءة ملموسة تهدر الموارد الحسابية وتخلق ثغرات أمام المدخلات الضوضائية.

من خلال تقديم LiteToken، يثبت المؤلفون أن:

1. جزءاً كبيراً من المفردات في أجهزة ترميز BPE الحديثة هو زائد عن الحاجة.
2. إزالة هذه البقايا يحسن من متانة النموذج ضد الأخطاء المطبعية والاضطرابات العدائية دون تكلفة إعادة التدريب.
3. الطبيعة "القابلة للتركيب والتشغيل المباشر" للطريقة تسمح باستفادة فورية من حيث توفير الذاكرة وكفاءة الاستدلال.

يخلص المؤلفون إلى أنه بينما يركز عملهم الحالي على النصوص الإنجليزية واللاتينية، فإن ظاهرة بقايا الدمج الوسيطة من المرجح أن تكون منتشرة في لغات أخرى، مما يشير إلى الحاجة لمزيد من البحث في تحسين أجهزة الترميز عبر الهياكل اللغوية المتنوعة. ويؤكدون أن عملهم محدود النطاق، حيث يركز على طبقة الترميز، ويترك التفاعلات مع إعادة تدريب النموذج كاتجاه للأبحاث المستقبلية.