ملخص تقني: التجزئة الديناميكية المستهدفة التكيفية للنماذج الهرمية الخالية من الرموز (Tokenization-Free)

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) التقليدية بشكل كبير على تقنيات تجزئة الكلمات الفرعية (subword tokenization) مثل (BPE, WordPiece) أثناء المعالجة المسبقة. ورغم فعالية هذه الطرق، إلا أنها تفرض قيوداً جوهرية، تشمل تعقيد تصميم المفردات، وأخطاء خارج المفردات (OOV)، والحساسية للأخطاء الطباعية والتنوع الصرفي، والتحيز نحو اللغات ذات الموارد العالية.

ولمعالجة هذه المشكلات، تقوم النماذج الهرمية الخالية من الرموز بمعالجة تسلسلات البايت الخام مباشرة. ومع ذلك، تواجه هذه النهج القائمة على مستوى البايت عقبة كفاءة أساسية: فمعالجة البايتات الفردية أو الكتل ذات المعنى تتطلب ضغطاً كبيراً للتعامل مع السياقات الممتدة والتحكم في التكاليف الحسابية. وتستخدم التصميمات الهرمية الحالية، مثل H-Net، التجزئة الديناميكية لتشكيل تجريدات عالية المستوى. ومع ذلك، تعتمد الطرق الحالية بشكل أساسي على نسب ضغط ثابتة (على سبيل المثال، متوسط ثابت قدره 6 بايت لكل كتلة). هذا النهج الاستدلالي يفشل في التكيف مع تطور توزيع البيانات طوال عملية التدريب، مما يؤدي غالأً إلى عدم استقرار التحسين أو ديناميكيات ضغط غير مثالية.

المنهجية: التجزئة الديناميكية المستهدفة التكيفية (ATDC)

يقترح المؤلفون آلية التجزئة الديناميكية المستهدفة التكيفية (ATDC)، وهي آلية مبتكرة مصممة لتنظيم ضغط البايت ديناميكياً داخل البنى الهرمية. تعامل ATDC إدارة الضغط كشكل من أشكال التعلم المنهجي (Curriculum Learning)، حيث تقوم بتعديل نسبة الضغط تدريجياً من المستوى الدقيق (low/fine-grained) إلى المستوى الخشن (high/coarse-grained) مع تحسن فهم النموذج لتوزيع البيانات.

المكونات الأساسية

1. جدول التوجيه التكيفي (Adaptive Routing Schedule):

   • بدلاً من نسبة ضغط ثابتة $N$، تستخدم ATDC نمواً خطياً مجدولاً لـ $N(t)$ أثناء التدريب.
   • مرحلة الإحماء (Warm-up Phase): لفترة أولية ($t < T_w$)، يتم تثبيت $N$ عند $N_{init}$ للسماح لوحدة التوجيه بالتقارب حول الأنماط الأساسية.
   • الاستكمال الخطي (Linear Interpolation): لاحقاً، يتم استكمال $N$ خطياً نحو هدف $N_{fnl}$.
   • التكيف القائم على المقاييس: يراقب النظام خسارة النمذجة اللغوية ضمن نافذة منزلقة. إذا انخفض متوسط الخسارة عن عتبة $\tau$ (مما يشير إلى الكفاءة)، يتم تطبيق معدل تكيف $\gamma$ لتسريع زيادة سعة الضغط.

2. خسارة التوازن ($L_{bal}$):

   • لمنع الحلول المتدهورة وضمان السلامة الهيكلية، تستخدم ATDC خسارة توازن توائم مخرجات التوجيه الاحتمالية الناعمة مع قرارات التوجيه المنفصلة.
   • تتضمن دالة الخسارة عقوبة الحدود (Boundary Penalty) لتحفيز الضغط العالي مع زيادة $N$، وحد الاتساق (Consistency Term) لاستقرار التدرجات للرموز غير الحدودية.
   • يضمن عامل التطبيع بقاء الخسارة مستقرة عددياً عبر مختلف مراحل جدول $N$.

3. إطار المؤشر (BPIC):

   • يضع البحث علاقة رسمية بين نسبة الضغط المستهدفة والبايتات لكل كتلة داخلية (Bytes-Per-Innermost-Chunk - BPIC).
   • يعمل BPIC كأداة تشخيصية لتتبع تطور أحجام الكتل طوال التدريب، مما يتحقق من أن الجدول التكيفي يعكس بدقة التقسيم الدلالي الداخلي للنموذج.

4. البنية الهرمية:

   • يحتفظ النموذج بهيكل H-Net، باستخدام مشفر يعتمد على نماذج فضاء الحالة (SSMs) من نوع Mamba-2 وانتباه متعدد الرؤوس.
   • يتنبأ وحدة التوجيه بالحدود المنفصلة بناءً على عدم الاستمرارية الدلالية (المقاسة عبر تشابه جيب التمام المتعلم).
   • تتم عملية إلغاء التجزئة (Dechunking) عبر تكرار المتوسط المتحرك الأسي (EMA)، مما يسمح بإعادة بناء قابلة للتفاضل لطول التسلسل الأصلي.

المساهمات الرئيسية

• تحكم مبتكر في الضغط: تقديم ATDC، التي تنظم ديناميكياً ضغط البايت في البنى الهرمية باستخدام نهج التعلم المنهجي.
• إطار نظري: تقديم تحليل رسمي يربط نسبة الضغط المستهدفة بـ BPIC، مما يتيح تتبع تطور حجم الكتلة.
• التحقق التجريبي: أظهر التدريب المكثف على مجموعة بيانات FineWeb-Edu 100B أن النماذج المزودة بـ ATDC تحقق أداءً تنافسياً في مقيال البت لكل بايت (BPB) مقابل كل من النماذج المرجعية القائمة على البايت ونماذج Llama 3.2 القائمة على الرموز.
• تعزيز المتانة: إثبات أن النهج التكيفي يحقق متانة فائقة ضد الاضطرابات النصية (مثل الأخطاء الطباعية، تغير حالة الأحرف، وحذف الحروف) مقارنة بالنماذج ذات معدلات الضغط الثابتة.

النتائج التجريبية

أُجريت التقييمات على مجموعة بيانات FineWeb-Edu 100B، لمقارنة نماذج H-Net المعززة بـ ATDC (من 350 مليون إلى 1.3 مليار معلمة) مع نماذج H-Net ذات الضغط الثابت ونماذج Llama 3.2 القائمة على الرموز.

• جودة النمذجة اللغوية: حققت نماذج ATDC باستمرار أدنى (أفضل) درجات BPB في التحقق. ومن الجدير بالذكر أن نموذج H-Net 680M (ATDC) حقق متوسط دقة صفرية (zero-shot) بنسبة 50.7%، متفوقاً بشكل كبير على Llama 3.2 770M (42.1%) وحتى على النموذج الأكبر Llama 3.2 1.5B (48.5%).
• المتانة تجاه الاضطرابات: في اختبار HellaSwag مع خمسة أنواع من الاضطرابات النصية (Antspeak, Drop, RandomCase, Repeat, Uppercase)، حافظت نماذج ATDC على دقة أعلى من النماذج القائمة على الرموز. على سبيل المثال، تحت ضجيج مستوى الحرف، انخفضت دقة Llama 3.2 إلى حوالي 27.7%، بينما حافظ H-Net 1.3B (ATDC) على 31.6%.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب على نسخة 350 مليون أن الضغط التكيفي (تراوح من 8.0 إلى 9.5) تفوق على التكوينات ذات المعدل الثابت (7.0، 8.0، 9.0) عبر المعايير القياسية واختبارات المتانة، محققاً أعلى متوسط دقة (47.3%).
• تصور الحدود: كشف التحليل البصري لحدود الكتل أن ATDC تحافظ على السلامة الدلالية (مثل إبقاء كلمة "checking" في كتلة واحدة) بشكل أكثر فعالية من الطرق ذات المعدل الثابت، والتي غالباً ما تجزئ الكلمات عبر كتل متعددة.

الأهمية والادعاءات

يزعم البحث أن ATDC تعالج "الأعباء الإضافية" للترميز (tokenization) من خلال تمكين معالجة مباشرة لمستوى البايت تكون فعالة ومتينة في آن واحد. تكمن أهمية العمل في ثلاثة مجالات رئيسية:

1. الكفاءة والجودة الفائقة: تلتقط نمذجة مستوى البايت باستخدام ATDC الفروق اللغوية الدقيقة والمعلومات الهيكلية التي قد تخفيها تجزئة الكلمات الفرعية، محققة أداءً يضاهي أحدث المعايير بعدد أقل من المعلمات مقارنة بالنماذج المماثلة القائمة على الرموز.
2. المرونة: من خلال تجنب المعالجة المسبقة للتجزئة، يحافظ النموذج على أداء عالٍ في وجود الأخطاء الطباعية، وتغيرات حالة الأحرف، وتحولات التنسيق، وهي مجالات تعاني فيها النماذج التقليدية القائمة على الرموز بشكل كبير.
3. التكيف الدينماكي: تؤكد الدراسة أن التجزئة المستهدفة التكيفية ضرورية للنمذجة الهرمية الفعالة. فخلافاً للضغط ثابت المعدل، الذي يمكن أن يجزئ الوحدات الدلالية، تتعلم ATDC كيفية مواءمة حدود الكتل مع الهياكل الصرفية ذات المعنى، مما يؤدي إلى تمثيلات أكثر استقراراً وتحسين التعميم في مهام الاستدلال المعقدة.

يخلص المؤلفون إلى أن نهجهم يقدم بديلاً واعداً للنماذج اللغوية الكبيرة التقليدية، حيث يوفر إطاراً قوياً ومرناً وعالي الأداء لمعالجة بيانات البايت الخام دون قيود تصميم المفردات.