💬 NLP

Tokenisation via Convex Relaxations

تقدم هذه الورقة ConvexTok، وهي خوارزمية لتقطيع النصوص (tokenization) مبتكرة تصيغ بناء المفردات كبرنامج خطي يمكن حله عبر الأمثلة المحدبة، مما يجعلها تتفوق على الطرق الجشعة التقليدية في المقاييس الجوهرية وكفاءة النماذج اللغوية مع توفير حد معتمد على مدى قربها من المثالية.

المؤلفون الأصليون: Jan Tempus, Philip Whittington, Craig W. Schmidt, Dennis Komm, Tiago Pimentel

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jan Tempus, Philip Whittington, Craig W. Schmidt, Dennis Komm, Tiago Pimentel

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: حزم حقيبة السفر

تخيل أنك تحاول حزم مكتبة ضخمة من الكتب في حقيبة سفر واحدة (ذاكرة الكمبيوتر) لإرسالها إلى صديق. للقيام بذلك بكفاءة، فأنت بحاجة إلى مُجزئ نصي (Tokenizer).

في عالم الذكاء الاصطناعي، المُجزئ النصي يشبه مجموعة من الأختام المخصصة. فبدلاً من إرسال كل حرف من كل كتاب (وهو أمر بطيء وضخم)، يقوم المُجزئ بتجميع الحروف في "كتل" أو "رموز" (Tokens) (مثل كلمات كاملة أو عبارات شائعة) ويرسل تلك الرموز بدلاً من ذلك. الهدف هو جعل حقيبة السفر أصغر ما يمكن (ضغط عالٍ) مع القدرة على إعادة بناء الكتب تماماً عند وصولها.

المشكلة: الحازم "الجشع"

تستخدم معظم نماذج الذكاء الاصطناعي حالياً طريقة تسمى BPE (ترميز زوج البايت). فكر في BPE كأنه حازم جشع.

كيف يعمل: ينظر الحازم إلى الكتب، ويجد أكثر حرفين شائعين يظهران بجانب بعضهما البعض (مثل "ت" و"هـ")، ثم يلصقهما معاً ليشكلا ختماً جديداً ("تهـ")، ويكرر هذه العملية مراراً وتكراراً.
العيب: لأن الحازم ينظر فقط إلى الخطوة التالية المباشرة (الأمثل محلياً)، فقد يقوم بلصق حرفين يبدوان مفيدين في اللحظة الحالية، لكنهما ينتهيان بخلق شكل غريب وغير فعال لاحقاً ولا يتناسب جيداً في حقيبة السفر. إنهم يتخذون سلسلة من القرارات الصغيرة الجيدة التي تؤدي إلى نتيجة سيئة إجمالاً. إنهم لا يتراجعون أبداً لرؤية "الصورة الكبيرة".

الحل: نهج "المهندس المعماري" (ConvexTok)

قرر مؤلفو هذه الورقة، يان تيمبوس وزملائه، التوقف عن استخدام الحازم الجشع. وبدلاً من ذلك، قاموا ببناء مهندس معماري.

أدركوا أن العثور على الطريقة المثالية لحزم حقيبة السفر هو مسألة رياضية صعبة للغاية لدرجة أن الحواسيب عادة ما تستسلم أمامها (وهي مسألة "NP-hard"). ومع ذلك، فقد وجدوا خدعة ذكية: الاسترخاء المحدب (Convex Relaxation).

التشبيه: تخيل أنك تحاول العثور على أدنى نقطة في سلسلة جبال لبناء منزل. الحازم الجشع يمشي فقط منحدرًا حتى يصل إلى وادٍ صغير ويتوقف هناك، ظناً منه أنه القاع.
خدعة المهندس المعماري: قام المؤلفون بتنعيم الجبال المتعرجة وتحويلها إلى وعاء أملس ومثالي (شكل "محدب"). في هذا الوعاء الأملس، من السهل رياضياً العثنا على أدنى نقطة مطلقة.
النتيجة: لقد حلوا هذه النسخة السهلة والملساء من المشكلة باستخدام أداة تسمى البرمجة الخطية (LP). وقد أعطاهم ذلك "مخططاً" للتعليب المثالي.

العقبة: من المخطط إلى الواقع

المخطط الذي حصلوا عليه من الوعاء الأملس كان به مشكلة: فقد اقترح استخدام "أنصاف أختام". على سبيل المثال، قد يقول: "استخدم 0.7 من ختم 'تهـ' و 0.3 من ختم 'ing'". لا يمكنك في الواقع طباعة نصف ختم.

لحل هذه المشكلة، اخترعوا ثلاث طرق لتقريب هذه الأرقام إلى أختام كاملة (مثل تقريب 0.7 إلى 1):

الحتمي (Deterministic - Det): فقط اختر أعلى $K$ من الأختام ذات الدرجات الأعلى.
المتحيز (Biased - Bias): اختر الأختام القصيرة والفعالة، حتى لو كانت درجاتها أقل قليلاً.
التكاملي (Integral - Int): اختر فقط الأختام التي كان المخطط متأكداً منها بنسبة 99%.

ما وجدوه (النتائج)

اختبر الفريق طريقة ConvexTok الجديدة مقابل طريقة BPE الجشعة القياسية. وإليك ما حدث:

حزم أفضل: كانت حقائب ConvexTok أصغر باستمرار (ضغط أفضل) من حقائب BPE. وهذا يعني أن نماذج الذكاء الاصطناعي يمكنها قراءة نفس الكمية من النصوص باستخدام عدد أقل من "الرموز".
ضمان "القرب من المثالية": أحد أروع الأشياء في رياضياتهم هو أنها تعطي "حداً أدنى". فكر في هذا كشهادة تقول: "نحن نعلم أن حجم الحقيبة المثالية هو على الأقل بهذا الصغر". وقد وجدوا أن حقائب ConvexTok كانت ضمن نطاق 1% من ذلك الحجم النظري المثالي. بعبارة أخرى، هي تقريباً بجودة ما هو ممكن رياضياً.
أداء الذكاء الاصطناعي: عندما قاموا بتدريب نماذج الذكاء الاصطناعي باستخدام هذه الحقائب الجديدة:
- كانت النماذج أفضل قليلاً في فهم النصوص (مقاسة بـ "بت لكل بايت").
- في مهام الاستدلال المعقدة (مثل الإجابة على الألغاز المنطقية)، كانت النتائج مختلطة. أحياناً كان ConvexTok أفضل، وأحياناً كان BPE أفضل، لكن ConvexTok لم يكن أسوأ بشكل ملحوظ أبداً.
الاستقرار: طريقة BPE الجشعة مستقرة جداً؛ إذا أعطيتها كتباً مختلفة قليلاً، فإنها تصنع نفس الأختام. أما طريقة ConvexTok الجديدة فهي أكثر حساسية للكتب المحددة التي تراها، مما يعني أن الأختام قد تتغير قليلاً إذا غيرت بيانات التدريب.

الملخص

تجادل الورقة بأننا كنا نستخدم طريقة "جشعة" لتعليم الذكاء الاصطناعي كيفية القراءة لفترة طويلة جداً. من خلال استخدام الرياضيات المتقدمة (التحسين المحدب) للنظر إلى المسألة بأكملها في وقت واحد، ابتكروا مُجزئاً نصياً جديداً يسمى ConvexTok.

إنه يشبه الانتقال من شخص يقوم بلصق الحروف الأكثر شيوعاً بشكل أعمى، إلى مهندس معماري يصمم تخطيط حقيبة السفر بالكامل دفعة واحدة. النتيجة هي طريقة أكثر كفاءة لضغط النصوص، مما يقربنا من الحد النظري لأصغر حجم يمكن أن نصل إليه لهذه "الحقائب" الخاصة بالذكاء الاصطناعي.

ملخص تقني: التجزئة عبر الاسترخاء المحدب (Convex Relaxations)

بيان المشكلة

تعد عملية التجزئة (Tokenisation) مكونًا أساسيًا في مسار معالجة اللغات الطبيعية (NLP)، حيث تقوم بتحويل سلاسل البايتات (byte-strings) إلى تسلسلات من الرموز (tokens) للنماذج اللغوية (LMs). وبينما تشير الأبحاث الحديثة إلى وجود ارتباط بين كفاءة ضغط التجزئة وأداء النموذج اللغوي اللاحق، فإن إيجاد مُجزئ مثالي يعد مسألة صعبة من نوع NP-hard. تعتمد الطرق الحالية المتطورة، مثل ترميز زوج البايتات (BPE) واليونيكرام (Unigram)، على خوارزميات جشعة (greedy algorithms). وتتخذ هذه الطرق قرارات مثالية محليًا (على سبيل المثال، دمج أزواج الرموز الأكثر تكرارًا بشكل تكراري) دون النظر إلى المثالية العالمية للقاموس الناتج. وبناءً على ذلك، قد تولد هذه الطرق رموزًا وسيطة غير ضرورية وتفشل في تحقيق أقصى قدر من الضغط. التحدي الجوهري الذي تعالجه هذه الورقة هو كيفية تقريب مُجزئ مثالي عالميًا بكفاءة، متجاوزةً بذلك قيود الاستدلالات الجشعة.

المنهجية

يقترح المؤلفون ConvexTok، وهي خوارزمية تجزئة مبتكرة تصيغ بناء المُجزئ كبرنامج خطي (LP) مشتق من استرخاء محدب لبرنامج صحيح (IP).

1. صياغة الرسم البياني (Graph Formulation)

تمت إعادة صياغة المشكلة أولاً كمسألة أقصر مسار في رسم بياني موجه غير حلقي (DAG):

الرؤوس (Vertices): تمثل المواقع بين البايتات في سلاسل البايتات الخاصة بمجموعة البيانات.
الحواف (Edges):
- حواف البايت (Byte-edges): تربط البايتات المتجاورة (تمثل الحروف الفردية).
- حواف الرموز (Token-edges): تربط الرؤوس غير المتجاورة، وتمثل رموزًا محتملة متعددة البايتات.
التلوين (Colouring): يتم تلوين حواف الرموز بناءً على تسلسل البايتات المحدد الذي تمثله. يمثل "اللون" رمزًا فريدًا (unique token).
الهدف: إيجاد مسار من البداية إلى النهاية في الرسم البياني يقلل إجمالي طول المسار (الضغط) باستخدام قاموس يتكون من $K$ من الألوان المميزة (الرموز) كحد أقصى.

2. البرمجة الصحيحة (Integer Programming - IP)

تُرجمت مسألة الرسم البياني إلى برنامج صحيح. حدد المؤلفون مصفوفات حدوث (incidence matrices) للحواف الحرة (byte-edges) والحواف المسعرة (token-edges)، بالإضافة إلى مصفوفة تقسيم الألوان. متغيرات التحسين هي متجهات ثنائية تمثل:

أي الحواف المستخدمة في التقسيم ( $f$ للحواف الحرة و $p$ للحواف المسعرة).
أي الألوان (الرموز) المختارة للقاموس ( $c$ ).
الهدف هو تقليل إجمالي طول المسار مع مراعاة قيود التدفق (لضمان مسار صالح) وقيد الميزانية (لتحديد عدد الألوان المختارة بـ $K$ ).

3. الاسترخاء المحدب (Convex Relaxation - LP)

بما أن حل الـ IP هو مسألة NP-hard، فقد قام المؤلفون بتخفيف القيود المنفصلة ( $x \in \{0, 1\}$ ) إلى فترات مستمرة ( $x \in [0, 1]$ ). هذا يحول المشكلة إلى برنامج خطي (LP)، والذي يمكن حله بكفاءة باستخدام برامج حل قياسية (تحديدًا طريقة PDLP في NVIDIA CuOPT).

متعدد الوجوه التجزئة (The Tokenisation Polytope): يسمح فضاء الحل لهذا الـ LP المسترخى بوجود "رموز جزئية" (قيم كسرية)، مما يمثل مزيجًا محدبًا من القواميس المحتملة.

4. مخططات التقريب (Rounding Schemes)

بما أن النماذج اللغوية تتطلب قواميس منفصلة، يجب تحويل حل الـ LP الكسري إلى قيم منفصلة. تقترح الورقة وتقيم ثلاثة مخططات للتقريب:

الحتمي (Deterministic - Det): يختار الـ $K$ من الألوان ذات القيم الأعلى في الـ LP.
المتحيز (Biased - Bias): يرتب الألوان بناءً على نسبة قيمة الـ LP إلى طول الرمز ( $\text{length}(c) / c$ )، مما يفضل الرموز الأقصر عندما تكون الدرجات متقاربة.
الصحيح فقط (Integral-only - Int): يختار فقط تلك الألوان حيث تكون قيمة الـ LP قريبة بالفعل من 1 (أي أنها "مفروضة" بواسطة الاسترخاء)، مما يؤدي غالبًا إلى قاموس أصغر من الميزانية $K$ .

المساهمات الرئيسية

الصياغة: توفر الورقة أول صياغة لبناء المُجزئ كبرنامج خطي عبر تقنيات متعددة الوجوه، مع ربط التجزئة صراحة بمسائل أقصر مسار في الرسوم البيانية الملونة.
الخوارزمية (ConvexTok): تقدم خوارزمية جديدة تقرب مُجزئًا مثاليًا عالميًا، متجنبةً النهايات المثلى المحلية المتأصلة في النهج الجشع مثل BPE.
شهادة المثالية (Optimality Certification): يوفر حل الـ LP حدًا أدنى قابلًا للإثبات للضغط الذي يمكن تحقيقه بواسطة أي مُجزئ على مجموعة بيانات معينة. يسمح هذا للباحثين بشهادة مدى قرب مُجزئ معين (مثل BPE أو ConvexTok) من المثالية النظرية.
تحليل التقريب: تقيم الورقة بشكل منهجي ثلاث استراتيجيات تقريب مختلفة لتحويل حلول الـ LP الكسرية إلى مُجزئات وظيفية.

النتائج التجريبية

قيم المؤلفون ConvexTok مقابل BPE عبر أحجام قاموس متنوعة (من 8 آلاف إلى 256 ألف) باستخدام مجموعة بيانات ClimbMix400B ونماذج Transformer من نوع GPT (decoder-only).

جودة حل الـ LP: مع زيادة حجم القاموس، يصبح حل ال- LP أكثر تكاملًا (أقرب إلى 0 أو 1)، مما يشير إلى أنه عند المقاييس الأكبر، تكون خيارات الرموز المثالية أقل غموضًا.
فجوة المثالية: يكشف الحد الأدنى لـ LP أن المُجزئات الموجودة قريبة بشكل ملحوظ من المثالية. عند أحجام القواميس الشائعة (128k، 256k)، يكون كل من BPE ونسخ ConvexTok ضمن 1% من حد الضغط الأمثل.
المقاييس الجوهرية:
- تفوق مخطط التقريب المتحيز (Bias) باستمرار على BPE والمخططات الأخرى في المقاييس الجوهرية مثل استخدام القاموس، ونسبة النوع إلى الرمز (type-token ratio)، ومعدل الضغط.
- وُجد أن BPE أكثر استقرارًا من متغيرات ConvexTok عند إعادة تدريبه على مجموعات فرعية عشوائية مختلفة من البيانات، ويرجع ذلك على الأرجح إلى طبيعته المعتمدة على التكرار والمحلية.
أداء النمذجة اللغوية:
- البايتات لكل بايت (Bits-per-Byte - BpB): حقق مخطط التقريب الحتمي (Det) باستمرار أفضل درجات BpB، متفوقًا في كثير من الأحيان على BPE، خاصة عند أحجام القواميس الكبيرة.
- المهام النهائية (CORE): كانت النتائج على الاختبارات المعيارية للمهام النهائية (الاستنتاج، الاختيار من متعدد، المنطق العام) مختلطة. وبينما كانت متغيرات ConvexTok منافسة لـ BPE، إلا أنها لم تظهر ميزة كبيرة ومتسقة عبر جميع المهام وعمق النماذج.
الاستقرار: أظهر BPE استقرارًا أعلى فيما يتعلق بأخذ عينات بيانات التدريب مقارنة بـ ConvexTok، وإن كان مخطط "الصحيح فقط" قد أظهر استقرارًا أعلى من متغيرات ConvexTok الأخرى.

الأهمية والادعاءات

تدعي الورقة أن التجزئة المثالية عالميًا هي بديل واعد للطرق الجشعة المعتمدة على الدمج المحلي. تكمن الأهمية الأساسية في القدرة على:

حل التجزئة عالميًا: إثبات إمكانية التعامل مع التجزئة عبر التحسين المحدب بدلاً من الاستدلالات الجشعة.
شهادة الأداء: توفير حد أدنى صارم لقياس مدى ابتعاد أي مُجزئ عن المثالية النظرية. وجد المؤلفون تجريبيًا أن الطرق الحالية قريبة جدًا من هذه المثالية (ضمن 1%) عند أحجام القواميس القياسية.
تحسين الضغط: إظهار أنه بينما يعد BPE قريبًا من المثالية بالفعل، فإن مخططات تقريب معينة (مثل Bias) يمكن أن تحقق مقاييس ضغط جوهرية أفضل قليلاً.

يبقى المؤلفون متواضعين بشأن التحسينات في المهام النهائية، مشيرين إلى أنه بينما تحسن BpB باستمرار، كانت المكاسب في مهام CORE النهائية أقل اتساقًا. ويخلصون إلى أنه بينما تقدم طريقتهم إطارًا متفوقًا نظريًا وحدودًا قابلة للشهادة، فإن المكاسب العملية مقارنة بالأساليب الجشعة عالية الضبط مثل BPE هي مكاسب تدريجية في سياق تدريب النماذج اللغوية الكبيرة الحالية.