💬 NLP

The Token Tax: Systematic Bias in Multilingual Tokenization

تُثبت هذه الورقة أن عدم كفاءة التجزئة (tokenization) تفرض "ضريبة توكن" على اللغات الأفريقية ذات البنية الصرفية المعقدة والموارد المحدودة، وذلك من خلال ربط ارتفاع معدل الخصوبة في التوكنات (token fertility) بانخفاض الدقة وزيادة التكاليف بشكل كبير، مع تسليط الضوء على أن نماذج الاستدلال يمكن أن تساعد في تقليص فجوات الأداء هذه.

المؤلفون الأصليون: Jessica M. Lundin, Ada Zhang, Nihal Karim, Hamza Louzan, Victor Wei, David Adelani, Cody Carroll

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jessica M. Lundin, Ada Zhang, Nihal Karim, Hamza Louzan, Victor Wei, David Adelani, Cody Carroll

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال طرد عبر العالم. بالنسبة لبعض الناس، الطرد عبارة عن صندوق صغير وأنيق يناسب تماماً حاوية شحن قياسية. أما بالنسبة لآخرين، فإن "طردهم" هو نفسه في الحجم في الواقع، ولكن بسبب طريقة تغليفه، يتم تقطيعه إلى مئات القطع الصغيرة والمربكة. لشحنه، تحتاج إلى شاحنة أكبر بأربع مرات، وتكلف أربعة أضعاف، وتستغرق أربعة أضعاف الوقت للتوصيل.

هذه الورقة البحثية، "ضريبة الرموز" (The Token Tax)، تجادل بأن هذا هو بالضبط ما يحدث للعديد من اللغات في عالم الذكاء الاصطناعي.

إليك تفصيل الأمر بتبسيط شديد:

1. المشكلة: مشكلة "التغليف" (الترميز - Tokenization)

نماذج الذكاء الاصطناعي لا تقرأ الكلمات كما يقرأها البشر؛ بل تقرأها ككتل تسمى "رموزاً" (Tokens). فكر في الرموز كقطع "ليغو" (LEGO).

اللغة الإنجليزية تشبه لغة تكون فيها معظم الكلمات عبارة عن قطع "ليغو" واحدة بالفعل. كلمة "cat" هي قطعة واحدة.
اللغات ذات البنية الصرفية المعقدة (مثل العديد من اللغات الأفريقية، أو حتى الألمانية) تشبه لغات تكون فيها الكلمة الواحدة عبارة عن قلعة كاملة من قطع "ليغو". لكي تتناسب هذه القلعة مع نظام الذكاء الاصطناعي، يضطر الذكاء الاصطناعي لتفكيك تلك القلعة إلى 5 أو 10 أو حتى 20 قطعة صغيرة فقط لتمثيل كلمة واحدة.

تسمي الورقة هذا الأمر "الخصوبة" (Fertility). الخصوبة العالية تعني أن اللغة تحتاج إلى العديد من الرموز لقول كلمة واحدة. أما الخصوبة المنخفضة (مثل الإنجليزية) فتحتاج إلى عدد قليل من الرموز.

2. "ضريبة الرموز": لماذا يكلف الأمر أكثر؟

اكتشف المؤلفون أن هذا "التغليف الإضافي" ليس مجرد إزعاج بسيط؛ بل هو ضريبة مالية وأداء هائلة.

العقوبة التربيعية (The Quadratic Penalty): نماذج الذكاء الاصطناعي تشبه حفلة حيث يتعين على كل شخص التحدث مع الجميع. إذا ضاعفت عدد الأشخاص (الرموز)، فإن كمية الكلام (القدرة الحوسبية) لا تتضاعف فحسب، بل تتضاعف أربع مرات (2 × 2 = 4).
التكلفة: إذا كانت اللغة تحتاج إلى ضعف عدد الرموز لقول نفس الشيء الذي تقوله الإنجليزية، فإن تدريب ذكاء اصطناعي عليها يكلف 4 أضعاف المال ويستغرق 4 أضعاف الوقت.
- مثال توضيلي: تخيل أن تدريب ذكاء اصطناعي على الإنجليزية يكلف 100 دولار. تدريب نفس الذكاء الاصطناعي على لغة ذات "خصوبة مضاعفة" سيكلف 400 دولار. وإذا كانت اللغة أكثر تعقيداً (5 أضعاف الرموز)، فإن التكلفة تقفز إلى 2,500 دولار.
النتيجة: نظرًا لأن الأمر مكلف للغاية، فإن الشركات تكون أقل رغبة في بناء ذكاء اصطناعي جيد لهذه اللغات. وهذا يخلق "فجوة رقمية" حيث يُترك مليارات المتحدثين خلف الركب.

3. ضربة الأداء: "المكتب الفوضوي"

الأمر لا يتعلق بالمال فحسب؛ بل يتعلق بمدى ذكاء الذكاء الاصطناعي.

اختبرت الورقة 10 نماذج مختلفة للذكاء الاصطناعي على 16 لغة أفريقية.
وجدوا رابطاً مباشراً: كلما زادت الرموز التي تحتاجها اللغة (الخصوبة العالية)، أصبح الذكاء الاصطناعي "أغبى" في الإجابة على الأسئلة.
مثال توضيلي: تخيل أنك تحاول قراءة كتاب حيث كل كلمة فيه مكتوبة في شكل جملة طويلة ومربكة. ستشعر بالتعب، وستفقد مكانك في النص، وسترتكب الأخطاء. يشعر الذكاء الاصطناعي بنفس الشعور بـ "التعب" عندما يضطر لمعالجة الكثير من الرموز من أجل كلمات بسيطة.

4. الخبر الجيد: نماذج "الاستنتاج" تساعد

اختبرت الورقة جيلاً جديداً من نماذج الذكاء الاصطناعي (مثل DeepSeek و o1) المصممة لـ "التفكير" قبل الإجابة، بدلاً من مجرد تخمين الكلمة التالية.

النتيجة: هذه النماذج "الاستنتاجية" أفضل بكثير في التعامل مع هذه اللغات الفوضوية ذات الرموز العالية. لقد نجحت في تقليص الفجوة بين المتحدثين بالإنجليزية والمتحدثين باللغات الأفريقية بشكل كبير.
لكن: لم يحلوا المشكلة تماماً. "ضريبة الرموز" لا تزال موجودة؛ نماذج الاستنتاج تمتلك فقط أدوات أفضل لدفع هذه الضريبة.

5. الصورة الكبيرة: لماذا يهم هذا؟

يجادل المؤلفون بضرورة التوقف عن معاملة هذا الأمر كخلل تقني بسيط. إنه عدم مساواة هيكلي.

اقتصادياً: تكلفة دعم هذه اللغات مرتفعة جداً على الشركات، لذا لن يفعلوا ذلك.
تقنياً: بنية الذكاء الاصطناعي الحالية منحازة بشكل أساسي ضد اللغات التي لا تشبه الإنجليزية.

الحل؟
نحن بحاجة إلى ابتكار قطع "ليغو" (ترميز/Tokenizers) أفضل تفهم بنية اللغات المعقدة حتى لا تضطر إلى التفكك إلى قطع صغيرة. ونحتاج أيضاً إلى تغيير كيفية تسعير خدمات الذكاء الاصطناعي بحيث لا يكلف التحدث بلغة معقدة 4 أضعاف التكلفة.

باختصار: عالم الذكاء الاصطناعي مبني حالياً من أجل الإنجليزية. إذا كنت تتحدث لغة تتطلب المزيد من "التغليف الرقمي"، فأنت تدفع ضريبة باهظة في المال والوقت والذكاء. هذه الورقة هي دعوة لإصلاح عملية التغليف لكي يحصل الجميع على صفقة عادلة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "ضريبة الرموز (The Token Tax): التحيز المنهجي في الترميز متعدد اللغات" لـ Lundin وآخرون.

1. بيان المشكلة

تتناول الورقة البحثية عدم المساواة الحسابية والاقتصادية المنهجية المتأصلة في بنيات النماذج اللغوية الكبيرة (LLMs) الحالية فيما يتعلق باللغات ذات الموارد المنخفضة والمعقدة صرفياً (خاصة اللغات الأفريقية).

عدم كفاءة الترميز (Tokenization Inefficiency): غالباً ما تتطلب اللغات المعقدة صرفياً عدداً أكبر بكثير من الرموز (Tokens) لتمثيل نفس المحتوى الدلالي مقارنة باللغات عالية الموارد مثل الإنجليزية. ويُطلق على هذا المقياس اسم "الخصوبة" (Fertility) (عدد الرموز لكل كلمة).
"ضريبة الرموز" (The Token Tax): نظراً للتوسع التربيعي $O(n^2)$ لآليات الانتباه (Attention Mechanisms) في نماذج المحولات (Transformers)، فإن الزيادة في عدد الرموز لا تؤدي إلى زيادة خطية في التكلفة. بدلاً من ذلك، فإن زيادة بمقدار ضعفين (2×) في الخصوبة تؤدي إلى زيادة بمقدار 4 أضعاف في وقت التدريب، وتكلفة الحوسبة، واستهلاك الطاقة، وزمن انتقال الاستدلال (Inference Latency).
تدهور الأداء: يخلق عدم الكفاءة هذا "ضريبة رموز" تعاقب المتحدثين بهذه اللغات بشكل غير متناسب، مما يؤدي إلى دقة أقل للنماذج وحواجز دخول أعلى للتدريب أو ضبط النماذج (Fine-tuning) لهذه اللغات.

2. المنهجية

أجرى المؤلفون دراسة تجريبية واسعة النطاق لقياس العلاقة بين كفاءة الترميز وأداء النموذج.

مجموعة البيانات: استخدمت الدراسة AfriMMLU، وهي معيار اختبار يحتوي على 9,000 عنصر من الأسئلة متعددة الخيارات (MCQA) عبر 16 لغة أفريقية و 5 موضوعات (الرياضيات الابتدائية، الحقائق العالمية، الجغرافيا للمرحلة الثانوية، الاقتصاد الكلي للمرحلة الثانوية، والقانون الدولي).
النماذج التي تم تقييمها: قيم الباحثون 10 نماذج لغوية كبيرة متميزة، بما في ذلك نماذج غير استنتاجية (مثل Llama 3.1 405B، GPT-4o، Qwen-2.5) ونماذج استنتاجية/تفكير (مثل DeepSeek R1/V3، OpenAI o1).
المقاييس:
- الخصوبة (Fertility): حُسبت كنسبة الرموز إلى الكلمات ( $F = T/W$ ) لكل لغة باستخدام أجهزة ترميز (Tokenizers) محددة.
- الدقة (Accuracy): قيست عبر الاستدلال لأسئلة الاختيار من متعدد (MCQA) على مجموعة بيانات AfriMMLU.
- التحليل الإحصائي: تم إجراء انحدار خطي لنمذجة العلاقة بين الخصوبة (المتغير المستقل) والدقة (المتغير التابع) لكل زوج من (النموذج-الموضوع). كما استُخدمت نماذج التأثيرات المختلطة (Mixed-effects models) لمراعاة الاختلافات الخاصة بكل لغة.
النمذجة الاقتصادية: قام المؤلفون باستقراء أعداد الرموز لتقدير تكاليف التدريب (بالدولار الأمريكي وpetaFLOP-days) وتكاليف/زمن انتقال الاستدلال، مع تطبيق قانون التوسع التربيعي لنماذج المحولات.

3. المساهمات الرئيسية

الخصوبة كمؤشر تنبؤي: تؤكد الدراسة أن الخصوبة هي مؤشر موثوق لدقة الأسئلة متعددة الخيارات (MCQA). حيث ترتبط أعداد الرموز الأعلى لكل كلمة باستمرار بانخفاض أداء النموذج عبر جميع النماذج والموضوعات التي تم تقييمها.
تحليل نماذج الاستنتاج: يعد هذا أول مقارنة واسعة النطاق لتأثيرات الترميز على النماذج الاستنتاجية مقابل غير الاستنتاجية. وجد المؤلفون أنه بينما تساهم النماذج الاستنتاجية (مثل DeepSeek و o1) في تضييق فجوة الدقة بين اللغات عالية الموارد واللغات منخفضة الموارد، إلا أنها لا تقضي على التحيز المتجذر في عدم كفاءة الترميز.
الكمّ الاقتصادي: تترجم الورقة البحثية تضخم الرموز التقني إلى مصطلحات اقتصادية ملموسة، موضحة أن "ضريبة الرموز" تمثل عائقاً أمام التطور العادل لمعالجة اللغات الطبيعية (NLP).
إطلاق البيانات: أطلق المؤلفون مجموعات بيانات عامة تحتوي على نتائج النماذج من معيار AfriMMLU (بما في ذلك نماذج الاستنتاج) ومقاييس رموز MMLU.

4. النتائج الرئيسية

الارتباط بين الدقة والخصوبة:
- عبر جميع النماذج العشرة والموضوعات الخمسة، تنبأت الخصوبة الأعلى باستمرار بدقة أقل.
- منحدرات الانحدار (Regression Slopes): تراوحت بين -0.08 و -0.18. وهذا يعني أنه مقابل كل رمز إضافي لكل كلمة، تنخفض الدقة بمقدار 8 إلى 18 نقطة مئوية، اعتماداً على النموذج والموضوع.
- التباين المفسر: فسرت الخصوبة ما بين 20% إلى 50% من التباين في الدقة ( $R^2$ )، حيث أظهرت بعض التركيبات المحددة (مثل Llama-3.1-405B في الاقتصاد الجزئي) ارتباطات سلبية ذات دلالة إحصائية عالية ( $p < 0.002$ ).
فجوات الأداء:
- تراجعت اللغات الأفريقية عن اللغة الإنجليزية بمتوسط 25 نقطة في الدقة في النماذج غير الاستنتاجية الأساسية.
- النماذج الاستنتاجية: نجحت نماذج مثل DeepSeek و o1 في تقليص هذه الفجوة بمقدار 8 إلى 12 نقطة في المتوسط. في فئة "الحقائق العالمية"، تقلصت الفجوة من 25 نقطة إلى 12-14 نقطة. ومع ذلك، ظل هناك تفاوت كبير.
الأثر الاقتصادي (ضريبة الرموز):
- تكاليف التدريب: يؤدي مضاعفة عدد الرموز (2× خصوبة) إلى زيادة بمقدار 4 أضعاف في تكلفة ووقت التدريب بسبب التوسع $O(n^2)$ $O (n^{2})$ .
  - مثال: تدريب Llama-3.1-405B يكلف 105 مليون دولار بالإنجليزية، ولكن يكلف 420 مليون دولار في لغة ذات خصوبة مضاعفة.
- تكاليف الاستدلال: توليد ما يعادل 1 مليون رمز بالإنجليزية يكلف ما بين 5 إلى 20 دولاراً بالإنجليزية، ولكنه يكلف 10 إلى 40 دولاراً في لغة ذات خصوبة 2×.
- زمن الانتقال (Latency): يتضاعف زمن انتقال الاستدلال (على سبيل المثال، مطالبة (prompt) تستغرق ثانيتين بالإنجليزية تستغرق حوالي 4 ثوانٍ في لغة ذات خصوبة عالية).

5. الأهمية والخاتمة

تجادل الورقة بأن تحيز الترميز ليس مجرد خلل تقني بسيط، بل هو عائق هيكلي أمام العدالة في معالجة اللغات الطبيعية (NLP).

العجز الهيكلي: تخلق البنية الحالية عجزاً مركباً حيث تواجه اللغات منخفضة الموارد تكاليف أعلى، وأوقات تدريب أطول، وأداءً أقل في آن واحد.
محدودية الحلول الحالية: بينما تحسن قدرات الاستنتاج المتقدمة الأداء، إلا أنها لا تستطيع التعويض الكامل عن عدم الكفاءة الجوهري الناتج عن الترميز دون الأمثل.
دعوة للعمل: يدعو المؤلفون إلى نهج متعدد الأوجه لحل هذه المشكلة:
1. تقنياً: تطوير ترميز مدرك للصرف (Morphologically aware tokenization) وآليات انتباه أكثر كفاءة.
2. اقتصادياً: تنفيذ هياكل تسعير عادلة لا تعاقب اللغات ذات الخصوبة العالية.
3. التقييم: توسيع نطاق مجموعات بيانات التقييم متعددة اللغات (مثل AfriMMLU) لمراقبة ودفع التقدم في مجال معالجة اللغات الطبيعية العادلة.

باخت-صار، تثبت الورقة أنه بدون معالجة عدم كفاءة الترميز، يواجه مجال معالجة اللغات الطبيعية خطر استبعاد مليارات البشر من فوائد تكنولوجيا اللغات، اقتصادياً ووظيفياً على حد سواء.