💬 NLP

The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty

تُحدد هذه الورقة البحثية "ضريبة الرموز" (tokenizer tax) عبر 25 لغة أوروبية، كاشفةً أن اللغات غير الإنجليزية، ولا سيما الأوكرانية وتلك ذات الصرف المعقد، تعاني من نسب أعلى بكثير من الرموز إلى الكلمات بسبب نقص تمثيلها في بيانات ما قبل التدريب، مع إثبات أن تصنيفات الخصوبة هذه تظل ثابتة عبر المجالات وأن تأثيرات التعلم بلقطات قليلة (few-shot effects) هي سمة متأصلة في النموذج وليست مرتبطة باللغة.

المؤلفون الأصليون: Volodymyr Ovcharov

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Volodymyr Ovcharov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدفع ثمن رحلة تاكسي. باللغة الإنجليزية، يحاسبك التاكسي بـ "الوقفة" (كلمة). أما في اللغة الأوكرانية، فيصر سائق التاكسي على محاسبتك بـ "الخطوة" (قطعة صغيرة من الكلمة). ولأن الكلمات الأوكرانية غالبًا ما تكون أطول وأكثر تعقيدًا، يتخذ السائق خطوات أكثر بكثير للوصول إلى نفس الوجهة. ينتهي بك الأمر بدفع ضعف المبلغ لنفس الرحلة تمامًا، رغم أن المسافة لم تتغير.

هذه الورقة البحثية، التي كتبها فولوديمير أوفتشاروف، تدور حول هذه "الضريبة" الخفية على اللغات غير الإنجليزية عند استخدام الذكاء الاصطناعي. إليك تفصيل لما وجدوه، باستخدام تشبيهات بسيطة:

1. ضريبة "الخطوة" (خصوبة الرمز - Tokenizer Fertility)

نماذج الذكاء الاصطناعي لا تقرأ كلمات كاملة مثل البشر. بل تقطع النص إلى قطع صغيرة تسمى رموزًا (tokens).

التشبيه: فكر في الكلمة كرغيف خبز.
- الإنجليزية: يقطع الذكاء الاصطناعي الرغيف إلى شرائح كبيرة وسميكة. تحتاج فقط إلى 1.2 شريحة لتمثيل كلمة واحدة.
- الأوكرانية: يستخدم الذكاء الاصطناعي سكينًا ثلمًا ويقطع نفس الرغيف إلى قطع صغيرة متفتتة. يتطلب الأمر 2.7 شريحة لتمثيل كلمة واحدة.
التكلفة: بما أن شركات الذكاء الاصطناعي تحاسبك لكل "شريحة" (رمز)، فإن التحدث بالأوكرانية يكلفك حوالي 2.2 مرة أكثر من التحدث بالإنجليزية لنفس كمية النص.
التسلسل الهرمي: قاست الورقة 25 لغة أوروبية.
- المجموعة الرخيصة: الإنجليزية، الإسبانية، والفرنسية (1.2 إلى 1.7 شريحة لكل كلمة).
- المجموعة المتوسطة: الألمانية والهولندية (1.7 إلى 1.9 شريحة).
- المجموعة الغالية: اللغات السلافية مثل البولندية والتشيكية (2.2 إلى 2.5 شريحة).
- الأغلى ثمنًا: الأوكرانية، اليونانية، والمالطية (حوالي 3.1 شريحة).

2. "عقوبة الأوكرانية"

وجد الباحثون شيئًا مفاجئًا بشأن اللغة الأوكرانية. على الرغم من أن الأوكرانية والبولندية والتشيكية جميعها لغات سلافية شقيقة ذات هياكل كلمات متشابهة، إلا أن معالجة الأوكرانية أغلى بكما بشكل ملحوظ.

التشبيه: تخيل مصنعين متطابقين. أحدهما (البولندي) لديه إمدادات وفيرة من الطوب المقطر مسبقًا لأنه يبني منذ فترة طويلة. والآخر (الأوكراني) يضطر لقطع كل طوبة من الحجر الخام لأنه تم تجاهله في الماضي.
السبب: توضح الورقة أن الأوكرانية تمتلك بيانات تدريب أقل بـ 2 إلى 6 مرات في "مكتبة" الذكاء الاصطناعي مقارنة بالبولندية أو التشيكية. ولأن الذكاء الاصطناعي لم يرَ الكلمات الأوكرانية كثيرًا، فإنه لا يعرف كيفية تجميعها بكفاءة. يستمر في تقطيعها إلى قطع صغيرة غير فعالة.

3. "السكين الموحد"

اختبرت الورقة ما إذا كانت هذه "الضريبة" تتغير بناءً على موضوع الحديث (مثل العقود القانونية مقابل الأخبار أو ويكيبيديا).

النتيجة: لا يهم. الترتيب الذي يحدد أي ذكاء اصطناعي هو "رخيص" وأيها "غالٍ" يظل كما هو تمامًا سواء كنت تتحدث عن كرة القدم، أو القانون، أو التاريخ.
الخلاصة: إذا اختبرت ذكاءً اصطناعيًا على نوع واحد من النصوص، فستعرف بالضبط كم سيكلفك لأي نوع آخر من النصوص. لست بحاجة لإعادة الاختبار في كل مرة.

4. "الخدعة السحرية" (التعلم من أمثلة قليلة - Few-Shot Learning)

يمكن للذكاء الاصطناعي أحيانًا تعلم مهمة جديدة بمجرد رؤية أمثلة قليلة (مثل إظهار نموذج لسؤال وإجابة). اختبر الباحثون ما إذا كانت هذه "الخدعة السحرية" تعمل بشكل مختلف للغات المختلفة.

النتيجة: الخدعة لا تتعلق باللغة؛ بل تتعلق بـ "شخصية" الذكاء الاصطناعي (تصميمه).
- بعض نماذج الذكاء الاصطناعي (مثل "Nemotron") تصبح أكثر ذكاءً عند عرض أمثلة عليها، بغض النظر عما إذا كان النص أوكرانيًا أو بولنديًا أو روسيًا.
- نماذج أخرى (مثل "Maverick") تصبح في الواقع "أغبى" عند عرض أمثلة عليها، وهذا يحدث أيضًا بغض النظر عن اللغة.
الدرس: لا تلم اللغة على ارتباك الذكاء الاصطناعي. بل لُم تصميم الذكاء الاصطناعي. إذا فشل الذكاء الاصطناعي في التعامل مع الأمثلة بالإنجليزية، فمن المرجح أن يفشل مع الأمثلة بالأوكرانية أيضًا.

5. لماذا بعض نماذج الذكاء الاصطناعي أفضل في التقطيع

نظر الباحثون "تحت الغطاء" ليروا كيف تقوم نماذج الذكما الاصطناعي المختلفة بتقطيع الكلمات.

المقطعون الجيدون: بعض النماذج (مثل Gemma 2) تقطع الكلمات الأوكرانية عند حدود "المورفيمات" الطبيعية (الأجزاء ذات المعنى في الكلمة، مثل الجذور والنهايات). هذا فعال.
المقطعون السيئون: نماذج أخرى (مثل Qwen3) تقطع الكلمات في أماكن عشوائية، وتقسم أحيانًا جزءًا واحدًا ذا معنى إلى نصفين. يشبه الأمر قطع شطيرة في منتصف قطعة المخلل بدلًا من بين شرائح الخبز.
المفاجأة: امتلاك قاموس أكبر (مفردات) لا يضمن تقطيعًا أفضل. بعض النماذج ذات القواميس الضخمة لا تزال تقطع الكلمات الأوكرانية إلى قطع صغيرة وغير فعالة لأنها ببساال لم تملك ما يكفي من الأمثلة الأوكرانية في بيانات التدريب الخاصة بها لتعلم التقطيع الصحيح.

ملخص التوصيات

تقترح الورقة ثلاث قواعد بسيطة لأي شخص يستخدم الذكاء الاصطناعي مع اللغة الأوكرانية أو اللغات المشابهة:

توقع الضريبة: ضع في اعتبارك أن الأوكرانية ستكلفك ضعف تكلفة الإنجليزية تقريبًا.
اختبر مرة واحدة: تحتاج فقط لقياس "الضريبة" مرة واحدة؛ فهي تنطبق على جميع المواضيع.
كن حذرًا مع الأمثلة: لا تفترض أن إظهار أمثلة للذكاء الاصطناعي سيساعد. بالنسبة لبعض النماذج، قد يضر ذلك الأداء، وهذا يحدث في كل لغة.

الخلاصة: عالم الذكاء الاصطناعي مبني حاليًا بانحياز للغة الإنجليزية. وإلى أن يتم موازنة "المكتبات" الخاصة ببيانات التدريب، ستدفع لغات مثل الأوكرانية "ضريبة خطوة" خفية لمجرد أن تُفهم.

ملخص تقني: ضريبة الموّزع (Tokenizer Tax) عبر 24 لغة أوروبية

بيان المشكلة

تفرض الموزعات (Tokenizers) تكلفة اقتصادية وتقنية خفية على معالجة اللغات الطبيعية (NLP) لغير الإنجليزية، لا سيما للغات ذات الصرف الغني. تنشأ هذه "ضريبة الموزع" من الخصوبة (Fertility) — وهي عدد رموز الـ subword الناتجة لكل كلمة. يتم توزين النصوص الإنجليزية بكفاءة (حوالي 1.2 رمز/كلمة)، بينما يمكن للغات ذات الصرف المعقد أو التمثيل الضعيف في بيانات ما قبل التدريب أن تتحمل تكاليف أعلى بمقدار 2.5 مرة. وثقت دراسات سابقة (Petrov et al., 2023; Ahia et al., 2023) هذه التفاوتات، لكنها اعتمدت على مصادر نصوص غير متجانسة، مما جعل من الصعب عزل مساهمة الموزع عن تباين المحتوى. علاوة على ذلك، لم يتم تحديد "العقوبة الأوكرانية" (Ukrainian penalty) بالنسبة للغات السلافية الشقيقة، ولا اتساق التأثيرات عبر اللغات في التعلم بلقطات قليلة (few-shot learning) ضمن إطار مضبوط.

المنهجية

تستخدم الدراسة تصميماً تجريبياً عابراً للغات ومضبوطاً لقياس الخصوبة والآثار المترتبة عليها عبر عشرة نماذج تأسيسية و25 لغة أوروبية.

النماذج: تم تقييم عشرة نماذج، منها سبعة تم الوصول إليها عبر AWS Bedrock (Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Nova Pro, Qwen3 32B, Qwen3 235B) وثلاثة تم قياسها محلياً باستخدام موزعات عامة (GPT-4o, Gemma 2 27B, DeepSeek V3).
مجموعات البيانات:
- قياس الخصوبة: نص متوازٍ من SIB-200 (25 لغة أوروبية + الأوكرانية) وويكيبيديا الأوكرانية (السجل الموسوعي). تم دمج النصوص في كتل تبلغ حوالي 6,000 حرف لتقليل العبء الإضافي للمطالبة النظامية (system prompt).
- التصنيف: تصنيف المواضيع لـ SIB-200 (7 فئات) عبر أربع لغات سلافية (الأوكرانية، البولندية، الروسية، التشيكية).
- الكفاءة اللغوية: اختبار ULP (347 سؤال اختيار من متعدد حول قواعد اللغة الأوكرانية).
التصميم التجريبي:
1. ثبات النطاق (Domain Invariance): قياس الخصوبة عبر السجلات القانونية، والإخبارية، والموسوعية لاختبار استقرار التصنيف.
2. الرسم الخرائطي عبر اللغات: حساب متوسط الخصوبة لـ 25 لغة لإنشاء تسلسل هرمي.
3. تحليل الـ subword: تفكيك مصطلحات قانونية أوكرانية محددة لتحليل الحفاظ على الحدود الصرفية.
4. تقييم اللقطات القليلة (Few-Shot): مقارنة دقة الصفر لقطة (zero-shot) مقابل اللقطات القليلة (few-shot) على SIB-200 لتحديد ما إذا كانت فروق الأداء تعتمد على اللغة أم هي متأصلة في النموذج.
5. ارتباط الكفاءة: ربط معدلات الخصونة بالدقة النحوية في اختبار ULP.

المساهمات الرئيسية

خريطة خصوبة مضبوطة عابرة للغات: أول قياس لخصوبة الموزع عبر 25 لغة أوروبية باستخدام نصوص متوازية، مما يعزل سلوك الموزع عن تباين المحتوى.
التحقق من ثبات النطاق: إثبات أن تصنيفات الخصوبة مستقرة عبر السجلات القانونية والإخبارية والموسوعية ( $\rho > 0.97$ $ρ > 0.97$ )، مما يعني أن قياساً واحداً يكفي للتنبؤ بالتكلفة عبر المجالات المختلفة.
1. التحليل الآلي للـ subword: تحديد أن الموزعات ذات الخصوبة العالية تفتت الحدود الصرفية عند مستويات بايت عشوائية بدلاً من الحفاظ على المورفيمات (morphemes)، مما يفسر فجوات الأداء.
2. تأثيرات اللقطات القليلة المتأصلة في النموذج: تقديم دليل على أن تأثيرات التعلم باللقطات القليلة (التحسن أو التدهور) متسقة عبر اللغات السلافية المختلفة لنموذج معين، مما يشير إلى أن التأثير مدفوع ببنية النموذج وليس بخصائص لغة المدخلات.
3. تحديد العقوبة الأوكرانية: التحديد الكمي لتكلفة الرموز الأوكرانية الأعلى بنسبة 15-18% مقارنة باللغات السلافية الشقيقة (البولندية، التشيكية)، والتي تُعزى إلى نقص التمثيل في بيانات ما قبل التدريب.

النتائج

1. تسلسل ضريبة الموزع

تتراوح الخصوبة عبر نطاق 2.5 ضعف بين اللغات الأوروبية:

الأكثر كفاءة: الإنجليزية (1.23 رمز/كلمة).
الرومانسية: 1.5–1.7.
الجرمانية: 1.7–1.9.
السلافية: 2.2–2.5.
الأورالية/البلطيقية: 2.7–3.0.
الأعلى تكلفة: اليونانية والمالطية (~3.1).

العقوبة الأوكرانية: يبلغ متوسط الأوكرانية 2.66 رمز/كلمة، مما يعني دفع 15-18% أكثر من البولندية (2.25) والتشيكية (2.28). يستمر هذا الفارق رغم تشابه التعقيد الصرفي. ويكشف تحليل المتون أن الأوكرانية تمتلك بيانات ما قبل تدريب أقل بـ 2-6 مرات من البولندية في المتون الرئيسية (mC4, OSCAR, CulturaX)، مما يؤدي إلى عمليات دمج أقل تحسيناً للـ subwords.

2. تباين النماذج وتفتت الـ subword

يؤثر تصميم النموذج بشكل كبير على الخصوبة. على سبيل المثال، في اليونانية، تتراوح الخصوبة من 2.29 (Llama 4 Maverick) إلى 5.73 (Qwen3).

الموزعات الكفؤة (مثل Gemma 2, Llama 3.3): تحافظ على حدود المورفيم (مثلاً، تقسيم вiдповiдальнiсть إلى 3-4 رموز).
الموزعات غير الكفؤة (مثل Qwen3, DeepSeek): تفتت الكلمات عند حدود البايت (تقسيم نفس الكلمة إلى 8-9 رموز)، رغم امتلاكها أحجام مفردات مماثلة أو أكبر.

3. ثبات النطاق

يتم الحفاظ على تصنيفات الخصونة بشكل مثالي ( $\rho = 1.0$ ) عبر النصوص الإخبارية والقانونية والموسوعية. وبينما تختلف أعداد الرموز المطلقة قليلاً حسب النطاق (النصوص الموسوعية هي الأكثر تكلفة عموماً بسبب تنوع المفردات)، يظل ترتيب تكلفة النماذج النسبية ثابتاً.

4. تأثيرات اللقطات القليلة عبر اللغات

تأثير التلقين باللقطات القليلة (few-shot prompting) هو تأثير متأصل في النموذج، وليس معتمداً على اللغة:

Nemotron Super 3: حسن الأداء في جميع اللغات السلافية الأربع (متوسط +10.5 نقطة مئوية).
Llama 4 Maverick: أدى إلى تدهور الأداء في جميع اللغات السلافية الأربع (متوسط -8.4 نقطة مئوية)، مع انهيار فئات ملحوظ نحو الفئات المهيمنة (مثل العلوم، السياسة).
هذا الاتساق عبر النصوص المكتوبة بالخطين السيريلي واللاتيني يشير إلى أن التأثير يتحدد بكيفية معالجة آلية الانتباه (attention mechanism) لمحتوى العرض، وليس بخصائص مورفولوجيا لغة المدخلات.

5. الكفاءة اللغوية

الارتباط بين الخصونة المنخفضة والدقة النحوية العالية (اختبار ULP) ضعيف ( $\rho = -0.43$ ) وغير ذي دلالة إحصائية ( $p=0.34$ ). ورغم أن Llama 4 Maverick (الأقل خصونة) حقق أعلى دقة (57.3%)، إلا أن الحالات الشاذة مثل Nemotron (خصونة متوسطة، أدنى دقة) تشير إلى أن البنية وتكوين بيانات التدريب هما مؤشران أقوى على الكفاءة من كفاءة التوزيع وحدها.

الأهمية والادعاءات

يدعي البحث تقديم أول خريطة مضبوطة وثابتة النطاق لـ "ضريبة الموزع" عبر أوروبا. تكمن أهميته الأساسية في:

الأثر الاقتصادي: إثبات أن معالجة المحتوى الأوكراني تكلف 2.2 ضعف الإنجليزية لمجرد تصميم الموزع، وهي تكلفة تتضاعف عبر استدعاءات الـ API.
التحول المنهجي: إثبات أن الخصونة هي خاصية مستقرة لمفردات الموزع، مما يسمح للممارسين بقياس التكلفة مرة واحدة والتنبؤ بها عبر جميع مجالات التطبيق.
تمثيل البيانات: تسليط الضوء على أن "العقوبة الأوكرانية" ليست مجرد سمة لغوية، بل هي نتيجة مباشرة لـ نقص التمثيل في متون ما قبل التدريب، مما يؤدي إلى مفردات subword غير مثالية.
التوجيه العملي: التوصية بأن يعطي الممارسون الأولوية لنهج الصفر لقطة (zero-shot) للغات ذات الصرف الغني (حيث أن تأثيرات اللقطات القليلة غير متوقعة وتعتمد على النموذج) وأن يخصصوا ميزانية لضريبة الموزع الخاصة باللغة المستهدفة.

ينشر المؤلفون جميع قياسات الخصونة وبيانات تفكيك الـ subword كمجموعة بيانات عامة لتمكين سياسات اختيار النماذج وتوجيهها القائمة على التكلفة.