Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
تُحدد هذه الورقة البحثية كمياً العبء الإضافي الكبير في عملية التجزئة (tokenization) الذي تواجهه اللغة الأوكرانية وغيرها من اللغات السيريلية في أنظمة الذكاء الاصطناعي الحديثة مقارنة باللغة الإنجليزية، موضحةً أن هذا التفاوت ينبع من تخصيص بيانات التدريب، ولكن يمكن التخفيف من حدته بفعالية من خلال تقنيات الضغط أثناء الاستنتاج أو عبر تدريب أجهزة تجزئة "BPE" متوازنة على مستوى البايت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يقرأ الحاسوب جملة ما، فإنه لا يرى الكلمات بالطريقة التي يراها بها البشر. بدلاً من ذلك، يقوم بتفكيك النص إلى قطع صغيرة تسمى "رموزاً" (tokens)، وهي الوحدات الأساسية التي يستخدمها الجهاز لفهم المعنى وحساب التكاليف. بالنسبة للغات المكتوبة بالأبجدية اللاتينية، مثل الإنجليزية، غالباً ما تكون هذه القطع فعالة لأن الحروف نفسها تشغل مساحة ضئيلة جداً في ذاكرة الحاسوب. ومع ذلك، بالنسبة للغات المكتوبة بالخط السيريلي، مثل الأوكرانية، فإن الوضع مختلف. فالأحرف المستخدمة في هذه النصوص تتطلب مساحة رقمية أكبر للتخزين، ولأن معظم البيانات المستخدمة لتدريب الذكاء الاصطناعي هي باللغة الإنجليزية، فقد تعلم الحاسوب التعامل مع النصوص الإنجليزية بكفاءة عالية بينما يعاني مع السيريلية. وهذا يخلق ضريبة خفية: فلكي يعالج نفس القدر من المعلومات، قد يحتاج الحاسوب إلى تقسيم الجملة الأوكرانية إلى ضعف عدد القطع تقريباً مقارنة بالجملة الإنجليزية، مما يجعل العملية أبطأ وأكثر تكلفة.
تتقصى دراسة حديثة أجراها الباحث المستقل إيفان دوبروفولسكي هذا التفاوت، مع التركيز بشكل خاص على اللغة الأوكرانية، لكن استنتاجاتها تنطبق على العديد من اللغات الأخرى التي تستخدم الخط السيريلي. تطرح الدراسة سؤالاً بسيطاً ولكنه حاسم: لماذا يعاني الحاسوب كثيراً مع هذه اللغات، وهل يمكننا إصلاح ذلك دون انتظار تغيير شامل للتكنولوجيا؟ تشير الدراسة إلى أن المشكلة لا تتعلق فقط بشكل الحروف أو مقدار المساحة التي تشغلها، بل بكيفية تعليم الحاسوب قراءتها. ومن خلال تحليل كيفية تفكيك الأنظمة الحديثة المختلفة للنصوص، وجد الباحث أن عدم التوازن ينبع من بيانات التدريب نفسها. لقد رأى الحاسوب نصوصاً بالإنجليزية أكثر بكثير من النصوص الأوكرانية، لذا فقد تعلم طرقاً مختصرة أقل للغة الأوكرانية.
ولقياس حجم المشكلة، اختبر الباحث تسعة أنظمة تجارية مختلفة تستخدمها شركات تكنولوجية كبرى. قاموا بتغذية هذه الأنظمة بملايين الكلمات من النصوص الأوكرانية وقارنوا عدد القطع التي أنشأها كل نظام مقابل عدد القطع التي أنشئت للنصوص الإنجليزية. أظهرت النتائج فجوة كبيرة؛ ففي الأنظمة الأكثر حداثة، تطلبت النصوص الأوكرانية قطعاً تزيد بنسبة تتراوح بين 68% و121% عن النصوص الإنجليزية. أما في الأنظمة القديمة، فكانت الفجوة أكبر، حيث وصلت إلى زيادة قدرها 220% في عدد القطع. وهذا يعني أنه مقابل كل دولار يُنفق لمعالجة نص إنجليزي، قد ينفق المستخدم ضعف ذلك المبلغ تقريباً لمعالجة نفس القدر من النص الأوكراني، ببساطة لأن الحاسوب يتعين عليه بذل مجهود أكبر لتفكيك الكلمات.
كما بحثت الدراسة فيما إذا كان الانتقال إلى الأبجدية اللاتينية، وهي عملية تُعرف باسم "الرومنة"، سيحل المشكلة. اقترح البعض أن كتابة الأوكرانية بحروف لاتينية ستجعل قراءتها من قبل الحواسيب أرخص وأسرع. ومع ذلك، وجدت الأبحاث عكس ذلك تماماً بالنسبة للأنظمة الحديثة. فبسبب تعلم هذه الأنظمة طرقاً فعالة للتعامل مع الحروف السيريلية الأصلية الموجودة على ال webs الأوكرانية، أدى فرض النصوص بالحروف اللاتينية إلى إرباك الحاسوب. وتسبب ذلك في تقسيم النص إلى قطع أكثر، مما زاد التكلفة بنسبة تصل إلى 19% في بعض الأنظمة. يعمل الحاسوب بشكل أفضل مع الخط الذي رآه أكثر تكراراً في بيانات تدريبه، وبالنسبة للأوكرانية، فإن ذلك هو الخط السيريلي الأصلي.
ولفهم ما إذا كان من الممكن حل المشكلة من المصدر، أنشأ الباحث نظاماً جديداً مخصصاً صُمم ليعامل الإنجليزية والأوكرانية بالتساوي. وبدلاً من ترك الحاسوب يتعلم من الإنترنت الشاسع المائل للإنجليزية، تم تدريب هذا النظام الجديد على مزيج متوازن تماماً من النصوص الإنجليزية والأوكرانية. كانت النتائج مذهلة؛ فعند استخدام هذا النظام المتوازن، تقلصت فجوة الكفاءة بشكل كبير. لم تعد النصوص الأوكرانية تتطلب ضعف عدد القطع؛ بل أصبحت تتطلب حوالي 30% فقط من القطع الإضافية مقارنة بالإنجليزية. وهذا يثبت أن التكلفة العالية ليست حداً فيزيائياً لا يمكن تجنبه، بل هي نتيجة لكيفية تدريب الحاسوب. فإذا كانت بيانات التدريب متوازنة، يتعلم الحاسوب أن يكون فعالاً لكلتا اللغتين.
كما استكشف البحث طريقة لتقليل التكاليف دون تغيير تدريب الحاسوب. فمن خلال استخدام تقنية تقوم بذكاء بإزالة الكلمات غير الضرورية من النص قبل أن يقرأه الحاسوب، تمكن الباحثون من تقليص حجم النص الأوكراني إلى النصف تقريباً. والأهم من ذلك، أن هذا الضغط لم يؤثر على قدرة الحاسوب على إيجاد الإجابات الصحيحة في اختبار يتضمن آلاف المنتجات والأسئلة الحقيقية للعملاء. فقد استرجع النظام الأسعار والتقييمات والتفاصيل الصحيحة بدقة تماثل دقة استرجاعه لها باستخدام النص الكامل غير المضغوط. وهذا يشير إلى أنه بينما يعد عدم التوازن في التدريب مشكلة متجذرة، إلا أن هناك طرقاً عملية لخفض التكاليف الآن بينما تلحق التكنولوجيا بالركب.
في النهاية، تكشف الدراسة أن عدم الكفاءة في قراءة اللغات السيريلية هي مشكلة قابلة للحل تتعلق بتوزيع البيانات، وليست عيباً متأصلاً في الخطوط نفسها. فالحاسوب ليس معطلاً، بل هو ببساطة منحاز للبيانات التي رآها أكثر. ومن خلال تعديل بيانات التدريب لتشمل المزيد من هذه اللغات غير الممثلة بشكل كافٍ، أو باستخدام أدوات ضغط ذكية، يمكن تضييق الفجوة الرقمية في التكلفة والسرعة. وتقدم هذه النتائج مساراً واضحاً للمضي قدماً لجعل الذكاء الاصطناعي أكثر إنصافاً، وضمان ألا تقتصر فوائد هذه الأدوات القوية على أولئك الذين يكتبون بالخطوط الأكثر شيوعاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.