تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتحدث لغة البشر. للقيء بذلك، عليك تقسيم كل جملة إلى كتل صغيرة تسمى "توكنز" (Tokens). فكر في هذه التوكنز كأنها قطع "ليغو" (LEGO). إذا استخدمت مجموعة قياسية من القطع، فقد تحتاج إلى مليون قطعة صغيرة لبناء منزل بسيط، مما يجعل عملية البناء بطيئة وفوضوية. لسنوات طويلة، كانت الطريقة الأكثر شيوعاً لصنع هذه القطع (وهي طريقة تسمى ترميز زوج البايت، أو BPE) تعتمد على التقاط أكثر أزواج الحروف شيوعاً ولصقها معاً. كان الأمر يشبه قول: "مهلاً، 'th' و 'e' يظهران كثيراً، فلنجعل منهما قطعة 'the'". لكن هذا النهج كان به عيب: فقد كان يحب الكلمات القصيرة والشائعة جداً لدرجة أنه استمر في تفكيك العبارات الطويلة ذات المعنى إلى قطع صغيرة غير فعالة. هذا أجبر الروبوت على معالجة عدد أكبر بكما من القطع مما هو ضروري، مما أدى إلى إبطاء تفكيره واستهلاك ذاكرته.

الآن، تخيل طريقة جديدة لبناء مجموعات "الليغو" هذه. بدلاً من مجرد البحث عن الأزواج الأكثر تكراراً، تسأل هذه الطريقة الجديدة: "ماذا لو صنعنا قطعاً أكبر وأذكى تغطي مساحة أكبر؟" هذا هو جوهر دراسة جديدة من قبل الباحثين دونغ دونغ وويجي سو من جامعة بنسلفانيا. لقد قدموا "توكنايزر" (Tokenizer) جديداً يسمى Length-MAX. بدلاً من مجرد عد كم مرة تظهر الكلمة، يبحث Length-MAX عن عبارات أطول تظهر بما يكفي لتكون مفيدة. إنه يشبه إدراك أن "the" شائعة، لكن عبارة "the United States" هي وحدة بناء أفضل بكثير من ثلاث قطع منفصلة. من خلال استبدال القطع الصغيرة والمتكررة بقطع أقل، وأطول، وأكثر دلالة، يمكن للروبوت بناء جملة بشكل أسرع، واستخدام ذاكرة أقل، وفهم القصة بشكل أفضل بالفعل.

المشكلة في وجود الكثير من القطع الصغيرة جداً

لفترة طويلة، كانت الطريقة القياسية لتعليم الحواسيب اللغة تعتمد على تقطيع النص إلى قطع صغيرة بناءً على عدد مرات ظهورها. يُسمى هذا ترميز زوج البايت (BPE). وهي تعمل عن طريق إيجاد الرموز الاثنين الأكثر شيوعاً بجانب بعضهما البعض ودمجهما في "توكن" جديد. إنها تشبه لعبة حيث تستمر في دمج الجيران الأكثر شعبية حتى تنفد حركاتك.

المشكلة هي أن هذه اللعبة تحابي الأجزاء القصيرة وعالية التكرار. فهي تعامل عبارة متماسكة وطويلة مثل "in the midst of a historic snowstorm" كمجموعة من القطع الصغيرة المنفصلة. ولأن نماذج الذكاء الاصطدي الحديثة يجب أن تنتبه لكل قطعة بمفردها لفهم الجملة بأكملها، فإن وجود الكثير من القطع الصغيرة يجعل العمليات الحسابية تنفجر في التعقيد. إنه يشبه محاولة قراءة كتاب حيث يتم تقسيم كل كلمة إلى ثلاثة مقاطع لفظية؛ عليك قراءة ثلاثة أضعاف عدد "الكلمات" للحصول على نفس المعنى. هذا يبطئ التدريب، ويجعل الذكاء الاصطناعي أبطأ في الإجابة على الأسئلة، ويتطلب المزيد من ذاكرة الكمبيوتر.

دخول Length-MAX: استراتيجية "الأطول هو الأفضل"

قرر الباحثون وراء هذه الورقة البحثية قلب السيناريو. سألوا: "ماذا لو قمنا بالتحسين من أجل الطول بدلاً من مجرد التكرار؟" لقد ابتكروا "توكنايزر" جديداً يسمى Length-MAX.

بدلاً من مجرد البحث عن الأزواج الأكثر شيوعاً، يبحث Length-MAX عن السلاسل الفرعية التي تزيد من قيمة درجة معينة وهي: التكرار × الطول. فهو يكافئ الـ "توكنز" التي تكون شائعة وطويلة في آن واحد. إذا ظهرت عبارة مثل "the United States" كثيراً بما يكفي، فسيقوم Length-MAX بالتقاطها وجعلها "توكن" واحداً، بدلاً من تقسيمها إلى "the" و "United" و "States".

للقيام بذلك، كان على الفريق حل لغز رياضي معقد. لقد أدركوا أن إيجاد المجموعة المثالية من الـ "توكنز" الطويلة هو مشكلة معقدة للغاية لدرجة أنه من المستح المستحيل حلها بشكل مثالي لكميات هائلة من النصوص (وهي مشكلة تُعرف باسم NP-hard). لذا، قاموا ببناء خوارزمية "جشعة" (Greedy Algorithm) ذكية. تخيل لوحة نتائج حيث تحصل كل عبارة محتملة على درجة بناءً على طولها ومدى تكرار ظهورها. تختار الخوارزمية العبارة ذات الدرجة الأعلى، وتثبتها، وتكرر العملية حتى تكتمل المفردات. لقد جعلوا هذا الأمر سريعاً للغاية باستخدام تقنية تسمى Rabin-Karp rolling hash، والتي تسمح لهم بمسح النصوص مثل ماسح ضوئي عالي السرعة، وقاموا بتشغيلها على مئات من نوى الكمبيوتر في وقت واحد.

النتائج: أسرع، أصغر، وأذكى

اختبر الفريق هذه الطالة الجديدة عبر تدريب نماذج الذكاء الاصطناعي من الصفر (تحديداً نماذج GPT-2) ومقارنتها بطريقة BPE القياسية. كانت النتائج مبهرة في جميع المجالات:

• عدد أقل من الـ "توكنز": عبر أحجام مختلفة من المفردات، قلل Length-MAX عدد الـ "توكنز" اللازمة لتمثيل النص بنسبة 14-18% مقارنة بـ BPE. بالنسبة لمفردات مكونة من 64,000 كلمة، كان الانخفاض 13.0%. وهذا يعني أن الذكاء الاصطناعي يحتاج لمعالجة عدد أقل بكثير من "القطع" لقول الشيء نفسه.
• تدريب أسرع: نظرًا لوجود عدد أقل من الـ "توكنز" للمعالجة، تعلمت النماذج بشكل أسرع. للوصول إلى مستوى معين من المهارة، احتاج النموذج ذو 124 مليون معلمة إلى 18.5% خطوات أقل، والنموذج ذو 355 مليون معلمة احتاج إلى 17.2% خطوات أقل، والنموذج ذو 1.3 مليار معلمة احتاج إلى 18.5% خطوات أقل.
• إجابات أسرع: عندما طُلب من النماذج توليد نصوص، كانت أسرع. انخفض زمن الاستجابة (Inference Latency) بنسبة 13.7% للنموذج (124M)، وزادت سرعة توليد النصوص (Throughput) بنسبة 16%.
• ذاكرة أقل: استخدمت النماذج أيضاً ذاكرة أقل. وجد الباحثون أن الذاكرة المطلوبة لـ "الذاكرة العاملة" للنموذج (تسمى KV-cache) وتضمينات المفردات (Vocabulary Embeddings) قد انخفضت بنسبة 18%.
• فهم أفضل: للمفاجأة، لم يجعل استخدام عدد أقل من الـ "توكنز" الذكاء الاصطناعي غبياً؛ بل جعله أذكى. في الاختبارات التي تقيس مدى فهم الذكاء الاصطناعي للقصص الطويلة والسياق، حققت نماذج Length-MAX أداءً أفضل. على سبيل المثال، في اختبار يسمى LAMBADA، انخفضت نسبة الارتباك (Perplexity) لدى الذكاء الاصطناعي بنسبة 11.7%، وفي اختبار الاستنتاج المنطقي الشائع HellaSwag، تحسنت الدقة بمقدار 4.3 نقطة.

لماذا ينجح هذا (وما الذي لا يفعله)

إن سحر Length-MAX لا يكمن فقط في توفير الوقت، بل في أنه يغير كيفية رؤية الذكاء الاصطناعي للعالم. من خلال تجميع الكلمات في عبارات أطول وذات معنى (مثل "in the midst of")، يمكن للذكاء الاصطناعي الحفاظ على سياق الجملة بسهولة أكبر. إنه الفرق بين محاولة فهم قصة من خلال النظر إلى الحروف الفردية مقابل النظر إلى الكلمات والعبارات الكاملة.

تحقق الباحثون أيضاً للتأكد من أنهم لم يكسروا "الإيقاع" الطبيعي للغة. وجدوا أن Length-MAX لا يزال يتبع القوانين الطبيعية لتكرار اللغة (المعروفة باسم قانون زيبف - Zipf's law)، مما يعني أنه لم يقم فقط بإنشاء كلمات طويلة غريبة أو عشوائية. لقد حافظ على البنية الطبيعية للغة مع جعلها أكثر كفاءة.

ومع ذلك، تشير الورقة البحثية بحذر إلى ما لا يفعله هذا الأسلوب. فهو لا يعمل على النماذج التي تم تدريبها بالفعل ومجمدة؛ يجب عليك تدريب النموذج من الصفر باستخدام الـ "توكنايزر" الجديد للحصول على هذه الفوائد. كما أنه يركز على النصوص الإنجليزية، لذا ليس من الواضح بعد ما إذا كان سيعمل بنفس الكفاءة للغات ذات هياكل مختلفة تماماً. علاوة على ذلك، بينما كانت النتائج قوية للنماذج التي تصل إلى 1.3 مليار معلمة، يشير الباحثون إلى أن الفوائد للنماذج الضخمة (مثل 7 مليارات معلمة) ستكون متشابهة على الأرجال، لكن لم يتم اختبارها بالكامل بعد.

الخلاصة

يمثل Length-MAX نهجاً جديداً لمشكلة عمرها عقود. من خلال إدراك أن "الأطول هو الأفضل غالباً" بالنسبة للـ "توكنز"، وجد الباحثون طريقة تجعل نماذج الذكاء الاصطناعي أسرع، وأرخص في التشغيل، وأفضل بشكل مفاجئ في فهم السياق. إنه تذكير بأن أفضل طريقة للمضي قدماً ليست دائماً ببناء محرك أكبر، بل ببناء ناقل حركة (تروس) أذكى. الكود والمفردات الجديدة متاحة الآن لأي شخص لتجربتها، مما يوفر طريقة عملية لاستخراج المزيد من الكفاءة من الجيل القادم من النماذج اللغوية.