A Pilot Study of Autocompleting Tokenizers
تقترح هذه الورقة دراسة تجريبية حول "المجزئات ذات الإكمال التلقائي" (autocompleting tokenizers)، وهي طريقة تستخدم نموذجاً ذاتي الانحدار خفيف الوزن للتنبؤ بالبايتات الزائدة وحذفها من التسلسلات المدخلة قبل معالجتها بواسطة نماذج المحولات (Transformer)، مما يقلل بشكل كبير من التكاليف الحسابية وأطوال التسلسلات في مهام الترجمة الآلية عبر لغات متنوعة دون المساس بجودة الترجمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في كل يوم، يكتب ملايين الأشخاص رسائل على الهواتف الذكية أو أجهزة الكمبيوتر باستخدام أنظمة تخمن الكلمة التالية قبل أن ينهوا الكتابة. تعمل ميزات الإكمال التلقائي هذه لأن اللغة البشرية مليئة بالأنماط؛ فبمجرد رؤية بداية الجملة، غالبًا ما يتبعها المسار المتبقي بشكل يمكن التنبؤ به. هذا المبدأ نفسه من التنبؤ يكمن في قلب الذكاء الاصطناعي الحديث، وتحديدًا النماذج الحاسوبية الضخمة التي تشغل الترجمة وتوليد النصوص. هذه النماذج، المعروفة باسم "ترانسفورمرز" (Transformers)، قوية للغاية ولكنها تتطلب كميات هائلة من البيانات لتعمل. ولمعالجة النصوص، تقوم بتفكيك الجمل إلى وحدات صغيرة تسمى "توكنز" (tokens). لسنوات، كانت الطريقة القياسية هي تجميع الحروف في كتل تمثل كلمات كاملة أو أجزاء من الكلمات، وهي تقنية تحافظ على إدارة البيانات. ومع ذلك، يوجد بديل أبسط: تفكيك النص إلى بايتات فردية، وهي أصغر وحدات المعلومات الرقمية. وبينما يعد نهج مستوى البايت هذا عالميًا ولا يتطلب قواميس خاصة للغات مختلفة، إلا أنه ينشئ تسلسلات طويلة جدًا لدرجة أنها تبطئ الكمبيوتر وتجعل النموذج أقل فعالية.
وضع باحثون في كلية ويليامز (Williams College) هدفهم لحل هذه المشكلة من خلال طرح سؤال بسيط: إذا كان بإمكان الكمبيوتر التنبؤ بالحرف التالي في تسلسل ما بثقة عالية، فهل يحتاج حقًا إلى رؤية ذلك الحرف لفهم الجملة؟ لقد اقترحوا طريقة جديدة تعمل مثل مرشح ذكي، حيث تقوم بإزالة أجزاء النص التي تكون واضحة جدًا بحيث لا تكون مفيدة. ومن خلال تدريب برنامج صغير وخفيف الوزن ليعمل كمساعد إكمال تلقائي، حددوا البايتات في الجملة التي كانت قابلة للتنبؤ لدرجة أنه يمكن حذفها بأمان قبل أن يراها نموذج الترجمة الرئيسي. والنتيجة هي نسخة مضغوطة من النص تكون أقصر بكثير ولكنها لا تزال تحمل كل المعاني الضرورية. أظهرت تجاربهم أنه بالنسبة للغات مثل الإنجليزية والفرنسية، استطاعوا إزالة ما يقرب من ثلث الحروف دون فقدان أي جودة في الترجمة. تشير هذه النتيجة إلى أن جزءًا كبيرًا من البيانات التي نغذي بها هذه الأنظمة الذكية القوية هو بيانات زائدة عن الحاجة، وأنه من خلال تجريد الأجزاء القابلة للتنبؤ، يمكننا جعل هذه النماذج أسرع وأكثر كفاءة دون التضحية بقدرتها على فهم العالم.
يتضمن جوهر هذا العمل عملية مكونة من ثلاث خطوات تحول كيفية تغذية الآلة بالنص. أولاً، يقرأ نموذج صغير وسريع النص الأصلي بايت تلو الآخر، متنبئًا بما سيأتي بعده بناءً على ما رآه بالفعل. إذا كان النموذج متأكدًا جدًا بشأن الحرف التالي، فإنه يحدد ذلك الحرف كحرف قابل للتنبؤ. في الخطوة الثانية، يقوم النظام بإزالة هذه الحروف المحددة من التسلسل. ولضمان عدم ارتباك النموذج الرئيسي بسبب القطع المفقودة، يقوم النظام بتعديل البايت السابق للإشارة إلى أنه تمت إزالة حرف ما، مما يسمح للنموذل باستنتاج الفجوة من السياق. وأخيرًا، يتم تمرير هذا التسلسل المختصر والمضغوط إلى نموذج ترجمة ضخم ومعياري، والذي يقوم بعد ذلك بإنشاء المخرجات في اللغة المستهدفة. اختبر الباحثون عدة طرق للتعامل مع هذه القطع المفقودة، ووجدوا أن الطريقة الأكثر فعالية تضمنت استخدام هذا النوع المحدد من العلامات التي تشير ببساطة إلى غياب حرف ما عن طريق تعديل البايت السابق، مما يسمح للنموذج الرئيسي باستنتاج الباقي من السياق.
عندما طبق الفريق هذه التقنية لترجمة الإنجليزية إلى الفرنسية، كانت النتائج مذهلة. فقد وجدوا أن بإمكانهم ضغط النص المصدر إلى حوالي 68 بالمائة من طوله الأصلي مع الحفاظ على نفس جودة الترجمة تمامًا عن النسخة غير المضغوطة. وفي بعض الحالات، كان أداء النسخة المضغوطة أفضل قليلاً. كما اختبر الباحثون الطريقة على لغات ذات أنظمة كتابة وهياكل مختلفة تمامًا، بما في ذلك الفنلندية، التي تتميز بقواعد معقدة؛ والروسية، التي تستخدم أبجدية مختلفة؛ والصينية، حيث تمثل الحروف كلمات كاملة بدلاً من الأصوات. وفي جميع هذه الحالات، نجحت الطريقة بشكل جيد، حيث قللت طول النص إلى نسب محددة بلغت 0.646 للفنلندية، و0.468 للروسية، و0.668 للصينية، مع الحفاظ على جودة الترجمة أو حتى تحسينها. يشير هذا الاتساق عبر لغات متنوعة إلى أن القدرة على التنبؤ بالمعلومات الزائدة وإزالتها هي خاصية أساسية للغة البشرية، وليست مجرد سمة خاصة بالإنجليزية.
قارنت الدراسة أيضًا طريقة الضغط الذكية هذه بطرق أبسط وأقل تطورًا لتقصير النصوص، مثل إزالة جميع الحروف المتحركة أو الاحتفاظ بالحروف القليلة الأولى من كل كلمة. فشلت هذه الطرق البدائية في الحفاظ على جودة الترجمة، مما أثبت أن المفتاح ليس مجرد إزالة الحروف، بل إزالة الحروف الصحيحة. أظهر الباحثون أنه من خلال استخدام نموذج لتحديد الأجزاء التي يمكن التنبؤ بها حقًا في النص، استطاعوا تجريد "الضجيج" مع الحفاظ على "الإشارة" سليمة. يوفر هذا النهج طريقة عملية لتقليل التكلفة الحسابية لتشغيل نماذج اللغة الكبيرة، مما قد يسمح لها بالعمل بشكل أسرع على أجهزة أقل قوة. تشير الدراسة إلى أن العديد من البايتات التي نجبر الحواسيب حاليًا على معالجتها هي غير ضرورية، وأنه من خلال السماح للنموذج بملء الفجوات بنفسه، يمكننا تحقيق نفس النتائج بجهد أقل. ورغم أن الدراسة هي بمثابة تحقيق تجريبي، إلا أن النتائج توفر مسارًا واضحًا نحو أنظمة ذكاء اصطناعي أكثر كفاءة يمكنها التعامل مع لغات متنوعة دون العبء الثقيل لمعالجة كل حرف بشكل صريح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.