What Tokens are Learned when Tokenization is Optimized Jointly with Language Modeling?
تُثبت هذه الورقة أن التحسين المشترك لعملية التجزئة مع النمذجة اللغوية يغير هياكل الرموز بشكل جذري، مما يكشف أن النهج الخالي من المجزئ مثل نماذج اللغة ذات التعلم الذاتي (SSLMs) تتعلم رموزاً متوافقة صرفياً وفعالة سياقياً تقلل من الحيرة وتحقق أداءً تنافسياً في المهام اللاحقة عبر لغات متنوعة، على عكس الشبكات الهجينة (H-Nets) التي تعطي الأولوية لكفاءة مستوى البايت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، لا تقرأ الحواسيب النصوص بالطريقة التي يقرأ بها البشر؛ فهي لا تستطيع رؤية الجملة كتدفق مستمر من المعنى، بل تراها كسلسلة من الوحدات المنفصلة. ولتتمكن هذه الأنظمة من فهم اللغة، يجب عليها أولاً تفكيك الكلمات إلى قطع أصغر، وهي عملية تُسمى "التقطيع" (tokenization). تخيل أمين مكتبة يتعين عليه تنظيم مكتبة ليس بناءً على الكتب الكاملة، بل بناءً على فصول فردية أو حتى فقرات، اعتماداً على كيفية كتابة تلك الكتب. إذا قام أمين المكتبة بقص الكتب في أماكن خاطئة، ستصبح القصة صعبة المتابعة. لعقود من الزمن، استخدم الباحثون قواعد ثابتة لتقرير أين يتم إجراء هذه القصات، معتمدين غالباً على إحصائيات بسيطة حول مدى تكرار ظهور تركيبات معينة من الحروف معاً. تعمل هذه القواعد بشكل جيد بما يكفي، لكنها ثابتة؛ فبمجرد تحديدها، لا تتغير أبداً، حتى لو كان الكمبيوتر يتعلم لغة جديدة أو لهجة معقدة. وهذا يثير سؤالاً جوهرياً: ماذا يحدث إذا توقفنا عن استخدام هذه القواعد الثابتة وتركنا الكمبيوتر يتعلم كيفية تقطيع الكلمات أثناء تعلمه للغة نفسها؟
لقد سعى فريق من الباحثين في معهد IIIT Hyderabad للإجابة على هذا السؤال من خلال بناء نماذج لغوية تتعلم كيفية التقطيع أثناء تعلمها للغة. واختبروا هذه الأنظمة "الخالية من التقطيع المسبق" عبر ثماني عشرة لغة مختلفة، تتراوح من الإنجليزية والسويدية إلى التاميلية والهندية والعبرية. وقد اختيرت هذه اللغات لتمثيل تنوع واسع في كيفية بناء الكلمات، من الكلمات البسيطة والقصيرة إلى السلاسل الطويلة والمعقدة من الأصوات التي يتغير معناها مع كل قطعة مضافة. قارن الباحثون بين أنظمتهم الجديدة المتعلمة وبين الطرق التقليدية الثابتة، وأرادوا معرفة نوع قطع الكلمات التي سيخترعها الكمبيوتر من تلقاء نفسه، وما إذا كانت تلك القطع ذات معنى لغوي، وما إذا كانت ستساعد الكمبيوتر على فهم اللغة بشكل أفضل.
كشفت النتائج أنه عندما يُسمح للكمبيوتر بتعلم طريقته الخاصة في تفكيك الكلمات، فإنه يطور استراتيجيتين مختلفتين تماماً اعتماداً على البنية المستخدمة. أحد النهجين، المعروف باسم "نموذج اللغة الجزئي للكلمات" (subword segmental language model)، تعلم تقطيع الكلمات بطريقة تتطابق وثيقاً مع اللبنات الطبيعية للغة. ففي لغات مثل الهندية، حيث تُبنى الكلمات غالباً بإضافة نهايات محددة إلى الجذر، تمكن هذا النظام بسرعة من تحديد الجذر والنهايات، وفصلهما بشكل نظيف. وفي العبرية، وهي لغة يُنسج فيها المعنى داخل البنية الداخلية للكلمة بدلاً من مجرد إضافته إلى نهايتها، تعلم النظام التعرف على تلك الأنماط الداخلية. أنتجت هذه الطريقة رموزاً (tokens) ذات معنى لغوي، وتماشى جيداً مع كيفية فهم البشر للقواعد وبنية اللغة.
في المقابل، سلك نهج مختلف يُسمى "H-Nets" مساراً أكثر براغماتية (واقعية). فبدلاً من محاولة إيجاد اللبنات اللغوية، ركز هذا النظام تماماً على الكفاءة. فقد تعلم إنشاء كتل نصية طويلة جداً، تمتد أحياناً لتشمل عبارات كاملة، وذلك لتقليل عدد الخطوات التي يحتاجها الكمبيوتر لمعالجة البيانات. وغالباً ما كانت هذه الكتل لا علاقة لها بالقواعد الفعلية أو معنى الكلمات. على سبيل المثال، في اللغات ذات النصوص المعقدة، أنتج هذا النظام رموزاً أطول بكثير مما أنتجته أي طريقة أخرى، مفضلاً سرعة المعالجة على وضوح بنية الكلمة. وبينما جعل هذا النظام فعالاً من الناحية الحسابية، إلا أنه أدى إلى ابتكار مفردات لا تشبه على الإطلاق الطرق القياسية التي يستخدمها البشر أو الخوارزميات التقليدية لتفكيك الكلمات.
كما أظهرت الدراسة أن طريقة تعلم هذه الأنظمة تتغير اعتماداً على نوع اللغة التي تعالجها. ففي اللغات التي تُبنى فيها الكلمات عبر ربط العديد من الأجزاء الصغيرة معاً، كانت عملية التعلم أكثر ديناميكية وتقلبًا؛ حيث يحاول النظام تجربة طرق مختلفة لتقطيع الكلمات، فيقوم أحياناً بإيجاد تقسيم مثالي ثم يبتعد عنه، قبل أن يستقر أخيراً على حل يوازن بين الكفاءة والمعنى. أما في اللغات الأبسط، فقد وجد النظام طريقة مستقرة لتقطيع الكلمات بسرعة كبيرة وتمسك بها. وهذا يشير إلى أن تعقيد اللغة نفسها يشكل كيفية تعلم الكمبيوتر لتقطيعها.
وعندما اختبر الباحثون طرق التقطيع الجديدة هذه في مهام واقعية، مثل تحديد المشاعر في جملة ما أو إيجاد أسماء الأشخاص والأماكن، كانت النتائج مشجعة. فعلى الرغم من أن الكمبيوتر قد تعلم مفردات مختلفة تماماً عن تلك المستخدمة في النماذج القياسية، إلا أنه أدى المهمة بنفس الكفاءة، وفي بعض الحالات بشكل أفضل، في هذه المهام. وقد نجح النظام الذي تعلم التوافق مع البنية الطبيعية للغة باستمرار في تقليل الارتباك الذي يشعر به الكمبيوتر عند التنبؤ بالكلمة التالية في الجملة. وهذا يشير إلى أن السماح للكمبيوتر بتعلم استراتيجية التقطيع الخاصة به يتيح له اكتشاف أنماط ذات معنى قد تغفل عنها القواعد الثابتة.
في الختام، تثبت هذه الدراسة أنه لا توجد طريقة واحدة "مثلى" لتقطيع الكلمات بالنسبة للكمبيوتر. فالطريقة المثالية تعتمد على ما يحاول النظام تحقيه. فإذا كان الهدف هو فهم البنية العميقة للغة، فإن ترك النموذج يتعلم تقطيعه الخاص يؤدي إلى رموز تعكس الحدس اللغوي البشري. أما إذا كان الهدف هو سرعة المعالجة الخام، فقد يبتكر النموذج كتلًا مختلفة تماماً وأطول، تضحي بالوضح اللغوي في سبيل الكفاءة. ومن خلال إظهار أن مناهج التعلم المشترك هذه يمكن أن تنتج مفردات فعالة وذات معنى دون قواعد مصممة بشرياً، تفتح هذه الدراسة الباب أمام أنظمة ذكاء اصطناعي أكثر قدرة على التكيف والوعي اللغوي، قادرة على التعامل مع التنوع الكامل للغة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.