Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion
تتناول هذه الورقة مسألة الإفراط في تجزئة الرموز (token over-fragmentation) في اللغات غير اللاتينية من خلال اقتراح FragMend، وهي طريقة لتوسيع المفردات قائمة على القابلية للتفسير، تتفوق على تقنيات الاختيار والتهيئة التقليدية القائمة على التكرار، مما يؤدي إلى تحسين الأداء وكفاءة الرموز بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مكتبة ضخمة وعالمية للمعرفة (نموذج لغوي كبير، أو LLM). ولتنظيم هذه المكتبة، تحتاج إلى نظام فهرسة. في عالم الذكاء الاصطناعي، يُسمى هذا الفهرس "المفردات" (vocabulary)، وتُسمى المدخلات الفردية فيه "الرموز" (tokens).
إليك المشكلة التي تعالجها الورقة البحثية: المكتبة منحازة.
المشكلة: "ضريبة الرمز"
تخيل أنك تذهب إلى هذه المكتبة لاستعارة كتاب.
- إذا كان الكتاب باللغة الإنجليزية، سيسلمك أمين المكتبة بطاقة فهرس واحدة مرتبة.
- أما إذا كان الكتاب بلغة الأوديا (لغة من الهند) أو البورمية (من ميانمار)، فسيقوم أمين المكتبة بتسليمك كومة من عشر بطاقات فهرس لوصف نفس الجملة تماماً.
يُسمى هذا "التجزئة المفرطة للرموز" (Token Over-fragmentation). ولأن الذكاء الاصطناعي قد تدرّب بشكل أساسي على الإنجليزية واللغات الأخرى التي تستخدم "الخط اللاتيني"، فإنه لا يمتلك "كلمات" جيدة للغات غير اللاتينية. لذا، يضطر إلى تفكيكها إلى قطع صغيرة غير فعالة (مثل محاولة تهجئة كلمة عبر سرد كل حرف فيها على حدة بدلاً من استخدام الكلمة نفسها).
لماذا يهم هذا الأمر؟
- التكلفة: كل رمز يكلف مالاً. إذا كان المستخدم في الهند يحتاج إلى 10 رموز لقول ما يقوله الأمريكي في رمز واحد، فهو يدفع 10 أضعاف التكلفة لاستخدام الذكاء الاصطناعي.
- السرعة: المزيد من الرموز يعني أن الذكاء الاصطناعي يستغرق وقتاً أطول في التفكير والرد.
- العدالة: إنها "ضريبة صامتة" على المتحدثين باللغات غير الإنجليزية.
الحل القديم: "التخمين والتحقق"
في السابق، عندما حاول الباحثون إصلاح ذلك، استخدموا طريقة تسمى "الاستدلال القائم على التكرار" (Frequency-Based Heuristics).
- التشبيه: تخيل أنك تضيف كلمات جديدة إلى فهرس المكتبة. تقول الطريقة القديمة: "لنضف الكلمات التي تظهر أكثر تكراراً في ملف نصي".
- العيب: هذا يشبه إضافة أكثر الحروف شيوعاً إلى الفهرس بدلاً من إضافة أكثر الكلمات فائدة. هذا يساعد قليلاً، لكنه ليس فعالاً للغاية، وغالباً ما يكسر منطق الفهرس، مما يجعل الأمور أبطأ أو أقل دقة.
النهج الجديد: "قراءة العقل"
يقترح المؤلفون طريقة أذكى تسمى "التوسيع القائم على القابلية للتفسير" (Interpretability-Based Expansion). فبدلاً من مجرد عد الكلمات، ينظرون إلى كيفية عمل عقل الذكاء الاصطناعي فعلياً.
اكتشفوا ظاهرة تسمى "إلغاء ترميز الكلمات الفرعية" (Subword Detokenization).
- التشبيه: على الرغم من أن الاسم "Layla" ليس موجوداً في فهرس الذكاء الاصطناعي الرسمي، إلا أنه عندما يرى الأجزاء "L-ay-la"، فإنه في الواقع يفهم الاسم الكامل في "عقله" (الطبقات الداخلية). إنه يعيد بناء المفهوم الكامل قبل أن ينتهي من الكلام حتى.
- أدرك الباحثون: "إذا كان الذكاء الاصطناعي يفهم بالفعل هذه القطع، فلماذا لا نعطيه بطاقة الكلمة الرسمية لها؟"
الابتكار: FragMend
تقدم الورقة البحثية طريقة جديدة تسمى FragMend (اختصار لـ FragMent Mend).
- ماذا تفعل: بدلاً من انتظار ظهور الكلمات الكاملة في بيانات التدريب، تبحث FragMend عن القصاصات (البوادئ، واللواحق، والأجزاء الوسطى من الكلمات) التي يفهمها الذكاء الاصطناعي بالفعل.
- كيف تعمل:
- تقوم بمسح "عملية التفكير" الداخلية للذكاء الاصطناعي لمعرفة أين يدمج القطع بنجاح لتكوين كُلٍ متكامل.
- تأخذ تلك اللحظات الناجحة وتقول: "حسناً، لقد وجدنا نمطاً. لنضف هذا النمط رسمياً إلى الفهرس".
- ثم تنشئ "مفتاحاً ذكياً" (تضمين/embedding) لهذه الكلمات الجديدة عن طريق نسخ فهم الذكاء الاصطناعي نفسه، بدلاً من التخمين عشوائياً.
النتائج: فوز للجميع
اختبرت الورقة البحثية هذه الطريقة على 14 لغة مختلفة، بما في ذلك اللغات ذات الموارد المنخفضة مثل الأوديا والبورمية.
- الكفاءة: قللت FragMend عدد الرموز المطلوبة بنسبة تصل إلى 30-40% لبعض اللغات. وهذا يعني أن المستخدمين يدفعون أقل ويحصلون على إجابات أسرع.
- الأداء: على عكس الطرق القديمة، التي كانت تجعل الذكاء الاصطناعي "أقل ذكاءً" أحياناً عند إضافة كلمات جديدة، حافظت FragMend على ذكاء الذكما الاصطناعي سليماً.
- التكلفة: بالنسبة لمتحدث لغة الأوديا، تم خفض "ضريبة الرمز" إلى النصف باستخدام كمية ضئيلة جداً من البيانات (1,000 جملة) ودون الحاجة لإعادة تدريب مكلفة للنموذج بأكمله.
الصورة الكبيرة
تخيل الذكاء الاصطناعي كطاهٍ يعرف فقط كيفية الطبخ باستخدام مجموعة محددة من المكونات (الكلمات الإنجليزية). إذا طلبت منه طهي طبق من ثقافة مختلفة، فسيتعين عليه تقطيع كل شيء إلى قطع صغيرة وغير فعالة لجعل الأمر يعمل.
تعلم هذه الورقة البحثية الطاهي كيفية التعرف على الطبق الكامل حتى لو لم يكن موجوداً في قائمته الرسمية. ومن خلال النظر في كيفية تفكيره بالفعل في المكونات، يمكنه إضافة وصفات "الطبق الكامل" المفقودة إلى القائمة. والنتيجة؟ يطبخ الطاهي بشكل أسرع، وأرخص، ويكون طعم الطعام جيداً تماماً.
باخت-صار: وجد المؤلفون طريقة لجعل الذكاء الاصطناعي أكثر عدلاً وأقل تكلفة لمتحدثي اللغات غير الإنجليزية، وذلك من خلال تعليمه التوقف عن تكسير اللغات إلى قطع صغيرة ومكلفة، والبدء في معاملتها كمفاهيم كاملة وذات معنى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.