Efficient numeracy in language models through single-token number embeddings
تقدم هذه الورقة BitTokens، وهي استراتيجية ترميز جديدة تعتمد على الرمز الواحد (single-token) مبنية على تمثيل IEEE 754 للنقطة العائمة الثنائية، تُمكّن النماذج اللغوية من تعلم الخوارزميات الحسابية بشكل مثالي تقريبًا وحل المسائل العددية المعقدة بكفاءة أكبر من الطرق الحالية التي تعتمد على تقسيم الأرقام إلى رموز متعددة أو الأدوات الخارجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ذكي جداً، ولكنه أخرق قليلاً، كيف يقوم بالرياضيات. هذا الروبوت هو نموذج لغوي كبير (LLM). حالياً، عندما تطلب منه ضرب رقمين كبيرين، فهو لا "يعرف" الإجابة ببساطة. بدلاً من ذلك، يحاول استنتاجها عن طريق التحدث إلى نفسه، وكتابة تعليمات خطوة بخطوة، والتحقق من عمله مراراً وتكراراً.
تجادل الورقة البحثية بأن طريقة "التحدث إلى النفس" هذه هي عملية هدر مفرط. الأمر يشبه أن تطلب من شخص حساب عبر كتابة مقال من 10 صفحات يشرح فيه كل خطوة، فقط للوصول إلى رقم بسيط في النهاية. يستهلك الروبوت كمية هائلة من "مساحة الدماغ" (الرموز/tokens) لمجرد إجراء عمليات حسابية بسيطة، مما لا يترك له مجالاً لحل المسائل الأكثر صعوبة.
المشكلة: فخ "كلمة بكلمة"
في الوقت الحالي، تعامل هذه الروبوتات الأرقام بنفس الطريقة التي تعامل بها الكلمات. إذا كتبت "4,080,000"، فإن الروبوت يراها كسلسلة طويلة من القطع المنفصلة (الرموز/tokens)، مثل قراءة كتاب حرفاً بحرف.
- التشبيه: تخيل محاولة القيام بالرياضيات عبر قراءة الرقم "123" كأنه ثلاثة أحرف منفصلة: "1" و"2" و"3". لجمعهم، عليك معالجة كل حرف على حدة، ونقل "الواحد" من خانة العشرات، وهكذا. إنها عملية بطيئة، ثقيلة، وعرضة للأخطاء.
بسبب هذا، يضطر الروبوت لتوليد آلاف الكلمات من "الاستنتاج" لمجرد حل مسألة ضرب بسيطة.
الحل: "بطاقة الهوية السحرية" (BitTokens)
يقترح المؤلفون طريقة جديدة لتعليم الروبوت الأرقام، تسمى BitTokens.
بدلاً من تفكيك الرقم إلى قطع، تمنح الـ BitTokens كل رقم بطاقة هوية فريدة وموحدة.
- التشبيه: فكر في الرقم ليس كجملة يجب قراءتها، بل كلون محدد في لوحة ألوان. بدلاً من وصف اللون "الأحمر" بقولك "إنه مزيج من الأزرق والأصفر"، أنت فقط تقدم للروبوت بطاقة واحدة تمثل "الأحمر".
- كيف يعمل: يستخدمون الطريقة القياسية للحواسيب في تخزين الأرقام (المعروفة باسم IEEE 754، وهي بمثابة مخطط عالمي لكيفية تخزين الحواسيب للأرقام العشرية). يقومون بتحويل هذا المخطط إلى رمز واحد (كلمة واحدة للروبوت).
- النتيجة: عندما يرى الروبوت الرقم 4,080,000، فإنه لا يراه كسلسلة طويلة من الأرقام. بل يراه رمزاً واحداً يخبره فوراً بكل ما يحتاج لمعرفته عن هذا الرقم: حجمه، دقته، وإشارته.
لماذا يعد هذا أمراً هاماً؟
اختبرت الورقة هذا الأسلوب على نماذج روبوت صغيرة (لإبقاء الأمور بسيطة ومسيطر عليها). وإليكم ما وجدوه:
- السرعة والكفاءة: باستخدام BitTokens، لم يحتج الروبوت لكتابة مقال من 10 صفحات للقيام بالرياضيات. استطاع حل عمليات الجمع والضرب والقسمة الأساسية بشكل مثالي تقريباً في خطوة واحدة.
- خوارزميات التعلم: لأن الأرقام مشفرة بطريقة هيكلية ومنطقية (باستخدام البتات الثنائية/binary bits، تماماً مثل الرقائق الحاسوبية)، استطاع الروبوت بالفعل "تعلم" قواعد الرياضيات. الأمر يشبه تعليم طفل العد عبر إعطائه مكعباً واحداً يمثل الرقم "5" بدلاً من جعله يعد خمس حصوات فردية في كل مرة.
- المقايضة: تشير الورقة إلى أنه بالنسبة للمسائل المعقدة للغاية ومتعددة الخطوات (مثل حساب الانحراف المعياري لقائمة ضخمة من الأرقام)، لا تزال الطريقة ذات الرمز الواحد محدودة بمدى عمق "تفكير" الروبوت في المرة الواحدة. ومع ذلك، بالنسبة للحسابات القياسية، كانت متفوقة بشكل كبير على الطرق القديمة.
ما لا تدعيه الورقة البحثية
من المهم الالتزام بما قاله المؤلفون فعلياً:
- هم لم يقولوا إن هذا سيصلح فوراً التشخيصات الطبية أو الاستشارات المالية.
- هم لم يدعوا أن هذا يعمل على أكبر النماذج وأكثرها تكلفة في العالم بعد (لقد اختبروه على نماذج "نانو" صغيرة).
- هم لم يقولوا إنه يجب علينا التوقف عن استخدام الاستنتاج تماماً. بل يقترحون أنه من خلال جعل الرياضيات الأساسية فعالة، سيكون لدى الروبوت مساحة دماغية أكبر لاستخدام الاستنتاج في المسائل الأكثر صعوبة حقاً.
الخلاصة
تقدم الورقة البحثية "لغة" جديدة للأرقام تسمح لنماذج الذكاء الاصطناعي بالتوقف عن التعثر في الرياضيات الأساسية. من خلال منح الأرقام "بطاقة هوية" واحدة وفعالة بدلاً من وصف طويل وفوضوي، يمكن لهذه النماذج الحساب بشكل أسرع، وبدقة أكبر، وبجهد أقل هدراً. إنه تحديث جوهري لكيفية "رؤية" الذكاء الاصطناعي لعالم الأرقام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.