Token-Native Storage: Read and Write in your Agent's Language
تدافع هذه الورقة عن مفهوم "التخزين الأصيل للرموز" (token-native storage)، وهو نموذج يتم فيه تخزين النصوص مباشرة كمعرفات رموز (BPE token IDs) بدلاً من أحرف UTF-8، محاججةً بأن هذا النهج يقلل بشكل كبير من حجم التخزين ويسرع عمليات القراءة والكتابة للوكلاء الذكيين عبر إلغاء الحاجة إلى الترجمة وإعادة الترميز المتكررة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لغة الآلات مقابل لغة البشر
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يقرأ مكتبة. الكتب مكتوبة بلغة بشرية، باستخدام حروف وكلمات يمكننا رؤيتها وفهمها. لكن الروبوت لا "يرى" الحروف؛ بل يرى أرقاماً. بالنسبة للروبوت، كلمة "cat" ليست كلمة على الإطلاق؛ إنها رمز محدد، مثل رقم تعريف سري. هكذا تعمل الذكاء الاصطناعي الحديث: فهو يعالج النصوص عن طريق تقسيمها إلى قطع صغيرة تسمى "tokens" (وحدات رمزية) وتخصيص رقم فريد لكل قطعة.
لعقود من الزمن، قامت الحواسيب بتخزين النصوص بالطريقة التي نكتب بها نحن البشر: كسلاسل من الحروف (مثل UTF-8). هذا أمر رائع بالنسبة لنا، لكنه ثقيل نوعاً ما بالنسبة للروبوتات. في كل مرة يريد فيها الروبوت قراءة كتاب من المكتبة، يتعين عليه ترجمة الحروف البشرية إلى أرقامه السرية الخاصة، والقيام بعمله، ثم ترجمة الأرقام مرة أخرى إلى حروف ليظهر لنا الإجابة. عملية الترجمة هذه تستغمة وقتاً ومساحة، تماماً مثل الاضطرار لترجمة كتاب إلى لغة أجنبية في كل مرة تريد فيها قراءة صفحة واحدة فقط. ومع بدء الروبوتات في القيام بمزيد من القراءة والكتابة في عالمنا الرقمي، أصبح هذا الترجمة المستمرة بمثابة عنق زجاجة، مما يؤدي إلى إبطاء العمل واستهلاك مساحة إضافية.
الفكرة الكبرى للورقة البحثية: توقف عن الترجمة، وابدأ بالتحدث بـ "لغة الروبوت"
هذه الورقة البحثية، التي تحمل عنوان "التخزين الأصيل للرموز" (Token-Native Storage)، تجادل بأنه يجب علينا التوقف عن إجبار الروبوتات على ترجمة النص البشري في كل مرة تصل فيها إلى قاعدة بيانات. بدلاً من ذلك، يقترح المؤلف أنه يجب تخزين النص تماماً كما يراه الروبوت: كقائمة من أرقام الرموز (tokens). وقد أطلقوا على ذلك اسم "التخزين الأصيل للرموز".
فكر في الأمر على هذا النحو: حالياً، المكتبات الرقمية لدينا تشبه متحفاً حيث يتم لف كل لوحة بملصق حماية قابل للقراءة من قبل البشر. لإظهار اللوحة لروبوت، يتعين علينا فك اللف، وترجمة الملصق إلى كود الروبوت، وترك الروبوت ينظر إليها، ثم إعادة لفها. يقترح المؤلف نوعاً جديداً من المتاحف حيث تكون اللوحات معلقة بالفعل بلغة الروبوت الأصلية. عندما يدخل الروبوت، يمكنه النظر إلى الفن فوراً دون أي لف أو ترجمة.
ما وجدوه:
اختبر الباحث هذه الفكرة ووجد أن تخزين النص كأرقام رموز ليس أسرع فحسب، بل يشغل أيضاً مساحة أقل من تخزينه كحروف.
- السرعة: عندما يقرأ الروبوت من هذا النوع الجديد من التخزين، فإنه يتخطى خطوة الترجمة تماماً. وقد قاست الورقة هذا بأنه أسرع بنحو 10 إلى 600 مرة من الطريقة القديمة، اعتماداً على المهمة. إنه الفرق بين انتظار المترجم لينهي جملة وبين سماع الفكرة مباشرة.
- المساحة: لأن أرقام الرموز هي أعداد صحيحة صغيرة (مثل 1، 2، 3) وليست سلاسل طويلة من الحروف، فهي بطبيعتها أكثر إحكاماً. حتى بدون استخدام أي حيل ضغط متطورة، فإن مجرد حزم هذه الأرقام معاً يوفر مساحة. في النصوص الإنجليزية، كان هذا الحزم الخام وحده أصغر بمقدار 2.25 مرة من تخزين النصوص القياسي. وعندما أضافوا حيلة ضغط بسيطة (إعادة ترتيب الأرقام بحيث تكون الأكثر شيوعاً هي الأصغر)، تمكنوا من تقليص البيانات بشكل أكبر، لتصل إلى 3.30 مرة أصغر من النصوص القياسية.
ما يجادلون ضده:
تجادل الورقة صراحة ضد المعيار الحالي المتمثل في تخزين النصوص كحروف قابلة للقراءة البشرية (UTF-8) للأنظمة التي تكون فيها الروبوتات هي القارئ والكاتب الأساسي. ويشيرون إلى أن الاحتفاظ بالنص بتنسيق بشري يجبر النظام على دفع "ضريبة ترجمة" في كل عملية قراءة وكتابة. كما يجادلون ضد فكرة أننا بحاجة إلى خوارزميات ضغط معقدة وثقيلة لتوفير المساحة؛ فقد وجدوا أن مجرد تغيير كيفية ترتيب أرقام الرموز (حسب التكرار بدلاً من وقت اكتشافها) يسمح بفك تشفير سريع جداً دون الحاجة إلى أدوات فك ضغط بطيئة ومعقدة.
مدى تأكدهم؟
المؤلف واثق جداً من قياساته. لم يكتفوا بالتخمين؛ بل أجروا اختبارات على بيانات واقعية، بما في ذلك مقالات إنجليزية، وأكواد برمجية، ونص هندي. وقارنوا طريقتهم الجديدة بأفضل أدوات الضغط الموجودة (مثل zstd و gzip) ووجدوا أن نهج التخزين الأصيل للرموز الخاص بهم يتفوق باستمرار أو يضاهيهم في كل من السرعة والحجم. لقد قاسوا الوقت المستغرق لقراءة وكتابة البيانات بالميكروثانية (جزء من مليون من الثانية)، مما يظهر أن الفرق في السرعة حقيقي وهام.
حيلة "ترتيب التكرار"
أحد الأجزاء الأكثر ذكاءً في الورقة هو اقتراح لكيفية تنظيم مختبرات الذكاء الاصطناعي لقوائم الرموز الخاصة بها. حالياً، يتم تخصيص أرقام الرموز بشكل عشوائي نوعاً ما بناءً على وقت اكتشافها من قبل الذكاء الاصطناعي أثناء التدريب. وجد المؤلف أنه إذا قمت ببساطة بإعادة ترتيب هذه الأرقام بحيث تحصل الكلمات الأكثر شيوعاً على أصغر الأرقام (مثل 1، 2، 3) والكلمات النادرة على أرقام أكبر، يمكنك ضغط البيانات بشكل أفضل بكثير.
يسمون هذه الطريقة "+freq". إنها تشبه تنظيم خزانة ملابس: إذا وضعت ملابسك الأكثر ارتداءً على الرفوف الأسهل وصولاً (الأرقام الصغيرة)، فإنك توفر الوقت والمساحة. من خلال القيام بذلك، استطاعوا الحصول على جميع فوائد الضغط المعقد ولكن بسرعة فك تشفير أسرع بـ 7 مرات. إنهم يطلبون من شركات الذكاء الاصطناعي نشر قوائم الرموز الخاصة بها بهذا "الترتيب التكراري" لكي يستفيد الجميع من دفعة السرعة المجانية هذه.
العقبة: التحدث باللغة نفسها
تعترف الورقة بأن هناك عقبة كبيرة واحدة. لكي يعمل هذا النظام بشكل مثالي، يحتاج كل روبوت في النظام إلى التحدث بنفس "لغة الرموز" (استخدام نفس المفردات). في الوقت الحالي، غالباً ما تستخدم نماذج الذكاء الاصطنا المختلفة قواميس مختلفة. إذا كان أحد الروبوتات يستخدم قاموساً حيث كلمة "cat" هي الرقم 500، وروبوت آخر يستخدم قاموساً حيث "cat" هي الرقم 12، فلا يمكنهما مشاركة التخزين بسهولة.
يقترح المؤلف أن الحل هو التوحيد القياسي، على غرار اتفاقنا جميعاً على استخدام نفس الأبجدية (ASCII) أو نفس ترميز الحروف (UTF-8) للنصوص البشرية. إذا اتفق عالم الذكاء الاصطناعي على "أبجدية رموز" مشتركة، فإن هذا التخزين الأصيل للرموز يمكن أن يصبح المعيار الجديد، مما يجعل بنيتنا التحتية الرقمية أسرع وأرخص للروبوتات التي تديرها.
باختصار، تقترح الورقة أنه مع تولي الروبوتات المزيد من مهام القراءة والكتابة الرقمية، يجب علينا التوقف عن تخزين بياناتهم بتنسيق بشري والبدء في تخزينها بالتنسيق الذي وُلدوا ليقرأوه. إنه تغيير صغير في كيفية حفظ الملفات، لكنه قد يوفر كمية هائلة من الوقت والمال في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.