TokMem: One-Token Procedural Memory for Large Language Models
يقدم TokMem إطار عمل للذاكرة الإجرائية يقوم بتجميع إجراءات المهام القابلة لإعادة الاستخدام في رموز (tokens) قابلة للتدريب واحدة لتوجيه توليد النماذج اللغوية الكبيرة بتكلفة إضافية ثابتة، مما يتيح الإضافة المستمرة لسلوكيات جديدة مع التفوق على التلقين المعزز بالاسترجاع ومضاهاة الضبط الدقيق كفء المعلمات بعدد أقل من المعلمات.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً وعبقرياً وواسع الاطلاع (وهو النموذج اللغوي الكبير، أو LLM)، يعرف الكثير من الحقائق العامة ولكنه لا يعرف عاداتك الخاصة أو كيفية القيام بمهامك المنزلية المحددة.
حالياً، إذا أردت من هذا المساعد القيام بمهمة محددة — مثل "اكتب قائمة تسوق لعشاء صحي بناءً على نظامي الغذائي" — عليك كتابة مجموعة تعليمات مفصلة وطويلة في كل مرة تطلب فيها ذلك. قد تقول: "إليك نظامي الغذائي: خالي من الغلوتين، ومنخفض الكربوهيدرات. إليك التنسيق الذي أريده: جدول بأعمدة للمادة والوزن. يرجى البحث عن التوفو، والبروكلي، والأرز..."
هذا يشبه إعطاء مساعدك كتيب تعليمات مكون من 10 صفحات في كل مرة تطلب فيها كوباً من الماء. إنه أمر بطيء، ويستهلك مساحة كبيرة من ذاكرته قصيرة المدى، وإذا كان لديك 1,000 مهمة مختلفة، فستحتاج إلى مكتبة من كتيبات التعليمات لمجرد البدء.
TokMem (الذاكرة الإجرائية ذات الرمز الواحد) هي طريقة جديدة لتعليم هذا المساعد. بدلاً من إعطائه كتيب تعليمات مكون من 10 صفحات في كل مرة تطلب فيها شيئاً، أنت تعلمه كلمة سحرية واحدة (رمز أو Token) تمثل المهمة بأكملها.
إليك كيف يعمل الأمر، مقسماً بتبسيط عبر التشبيهات:
1. "الكلمة السحرية" مقابل "كتيب التعليمات"
- الطريقة القديمة (المطالبات - Prompts): تخيل أنك تريد خبز كعكة. في كل مرة تريد فيها كعكة، عليك قراءة الوصفة كاملة للخباز، كلمة بكلمة. إذا أردت خبز كعكة ثم تنظيف المطبخ، فعليك قراءة وصفة الكعكة، ثم تعليمات التنظيف، ثم وصفة الكعكة مرة أخرى إذا كنت بحاجة للتحقق من شيء ما. إنه أمر مرهق وبطيء.
- طريقة TokMem: أنت تعلم الخباز كلمة سحرية واحدة، مثل "إجراء-الكعكة" (CAKE-PROCEDURE). بمجرد أن يتعلم هذه الكلمة، يعرف بالضبط ما يجب فعله: اخلط المكونات، اخبز، برد، ثم قدم الطبق. أنت فقط تقول "إجراء-الكعكة"، وهو يقوم بالمهمة بأكملها فوراً. لا حاجة لتعليمات طويلة.
2. "خزانة الملفات" (بنك الذاكرة)
في نظام TokMem، يمتلك النموذج خزانة ملفات خاصة (تسمى بنك الذاكرة).
- كل ملف في الخزانة هو مجرد ملصق صغير وغير مرئي (رمز/Token).
- قد يكون أحد الملصقات هو "تحليل-النظام-الغذائي".
- والآخر قد يكون "البحث-عن-الطعام".
- والآخر قد يكون "تنسيق-المخرجات".
عندما تطرح سؤالاً، لا يقرأ النموذج نصاً طويلاً. بل ينظر إلى سؤالك، ويختار "الكلمة السحرية" المناسبة من الخزانة، ويعرف فوراً ما يجب فعله.
3. خدعة "التسلسل" (للقيام بأشياء معقدة)
ماذا لو كنت بحاجة للقيام بمهمة معقدة، مثل "تخطيط رحلة"؟
- الطريقة القديمة: تكتب مطالبة ضخمة تحتوي على 50 خطوة.
- طريقة TokMem: يختار النموذج تسلسلاً من الكلمات السحرية:
- يختار "إيجاد-رحلة".
- ثم "التحقق-من-الفندق".
- ثم "حجز-سيارة".
الأمر يشبه قائد الأوركسترا الذي يلوح بعصاه. بدلاً من كتابة السيمفونية بأكملها، يشير القائد فقط إلى "الكمان"، ثم "الآلات النحاسية"، ثم "الطبول"، وتلعب الأوركسترا الموسيقى بدقة وبالترتيب. يقوم النموذج بربط هذه الرموز الصغيرة معاً لبناء سلوكيات معقدة دون الحاجة إلى مطالبة ضخمة.
4. لماذا يعد هذا أمراً عظيماً
تسلط الورقة البحثية الضوء على ثلاث قدرات خارقة لـ TokMem:
لا ينسى أبداً (الملاحظة اللاصقة):
عادةً، إذا علمت الكمبيوتر حيلة جديدة، فقد ينسى حيلة قديمة (وهذا ما يسمى "النسيان الكارثي"). TokMem يشبه إضافة ملاحظة لاصقة جديدة إلى لوحة المهام دون مسح الملاحظات القديمة. ولأن "الكلمات السحرية" تُخزن بشكل منفصل عن دماغ النموذج الرئيسي، يمكنك إضافة 1,000 مهارة جديدة دون العبث بالـ 1,000 مهارة التي يعرفها بالفعل.سريع جداً وخفيف:
قراءة كتيب تعليمات من 10 صفحات تستغرق وقتاً وطاقة. قراءة كلمة واحدة تستغرق جزءاً من الثانية. ولأن TokMem يستبدل النص الطويل برمز واحد، فإن الكمبيوتر لا يحتاج للقيام بالكثير من العمليات الحسابية (الانتباه التربيعي - quadratic attention) لمعالجة طلبك. إنه الفرق بين قراءة رواية للعثور على رقم هاتف مقابل مجرد الاتصال باسم جهة اتصال.أقل تكلفة في التدريب:
لتعليم نموذج مهارة جديدة باستخدام الطريقة القديمة، غالباً ما يتعين عليك إعادة تدريب النموذج بالكامل (مثل إعادة تعليم الدماغ بأكمله). أما TokMem فيقوم بتدريب "الكلمة السحرية" الصغيرة نفسها فقط. إنه يشبه تعليم حركة رقص جديدة عبر تدريب قدمي الراقص فقط، وليس جسده بالكامل. فهو يستخدم موارد حوسبة أقل بـ 10 إلى 100 مرة.
الخلا الخلاصة
يحول TokMem "التعليمات الطويلة والفوضوية" للذكاء الاصطناعي إلى مكتبة مدمجة وفعالة من الاختصارات.
بدلاً من أن تطلب من الذكاء الاصطناعي "قراءة القواعد" في كل مرة تريد فيها إنجاز شيء ما، أنت تعطيه مفتاحاً. هذا المفتاح يفتح السلوك المحدد الذي تحتاجه، فوراً، دون إبطاء أو نسيان ما تعلمه بالأمس. إنه الفرق بين حمل مكتبة في حقيبة ظهرك وبين حمل مفتاح واحد يفتح باب المكتبة كلما احتجت إليه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.