LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents
إن LatentSkill هو إطار عمل يقوم بتحويل المهارات النصية إلى محولات LoRA جاهزة للاستخدام عبر شبكة فائقة مدربة مسبقاً، مما يمكّن وكلاء النماذج اللغوية الكبيرة (LLM agents) من تخزين إجراءات المهام القابلة لإعادة الاستخدام في مساحة الأوزان بدلاً من مساحة السياق، وهو ما يقلل بشكل كبير من عبء الرموز (tokens) مع تحسين الأداء وتمكين تكوين المهارات بشكل معياري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت النماذج اللغوية الكبيرة قادرة بشكل ملحوظ على التفكير في المشكلات المعقدة، حيث تعمل غالباً كوكلاء رقميين يمكنهم التخطيط والبحث والتفاعل مع البرمجيات لإتمام المهام. وللتعامل مع الوظائف المتخصصة، تعتمد هذه الوكلاء بشكل متكرر على "المهارات" — وهي في الأساس تعليمات أو إجراءات مكتوبة تخبر النموذج كيفية حل نوع معين من المشكلات، مثل تنظيم غرفة افتراضية أو الإجابة على سؤال متعدد الخطوات. تقليدياً، يتم تغذية هذه المهارات مباشرة في مدخلات النموذج في كل مرة يحتاج فيها إلى استخدامها، تماماً مثل قراءة صفحة من دليل إرشادات صفحة تلو الأخرى قبل اتخاذ إجراء ما. وبينما ينجح هذا الأسلوب، إلا أنه يخلق عنق زجاجة كبيراً: فكلما زاد تعقيد المهمة وكبرت مكتبة المهارات، زادت كمية النصوص التي يجب على النموذج معالجتها، مما يبطئ سرعته ويستهلك قدرات حوسبة هائلة. علاوة على ذلك، فإن إبقاء هذه التعليمات كنص مجرد في المدخلات يتركها مكشوفة وعرضة لسوء الفهم أو الاختطاف من قبل أجزاء أخرى من النظام.
اقترح باحثون من جامعة شانغهاي جياو تونغ ومعهد أوبو للأبحاث (OPPO Research Institute) نهجاً مختلفاً يسمى "LatentSkill"، والذي ينقل هذه التعليمات من مدخلات النص إلى بنية الذاكرة الداخلية للنموذج. فبدلاً من قراءة وصف المهارة في كل مرة، يستخدم النظام مولداً متخصصاً لتحويل نص المهارة إلى مجموعة مدمجة من التعديلات الداخلية، المعروفة باسم "المهايئات" (adapters)، والتي تُلحق بشكل دائم بـ "دماغ" النموذج. يتيح ذلك للوكيل أن "يعرف" المهارة دون الحاجة إلى قراءة التعليمات مرة أخرى. وقد وجد الفريق أن هذه الطريقة لا تسرع العملية فحسب وتقلل من كمية البيانات التي يحتاج النموذج للتعامل معها، بل تخلق أيضاً مساحة مخفية ومنظمة حيث يمكن خلط وتوفيق المهارات المختلفة بدقة رياضية.
الفكرة الجوهرية وراء هذا العمل هي التعامل مع المهارة ليس كوثيقة تُقرأ، بل كمجموعة من "الأوزان" التي يتم تحميلها. ففي إطار عملهم، يقوم "مترجم المهارات" (skill compiler) بأخذ وصف مكتوب لمهمة ما ويقوم فوراً بتوليد مجموعة فريدة من التعديلات الداخلية للنموذج اللغوي. هذه التعديلات صغيرة، وفعالة، ونمطية، مما يعني أنه يمكن إلحاقها أو فصلها عن النموذج الرئيسي دون إعادة تدريب النظام بأكل. وبمجرد تحويل المهارة إلى هذا التنسيق الداخلي، يتم التخلص من النص الأصلي من تدفق المدخلات. يعمل النموذج بعد ذلك باستخدام هذه التعديلات المخفية، والتي توجه سلوكه بنفس فعالية النص، ولكن دون التكلفة الباهظة لمعالجة آلاف الكلمات الإضافية لكل خطوة من خطوات المهمة.
لاختبار ذلك، طبق الباحثون نظامهم على تحديين متميزين: محاكاة قائمة على النصوص لروبوت يتنقل في منزل لإكمال أعمال منزلية، وسلسلة من مهام الإجابة على الأسئلة المعقدة التي تتطلب البحث عبر مصادر معلومات متعددة. في مهمة التنقل في المنزل، كان على النظام معرفة كيفية التقاط الأشياء، وتنظيفها، ووضعها في أماكن محددة. وفي مهمة الإجابة على الأسئلة، كان عليه إيجاد إجابات تتطلب ربط عدة قطع من المعلومات. وعند مقارنتها بالطريقة القياسية المتمثلة في لصق تعليمات المهارة في "المطالبة" (prompt)، أثبت النهج الجديد كفاءة أكبر بكثير. ففي مهام التنقل في المنزل، حسن النظام معدل نجاحه بأكثر من عشرين نقطة مئوية في المهام المألوفة، وبأكثر من ثلاث عشرة نقطة في المهام الجديدة غير المرئية، كل ذلك مع استخدام أقل من ثلثي عدد الرموز (tokens) المدخلة. وفي اختبارات الإجابة على الأسئلة، حقق دقة أعلى مع تقليل عدد الرموز المعالجة لكل خطوة بأكثر من سبعين بالمائة.
بعيداً عن مجرد توفير الوقت والموارد، اكتشف الباحثون أن هذه التعديلات المهارية الداخلية تمتلك قدراً مفاجئاً من الهيكلية. فعندما رسموا الخريطة الرياضية للمساحة التي تعيش فيها هذه المهارات، وجدوا أن المهارات التي تنتمي إلى نفس الفئة، مثل مهام التنظيف أو مهام البحث، تتجمع طبيعياً، مكونةً مجموعات متميزة. وهذا يشير إلى أن النظام لا يحفظ النص فحسب، بل يتعلم المنطق الكامن وراء الإجراءات. وتسمح هذه الهيكلية بدرجة عالية من التحكم؛ حيث وجد الباحثون أن بإمكانهم ضبط قوة المهارة ببساطة عن طريق تدوير "قرص" تمثله قيمة قياس (scaling number). فإذا كانت القيمة منخفضة جداً، لم يكن للمهارة أي تأثير؛ وإذا كانت عالية جداً، يصاب النموذج بالارتباك. ومع ذلك، عند الضبط الصحيح، كان النموذج يعمل بشكل مثالي، وظلت هذه "النقطة المثالية" ثابتة عبر أنواع مختلفة من المهام.
ولعل الاكتشاف الأكثر إثارة للاهتمام هو أن هذه المهارات الداخلية يمكن دمجها. فتماماً كما يمكن للمرء خلط المكونات لإعداد طبق جديد، أظهر الباحثون أنه يمكنهم أخذ التعديلات الداخلية لمهارتين مختلفتين وجمعهما معاً لإنشاء مهارة مركبة جديدة. ومع ذلك، لم ينجح هذا بشكل موثوق إلا عندما تم تفكيك المهارات إلى أصغر مكوناتها الأكثر توافقاً قبل خلطها. فإذا قاموا ببساطة بجمع كتل المهارات الكاملة معاً، كانت النتيجة غالباً أقل فعالية. ومن خلال محاذاة الأجزى بعناية، تمكنوا من إنشاء مهارة تؤدي تسلسلاً معقداً من الإجراءات دون فقدان القدرة على تنفيذ الخطوات الفردية. وهذا يشير إلى أن النظام يمكنه بناء سلوكيات معقدة عن طريق تجميع قطع معرفية نمطية بطريقة مرنة ودقيقة في آن واحد.
كما سلطت الدراسة الض الضوء على ميزة أمنية كبيرة. فبسبب تخزين المهارات كتعديلات داخلية بدلاً من نصوص مرئية، يصعب التلاعب بها. فعندما اختبر الباحثون النظام ضد محاولات اختطاف التعليمات أو استخراج المعرفة المخفية، صمدت الطريقة الجديدة بشكل ملحوظ. وبينما انهارت الطريقة التقليدية القائمة على النصوص أو كشفت أسرارها عند تعرضها للهجوم، حافظت نسخة المهارة الداخلية على أدائها وأبقت تعليماتها مخفية. ويشير هذا إلى أن نقل المهارات من "المطالبة" المرئية إلى أوزان النموذج الداخلية يوفر طريقة أكثر قوة وأماناً لتزويد الوكلاء الاصطناعيين بمعرفة متخصصة.
يخلص الباحثون إلى أن هذا النهج يقدم مساراً عملياً لبناء وكلاء ذكاء اصطناعي أكثر قدرة وكفاءة. فمن خلال نقل تخزين المعرفة الإجرائية من تدفق المدخلات إلى المعلمات الداخلية للنموذج، أثبتوا طريقة تجعل الوكلاء أسرع، وأكثر أماناً، وأفضل في دمج القدرات المختلفة. وتشير النتائج إلى أن مستقبل وكلاء الذكاء الاصطناعي قد لا يكمن في تغذيتهم بمزيد من النصوص، بل في تعليمهم حمل مهاراتهم داخلياً، جاهزة للنشر بمجرد ضغطة مفتاح غير مرئية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.