Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models
تقدم هذه الورقة PA-Tool، وهي طريقة لا تتطلب تدريبًا تعمل على تحسين دقة استخدام الأدوات في النماذج اللغوية الصغيرة من خلال تكييف مخططات الأدوات لتتطابق مع المعرفة المسبقة للنماذج، مما يقلل أخطاء عدم تطابق المخططات بنسبة تصل إلى 80% دون الحاجة إلى إعادة تدريب النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث "لا تُكيّف النماذج اللغوية الصغيرة لاستخدام الأدوات؛ بل كيّف مخططات الأدوات لتناسب النماذج" باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: توقف عن تعليم الكلب حِيلاً جديدة؛ غيّر المكافآت بدلاً من ذلك
تخيل أن لديك كلباً ذكياً جداً ومثقفاً (وهو النموذج اللغوي الصغير أو SLM). قضى هذا الكلب حياته بأكملها في قراءة ملايين الكتب، وتعلم كيفية تحدث البشر، وحفظ آلاف الكلمات. إنه يعرف معنى كلمة "نباح" و"عواء" بشكل مثالي.
الآن، تريد من هذا الكلب القيام بمهمة محددة: إحضار كرة معينة.
المشكلة:
وصف المهمة (مخطط الأداة أو Tool Schema) الذي تعطيه للكلب يقول: "اذهب وأحضر الـ Spherical-Red-Object-42."
ومع ذلك، فإن الكلب لم يسمع قط بـ "Spherical-Red-Object-42". هو يعرف "الكرة الحمراء" أو "اللعبة". ولأن الاسم الموجود في التعليمات لا يتطابق مع الأسماء التي تعلمها أثناء قراءة كتبه، فإنه يصاب بالارتباك. قد يخمن قائلاً: "ربما يقصدون أن 'Spherical-Red-Object-42' هي في الواقع 'عمود إنارة الشارع'؟" ثم ينطلق ليحضر عمود الإنارة. وهذا ما يسمى بـ الهلوسة (Hallucination).
يحاول معظم الباحثين حل هذه المشكلة عن طريق إعادة تدريب الكلب (الضبط الدقيق الخاضع للإشراف - Supervised Fine-Tuning) لجعله يحفظ أن "Spherical-Red-Object-42" هو الاسم الجديد للكرة. وهذا يستغرق الكثير من الوقت والطاقة والمال.
حل الورقة البحثية (PA-Tool):
بدلاً من إجبار الكلب على تعلم اسم غريب جديد، يقول المؤلفون: "دعونا فقط نغير الاسم الموجود على بطاقة التعليمات ليتناسب مع ما يعرفه الكلب بالفعل."
لقد أعدنا تسمية "Spherical-Red-Object-42" لتصبح "الكرة الحمراء" (Red Ball). الآن، يفهم الكلب الأمر فوراً، ويركض ويحضر الشيء الصحيح. لا حاجة لإعادة التدريب.
كيف يعمل الأمر: "كاشف الألفة"
تقدم الورقة طريقة تسمى PA-Tool (توليد مخطط الأداة المتوافق مع مرحلة ما قبل التدريب). إليك كيف تعمل، خطوة بخطوة، باستخدام استعارة:
1. "اختبار الحشد" (توليد المرشحين)
تخيل أنك تسأل الكلب: "ماذا تسمي الأداة التي تتحقق من حالة الطقس؟"
تسأله 32 مرة، مع تغيير نبرة صوتك قليلاً في كل مرة (مثل سؤال أصدقاء مختلفين).
- قد يقول الكلب: "WeatherCheck"، "GetWeather"، "SkyScan"، "WeatherInfo"، "CheckWeather".
2. "كاشف التكتل" (القمة أو التركيز - Peakedness)
هذا هو الجزء الذكي. ينظر الباحثون إلى قائمة الإجابات.
- إذا قال الكلب "WeatherCheck" 5 مرات، و"SkyScan" مرة واحدة، فهذا مجرد حساب للتكرار.
- لكن PA-Tool يبحث عن التكتلات. هو يسأل: "كم عدد هذه الإجابات المتشابهة جداً مع بعضها البعض؟"
- "WeatherCheck"، و"CheckWeather"، و"Weather-Check"؛ جميعها قريبة جداً من بعضها البعض. إنها تشكل تكتلاً.
- "SkyScan" بعيدة عن البقية.
تسمي الورقة هذا "القمة" (Peakedness). إذا استمر الكلب في توليد أسماء متشابهة جداً مع بعضها البعض، فهذا يعني أنه يألف هذا المفهوم من مرحلة تدريبه. إنها إشارة تقول: "مهلاً، لقد رأيت هذا النمط مليون مرة في كتبي!"
3. "تبديل الاسم" (اختيار المخطط)
يختار PA-Tool الاسم من أكبر وأضيق تكتل.
- الاسم الأصلي للأداة:
get_weather_info(الكلب لا يعرف هذا الاسم). - اسم PA-Tool الجديد:
get_weather_forecast(الكلب يتعرف على هذا النمط فوراً).
يقوم النظام بعد ذلك باستبدال الاسم في بطاقة التعليمات. يرى الكلب الاسم المألوف، يشعر بالثقة، وينفذ المهمة بنجاح.
لماذا يهم هذا الأمر؟
1. إنه مجاني وسريع
عادةً، لجعل نموذج ذكاء اصطناي صغير أفضل في استخدام الأدوات، يجب عليك إجراء "ضبط دقيق" (Fine-tuning). هذا يشبه إرسال الكلب إلى معسكر تدريبي مكلف يستمر لأشهر. أما PA-Tool فهو مثل إعادة كتابة دليل التعليمات فقط. يستغرق ثوانٍ معدودة، ولا يكلف شيئاً، ولا يتطلب أي إعادة تدريب.
2. يعالج مشكلة "الاسم المزيف"
غالباً ما تفشل النماذج الصغيرة لأنها تخترع أسماء أدوات تبدو حقيقية ولكنها غير موجودة. من خلال مواءمة الأسماء مع ما يعرفه النموذج بالفعل، يمنع PA-Tool النموذج من التخمين. وفي الاختبارات، قلل هذا من أخطاء "الأسماء المزيفة" بنسبة 80%.
3. يعمل للجميع
اختبرت الورقة هذه الطريقة على العديد من النماذج الصغيرة المختلفة (مثل Llama وQwen). وقد نجحت مع معظمها، مما رفع معدلات نجاحها بنسبة تصل إلى 17%. والأفضل من ذلك، أنها تعمل جنباً إلى جنب مع طرق أخرى. يمكنك إعادة تدريب النموذج واستخدام PA-Tool معاً، وستكون النتائج أفضل.
اللمسة البشرية
قد تقلق قائلاً: "إذا غيرنا الأسماء لتناسب الذكاء الاصطناعي، فهل سيفهمها البشر؟"
سأل الباحثون مطوري البرامج البشريين للتحقق من الأسماء الجديدة. ومن المثير للدهشة أن البشر أحبوها أيضاً!
- الاسم القديم:
Figlet(اسم خاص بالعلامة التجارية، ومربك). - الاسم الجديد:
ascii_converter(واضح، وصفي، وهو ما أراد الذكاء الاصطناعي تسميته بشكل طبيعي).
لقما أن الأسماء التي "يتذكرها" الذكاء الاصطناعي من بيانات تدريبه هي غالباً الأسماء الأكثر منطقية ووضوحاً للبشر أيضاً.
الملخص
فكر في PA-Tool كمترجم لا يعلم الذكاء الاصطناعي لغة جديدة، بل يترجم تعليمات الأداة إلى اللغة التي يتحدثها الذكاء الاصطناعي بطلاقة بالفعل.
- الطريقة القديمة: إجبار الذكاء الاصطناعي على حفظ قاموس من أسماء الأدوات الجديدة والغريبة.
- طريقة PA-Tool: تغيير أسماء الأدوات لتتطابق مع القاموس الموجود بالفعل في رأس الذكاء الاصطناعي.
هذا يسمح للنماذج اللغوية الصغيرة والكفؤة بالعمل مثل النماذج الكبيرة والقوية دون الحاجة إلى إعادة تدريب مكلفة. إنها حيلة بسيطة وذكية تسد الفجوة بين ما يعرفه الذكاء الاصطناعي وما تسمى به الأدوات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.