Joint Optimization of Tool Creation and Use for Large Language Model Agents

لطالما اعتمد التقدم البشري على الأدوات التي نبنيها. فبدلاً من حل كل مشكلة جديدة من الصفر، نعتمد على أدوات صُقلت عبر الأجيال، من الرافعة البسيطة إلى البرمجيات المعقدة التي تدير عالمنا الحديث. وتواجه النماذج اللغوية الكبيرة، وهي البرامج الحاسوبية المتقدمة القادرة على فهم وتوليد اللغة البشرية، عجزاً مماثلاً؛ فبينما تمتلك كميات هائلة من المعلومات المخزنة في ذاكرتها الداخلية، فإنها تعاني في المهام التي تتطلب حسابات دقيقة، أو الوصول إلى حقائق محدثة، أو منطقاً استدلالياً موثوقاً. وللتغلب على ذلك، علم الباحثون هذه النماذج كيفية استخدام أدوات خارجية، مثل الآلات الحاسبة أو محركات البحث، تماماً كما قد يلجأ الإنسان إلى آلة حاسبة لحل مسألة رياضية صعبة. ومع ذلك، تظل الأنظمة الحالية محدودة لأنها لا تستطيع استخدام سوى الأدوات التي كتبها البشر ووفرها بالفعل؛ فإذا لم يقم إنسان ببناء أداة محددة لمهمة جديدة، يظل النموذج عالقاً.

لقد أثار هذا القصور تحولاً نحو نهج أكثر ديناميكية: تعليم النماذج كيفية ابتكار أدواتها الخاصة عند الطلب. وتتمثل الفكرة في أن ينظر النموذج إلى المشكلة، ثم يكتب قطعة صغيرة من الكود البرمجي لحلها، ومن ثم يستخدم هذا الكود للوصول إلى الإجابة. ومع ذلك، فإن الطرق الحالية للقيام بذلك تشوبها ثغرة جوهرية؛ فهي تعتمد عادةً على نموذج قوي ومكلف لكتابة الأداة، ونموذج أضعف لاستخدامها. وبما أن النموذج الذي يكتب الأداة لا يتعين عليه استخدامها بنفسه أبداً، فليس لديه حافز لكتابة أدوات تكون واضحة أو موثوقة أو سهلة الاستدعاء في الواقع. الأمر يشبه نجاراً يصنع مطرقة لكنه لا يضطر أبداً لتأرجحها؛ فقد يصنع مقبضاً شديد الانزلاق أو رأساً ثقيلاً جداً، ببساطة لأنه لا يشعر بعواقب التصميم السيئ.

قدم فريق من الباحثين إطار عمل جديد يسمى "SMITH" لحل هذا الانفصال. ويكمن الابتكار الجوهري في طريقة تدريب تجبر نموذجاً واحداً على القيام بدور صانع الأداة ومستخدمها في آن واحد. في هذا النظام، يُعطى النموذج مجموعة من الأمثلة لمشكلات ويُطلب منه كتابة أداة، والتي تتكون من قطعة من الكود البرمجي ووصف واضح لكيفية استخدامها. وفور ذلك، يجب على النموذج نفسه محاولة استخدام تلك الأداة ذاتها لحل مشكلة مختلفة وغير مرئية مسبقاً. فإذا كان الوصف مربكاً أو كان الكود معطلاً، يفشل النموذج في حل المشكلة ويتلقى إشارة واضحة بأنه بحاجة إلى التحسين. وهذا يخلق حلقة تغذية راجعة مباشرة حيث يتعلم النموذج أن جودة الأداة ترتبط بمدى قدرته على استخدامها بنفسه.

اختبر الباحثون هذا النهج باستخدام نموذج يحتوي على أربعة مليارات معلمة (parameter)، وهو حجم صغير نسبياً مقارنة بالنماذج الضخمة المستخدمة غالباً في هذا المجال. وقد دربوه على ثلاثة عشر نوعاً مختلفاً من مهام الاستدلال، بدءاً من الألغاز الحسابية وصولاً إلى الألعاب المنطقية. وكانت النتائج مذهلة؛ فقد حقق النموذج المدرب مستوى عالياً من الدقة في مشكلات لم يسبق له رؤيتها، متفوقاً على الطرق التي تعتمد على تعليمات معقدة من تصميم البشر أو حتى على نماذج أكبر يتم توجيهها ببساطة لكتابة الأدوات لحظة الاستخدام. وفي الواقع، تفوق النموذج الصغير المدرب بهذه الطريقة على نموذج غير مدرب يبلغ حجمه ثلاثين مليار معلمة عندما يتعلق الأمر بابتكار أدوات لمهام جديدة. وهذا يشير إلى أن القدرة على تعلم كيفية بناء واستخدام الأدوات أهم من مجرد امتلاك كمية أكبر من الذاكرة الخام.

ولعل الاكتشاف الأكثر إثارة للدهشة هو مدى جودة انتقال هذه الأدوات المصنوعة ذاتياً إلى نماذج أخرى. فقد تمكنت الأدوات التي كتبها النموذج الصغير المدرب من مساعدة نموذج أصغر بكثير يمتلك 350 مليون معلمة فقط ليؤدي بمستوى يضاهي نموذجاً أكبر بكثير غير مدرب. وعلى العكس من ذلك، عندما أُعطيت الأدوات التي كتبها النموذج الصغير لنموذج ضخم جداً لاستخدامها، كان أداء النموذج الكبير أفضل مما كان عليه عندما يحاول كتابة أدواته الخاصة. وهذا يشير إلى أن الأدوات التي ابتكرها إطار عمل "SMITH" هي أدوات عالية الجودة وقابلة لإعادة الاستخدام حقاً، وليست مجرد حيل تعمل لنموذج واحد بعينه. لقد كانت الأدوات فعالة للغاية لدرجة أنها حسنت الأداء في أنواع جديدة تماماً من المشكلات، مثل تفسير الجداول المعقدة أو الإجابة عن أسئلة تتعلق بالصور، رغم أن النموذج لم يتدرب قط على بيانات تتضمن جداول أو صوراً.

كما كشفت الدراسة عن أهمية كيفية هيكلة عملية التعلم. فقد وجد الباحثون أن مجرد طلب كتابة الكود من النموذج ليس كافياً؛ بل يجب أيضاً تقييم النموذج بناءً على ما إذا كان وصف الأداة يتطابق مع الكود وما إذا كانت الأداة تعمل بالفعل عند استدعائها. ومن خلال فصل هذه الجوانب المختلفة للجودة ومكافأة النموذج على إتقان كل منها، يتجنب النظام العثرات الشائعة حيث قد يكتب النموذج كوداً يبدو جيداً ولكنه لا يمكن استخدامه، أو يكتب وصفاً واضحاً ولكنه لا يتطابق مع الكود. هذا التوازن الدقيق سمح للنموذج بتعلم مهارة قوية: القدرة على إنشاء أداة تكون صحيحة وقابلة للاستخدام في آن واحد.

في النهاية، يوضح هذا العمل أن الطريق نحو ذكاء اصطناعي أكثر قدرة قد لا يكمن في بناء نماذج أكبر فأكبر، بل في تعليم النماذج كيف تكون أفضل في بناء واستخدام قدراتها الخاصة. ومن خلال إغلاق الحلقة بين الخلق والاستخدام، أثبت الباحثون أن النموذج يمكنه تعلم تصميم أدوات موثوقة بما يكفي ليستخدمها هو والآخرون. يقدم هذا النهج طريقة قابلة للتوسع لتوسيع قدرات الذكاء الاصطناعي، مما يسمح له بالتكيف مع التحديات الجديدة عبر ابتكار الأدوات المحددة التي يحتاجها، بدلاً من انتظار البشر لتوفيرها له. وتشير النتائج إلى أن مستقبل الذكاء المعزز بالأدوات لا يكمن في مكتبات ثابتة من الأدوات المعدة مسبقاً، بل في القدرة الديناميكية للنماذج على تطوير حلولها الخاصة وتحسينها ذاتياً.