MidTool: Mid-training Data Synthesis for Agentic Tool Use

تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء جيل جديد من المساعدين الرقميين، القادرة على القراءة والكتابة والاستنتاج بطلاقة تشبه طلاقة البشر. ولكي تكون هذه الأنظمة مفيدة حقاً، يجب ألا تكتفي بمجرد الإجابة على الأسئلة؛ بل يجب أن تكون قادرة على الفعل. وهذا يعني معرفة متى تلجأ إلى أداة، مثل الآلة الحاسبة، أو محرك البحث، أو واجهة برمجية، ومن ثم استخدامها بشكل صحيح لحل مشكلة ما. وفي المشهد الحالي للذكاء الاصطناعي، تعامل الباحثون إلى حد كبير مع هذه القدرة على استخدام الأدوات كخطوة نهائية في التدريب. فهم يأخذون نموذجاً قوياً ومُدرباً مسبقاً، ثم يعلمونه خصيصاً كيفية استدعاء الوظائف أو التفاعل مع البرمجيات من خلال عملية الضبط الدقيق (fine-tuning). ومع ذلك، يضع هذا النهج عبئاً ثقيلاً على تلك المرحلة النهائية، حيث يجبر النموذج على تعلم سلوكيات معقدة مثل التخطيط لتسلسل من الإجراءات أو التعافي من المعلومات المفقودة دفعة واحدة، وغالباً دون وجود أساس عميق لكيفية عمل تلك الأدوات فعلياً في العالم الحقيقي.

اقترح فريق من الباحثين من جامعة واشنطن وشركة Snowflake مساراً مختلفاً. فهم يقترحون أن القدرة على استخدام الأدوات يجب أن تُنمى في مرحلة مبكرة من حياة النموذج، وتحديداً خلال مرحلة تدريب متوسطة تقع بين التعلم الواسع الأولي والتعليم المتخصص النهائي. وقد أطلقوا على هذه العملية اسم "التدريب المتوسط" (mid-training). ولاختبار هذه الفكرة، قاموا ببناء مجموعة بيانات ضخمة ومخصصة صُممت خصيصاً لتعليم النماذج كيفية التفاعل مع الأدوات. وقد أطلقوا على مشروعهم اسم "MidTool". ومن خلال تغذية نماذجهم بهذه البيانات المتخصصة قبل خطوات التدريب النهائية، اكتشفوا أن النماذج تعلمت استخدام الأدوات بشكل أكثر فعالية، مع فهم أفضل لكيفية التخطيط للإجراءات والتعامل مع الأخطاء، مقارنة بالنماذج التي تلقت التدريب النهائي القياسي فقط.

بدأ الباحثون بجمع مجموعة متنوعة من المواد التي تحتوي على المعرفة الخام لكيفية عمل الأدوات. لم يبحثوا فقط عن أمثلة لاستخدام الأدوات؛ بل جمعوا الكتيبات، والشيفرات البرمجية، والوثائق التقنية، والمواصفات الفنية التي تصف كيفية عمل هذه الأدوات كما ينبغي. وشمل ذلك ملايين صفحات الويب، وآلاف الوثائق التقنية بتنسيق PDF، ومستودعات واسعة من شيفرات الكمبيوتر، والتعريفات المهيكلة لواجهات برمجة التطبيقات (APIs) في العالم الحقيقي. وقد عاملوا هذه المصادر كـ "كتب مدرسية" لطلابهم من الذكاء الاصطناعي. ومن هذه المادة الخام، أنشأوا خليطاً تدريبياً يحتوي على 20.3 مليار توكن (token)، وهو مقياس لكمية النص الذي تمت معالجته. وكان هذا الخليط متوازناً بعناية، حيث استمد حوالي 42 بالمائة من وثائق الويب، و26 بالمائة من الشيفرات البرمجية، و23 بالمائة من ملفات PDF، و9 بالمائأ من الأمثلة المباشرة والمصنعة لوكلاء يستخدمون الأدوات.

ولتحويل هذه المجموعة الساكنة من الوثائق إلى تجربة تعلم ديناميكية، استخدم الباحثون نهجاً ذا شقين لتوليد أمثلة التدريب. ركزت الطريقة الأولى على "التأسيس" (grounding). حيث أخذوا الوثائق التقنية والشيفرات البرمجية وطلبوا من النموذج تخيل سيناريوهات يحتاج فيها المستخدم إلى استخدام الأدوات الموصوفة في تلك النصوص. كان على النموذج أن يتعلم قراءة دليل معقد أو قطعة برمجية معقدة، وتحديد الأدوات المتاحة، ومعرفة المعلومات المطلوبة لاستخدامها. علم هذا النموذج التعرف على "الإمكانات" (affordances) للأداة — أي ما هي قادرة على فعله — بناءً على السياق. أما الطريقة الثانية فقد ركزت على "التنفيذ" (execution). هنا، استخدم الباحثون تعريفات حقيقية للأدوات لتوليد قصص خطوة بخوة لوكيل يحل مشكلة ما. تضمنت هذه القصص قيام الوكيل بوضع خطة، واستدعاء أداة، وتلقي استجابة، ثم اتخاذ قرار بشأن الخطوة التالية. والأهم من ذلك، تضمنت هذه الأمثلة أيضاً سيناريوهات كانت فيها المعلومات مفقودة أو فشلت الأداة، مما علم النموذج كيفية التعافي وطلب التوضيح بدلاً من الاستسلام أو التخمين.

اختبر الفريق هذا النهج باستخدام نسختين من نموذج لغوي أساسي، إحداهما بـ 4 مليارات معلمة (parameter) والأخرى بـ 8 مليارات. قاموا بتدريب هذه النماذج على مجموعة بيانات MidTool الجديدة ثم طبقوا خطوات التدريب النهائية القياسية المستخدمة من قبل الباحثين الآخرين. بعد ذلك، وضعوا النماذج تحت الاختبار في ثلاثة اختبارات معيارية (benchmarks) مصممة لقياس مدى جودة استخدام الذكاء الاصطناعي للأدوات. تراوحت هذه الاختبارات من الأوامر البسيطة ذات الخطوة الواحدة إلى المهام المعقدة متعددة الخطوات التي تتطلب تفاعل النموذج مع بيئات برمجية حقيقية. وأظهرت النتائج نمطاً واضحاً: النماذج التي تلقت التدريب المتوسط تفوقت باستمرار على تلك التي لم تتلقه. وكان التحسن ملحوظاً بشكل خاص في المهام الأكثر صعوبة، لا سيما تلك التي تتطلب خطوات متعددة أو القدرة على التعامل مع أدوات غير مألوفة. على سبيل المثال، في اختبار يقيس القدرة على استخدام الأدوات في محادثة متعددة الأدوار، قفزت درجة النموذج ذي الـ 4 مليارات معلمة بأكثر من 10 نقاط مقارنة بالنموذج الذي تلقى التدريب النهائي فقط.

كما كشفت الدراسة عن حدود هذا النهج. فبينما أصبحت النماذج المدربة بالتدريب المتوسط أفضل بكثير في الاستخدام العام للأدوات، إلا أنها لم تصبح خبيرة في كل أنواع المهام. فعند اختبارها على معيار محدد يتضمن بحثاً ويبياً عميقاً ومتكرراً، لم تظهر النماذج نفس المستوى من التحسن. وهذا يشير إلى أنه بينما يوفر التأسيس العام مساعدة في فهم كيفية استخدام الأدوات واتباع التعليمات، فإن السلوكيات المتخصصة للغاية مثل البحث العميق أو الاستكشاف المعقد قد تتطلب بيانات تدريب مخصصة لها. ووجد الباحثون أن التدريب المتوسط وفر قاعدة قوية ومستقرة جعلت التدريب النهائي اللاحق أكثر كفاءة؛ حيث تعلمت النماذج التقارب (convergence) بشكل أسرع ووصلت إلى مستويات أعلى من الأداء، مما يشير إلى أن مرحلة التدريب المتوسط ساعدت في بناء فهم داخلي أفضل لكيفية ترابط الأدوات مع بعضها البعض.

يتحدى هذا العمل الافتراض السائد بأن استخدام الأدوات هو مجرد مهارة تُضاف في نهاية تطوير النموذج. وبدلاً من ذلك، فإنه يشير إلى أن القدرة على التفاعل مع العالم من خلال الأدوات هي قدرة جوهرية تستفيد من دمجها في المعرفة الأساسية للنموذج. ومن خلال تعريض النماذج لهيكل وثائق الأدوات ومنطق سير عمل الأدوات في وقت مبكر، خلق الباحثون نظاماً أكثر قوة وقدرة على التكيف. وتوحي النتائج بأنه لكي يكون الجيل القادم من وكلاء الذكاء الاصطناعي فعالاً حقاً، يجب أن يتضمن تدريبهم مرحلة مخصصة يتعلمون فيها ليس فقط ماهية الأدوات الموجودة، بل كيفية التعرف عليها، والتخطيط بها، والتعافي عندما تسوء الأمور. ويبدو أن مرحلة التدريب المتوسط هذه هي المفتاح لإطلاق قدرة أكثر طبيعية وموثوقية للوكالة (agency) في الذكاء الاصطناعي.