🤖 AI

SynthTools: A Framework for Scaling Synthetic Tools for Agent Development

تقدم الورقة البحثية SynthTools، وهو إطار عمل يعتمد كلياً على النماذج اللغوية الكبيرة (LLM) يقوم تلقائياً بتوليد والتحقق من وتوسيع نطاق بيئات ومهام الأدوات الاصطناعية المتنوعة، مما يثبت أن تدريب الوكلاء على هذه البيانات الاصطناعية يحسن بشكل كبير أداءهم في استخدام الأدوات في الاختبارات المعيارية الواقعية.

المؤلفون الأصليون: Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tommaso Castellani, Naimeng Ye, Daksh Mittal, Thomson Yen, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم روبوت كيفية استخدام صندوق أدوات ضخم ومعقد لإصلاح منزل ما. المشكلة هي أنك لا تستطيع منح الروبوت صندوق أدوات حقيقياً وأدوات حقيقية (مثل مطرقة حقيقية أو مثقاب حقيقي) لأن:

الأدوات الحقيقية فوضوية: فهي تتعطل، وتحتاج إلى بطاريات، وأحياناً لا تعمل بشكل صحيح عندما تحاول استخدامها.
لا يوجد عدد كافٍ منها: لا يمكنك بناء دورة تدريبية لكل أداة ممكنة في الكون باستخدام الأدوات الحقيقية فقط.
من الصعب ابتكار "مسائل تدريبية": إذا قلت للروبوت "أصلح التسريب"، فقد لا يعرف أي الأدوات يجب أن يستخدم أو بالترتيب الصحي أيها.

SynthTools هو إطار عمل جديد يحل هذه المشكلة عن طريق بناء مصنع محاكاة افتراضي ضخم ومثالي داخل الكمبيوتر تماماً. بدلاً من استخدام أدوات حقيقية، يستخدم نموذج ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير - LLM) لابتكار واختبار وتنظيم آلاف الأدوات والمشاكل التدريبية الوهمية.

إليك كيف يعمل مصنع SynthTools، مقسماً إلى ثلاث خطوات بسيطة:

1. المهندس المعماري (التوليد من الأعلى إلى الأسفل)

فكر في هذا على أنه المصمم الرئيسي.
بدلاً من مجرد كتابة قائمة عشوائية من الأدوات، يبدأ الذكاء الاصطناعي بفكرة كبيرة، مثل "التداول المالي" أو "التجارة الإلكترونية". ثم يقوم بتفكيك هذه الفكرة الكبيرة إلى أحياء أصغر (نطاقات فرعية)، ثم إلى وظائف محددة (مهام)، وأخيراً يبتكر الأدوات المحددة اللازمة لهذه الوظائف.

التشبيه: تخيل تصميم لعبة فيديو. أنت لا تضع عناصر عشوائية على الأرض فحسب، بل تقرر: "هذا مستوى مستشفى"، لذا تبتكر "سماعة طبية"، و"حقنة"، و"جهاز مراقبة قلب" لتتناسب جميعها مع بعضها البعض منطقياً. يقوم SynthTools بفعل ذلك لـ 100 "عالم" مختلف (مثل التمويل، والخدمات اللوجستية، والرعاية الصحية)، مما ينتج عنه أكثر من 73,000 أداة فريدة.

2. مفتش مراقبة الجودة (المحاكاة والتحقق)

هذا هو المراقب الصارم.
مجرد ابتكار الذكاء الاصطناعي لأداة ما لا يعني أنها تعمل. يقوم المراقب بوضع كل أداة تحت اختبار جهد.

الاختبار: يحاول المراقب استخدام الأداة بطرق مختلفة. "ماذا يحدث إذا أعطيتك كلمة مرور خاطئة؟" "ماذا لو كانت الرحلة محجوزة بالكامل؟"
النتيجة: إذا أعطت الأداة إجابة مربكة أو تسببت في تعطل النظام، يقوم المراقب برميها في القمامة. أما إذا تعاملت مع الخطأ بشكل مثالي (على سبيل المثال، قائلة "عذراً، لا توجد مقاعد متاحة" بدلاً من التعطل)، فإنه يمنحها ختم الموافقة.
النطاق: قاموا باختبار ما يقرب من 80,000 أداة. النظام بارع جداً في رصد الأدوات السيئة لدرجة أنه يصفّي الأدوات الضعيفة، تاركاً خلفه 73,883 أداة موثوقة. إنه يشبه مصنعاً لا يشحن إلا المنتجات التي اجتازت اختبار دقة بنسبة 97%.

3. صانع الألغاز (توليد المهام من الأسفل إلى الأعلى)

الآن بعد أن أصبح لديهم كومة من الأدوات المعتمدة، يحتاجون إلى إنشاء ألغاز تدريبية ليحلها الروبوت.

الطريقة: بدلاً من أن يطلبوا من الذكاء الاصطناعي "ابتكار مشكلة صعبة"، يقومون ببناء المشكلة من الصفر. يأخذون بضع أدوات معتمدة (مثل أداة "طلب إرجاع" وأداة "مرسل بريد إلكتروني") ويربطونها معاً.
النتيجة: ينشئون قصة خطوة بخ telle: "عميل يريد إرجاع قميص. أولاً، تحقق مما إذا كان مؤهلاً. ثانياً، اطبع ملصق الشحن. ثالثاً، أرسل بريداً إلكترونياً".
السحر: بما أن الذكال الاصطناعي بنى اللغز باستخدام الأدوات التي يعرف أنها تعمل، فهو يعرف أيضاً الحل الدقيق. إنه يشبه المعلم الذي يكتب اختبار رياضيات ويكتب نموذج الإجابة في الوقت نفسه. هذا يضمن أن كل مهمة قابلة للحل وللتحقق. لقد أنشأوا ما يقرب من 80,000 من هذه الألغاز.

التجربة الكبرى: هل نجح الأمر؟

أخذ الباحثون نموذج ذكاء اصطنا_عي قياسي (Qwen3) وأعطوه جلسة "تدريب متوسط". فكر في هذا على أنه إرسال الذكاء الاصطناعي إلى مدرسة تعليم قيادة باستخدام هذه الألغاز الاصطناعية.

التدريب: تدرب الذكاء الاصطناعي على حل هذه الـ 80,000 مشكلة وهمية ولكنها واقعية.
الاختبار: ثم اختبروا الذكاء الاصطناعي على معايير حقيقية (باستخدام واجهات برمجة تطبيقات حقيقية واختبارات استدعاء وظائف فعلية).
النتيجة: الذكاء الاصطناعي الذي تدرب على المصنع الاصطناعي أصبح أفضل بكثير في استخدام الأدوات الحقيقية. الأمر كما لو أن التدرب على جهاز محاكاة قيادة مثالي جعل السائق أفضل في التعامل مع سيارة حقيقية في يوم ممطر.

الملخص

SynthTools هو مسار عمل يستخدم الذكاء الاصطناعي لبناء مكتبة ضخمة ذاتية التحقق من الأدوات الوهمية والمشاكل الوهمية. إنه يحل مشكلة "ليس لدينا بيانات حقيقية كافية لتدريب الروبوتات" من خلال توليد بياناته الخاصة عالية الجودة والمتنوعة والمحققة. والنتيوة هي إطار عمل يمكنه التوسع ليصل إلى ملايين الأدوات والمهام، مما يساعد وكلاء الذكاء الاصطناعي على تعلم كيفية استخدام الأدوات بشكل أكثر فعالية، حتى في العالم الحقيقي.

ملخص تقني: SynthTools

بيان المشكلة

تتطلب الأنظمة الوكيلية (Agentic systems) القدرة على استخدام أدوات خارجية لحل المهام المعقدة وطويلة الأمد. ومع ذلك، تعاني النماذج الحالية من صعوبة في الاستخدام الموثوق للأدوات، وهو قصور يُعزى غالباً إلى حجم وتنوع بيانات التدريب. تواجه النهج الحالية لإنشاء بيئات استخدام الأدوات عقبات كبيرة:

واجهات برمجة التطبيقات الحقيقية (Real APIs): رغم أصالتها، إلا أنه يصعب توسيع نطاقها بسبب مفاتيح واجهة برمجة التطبيقات، وقيود المعدل، وحصص الاستخدام، والتغييرات المتكررة في الواجهات.
المجموعات المنسقة (Curated Suites): مثل (ACEBench، $\tau^2$ -bench)، وهي محدودة في عدد الأدوات وتنوع المجالات، حيث تغطي عادةً حفنة فقط من المجالات الواسعة.
التوليد الاصطناعي (Synthetic Generation): رغم قابليته للتوسع، إلا أن العديد من مسارات التوليد الاصطناعي الحالية تعتمد على المحاكاة البرمجية، مما يقيد تعقيد الأدوات بعمليات (CRUD) البسيطة (الإنشاء، القراءة، التحديث، الحذف). ومن ناحية أخرى، ظل الاعتماد على محاكاة النماذج اللغوية الكبيرة (LLM-based simulation) غير مستكشف بشكل كافٍ، وغالباً ما يفتقر إلى التنفيذ الحتمي أو يعتمد على وثائق واجهات برمجة تطبيقات حقيقية متغيرة.

علاوة على ذلك، حتى مع وجود مجموعات ضخمة من الأدوات، يظل توليد مهام واقعية وغير بديهية تتطلب تنسيقاً في التفكير متعدد الخطوات أمراً يشكل عقبة أساسية. فالتلقين الساذج (Naive prompting) غالباً ما ينتج سيناريوهات سطحية تفشل في استدعاء التخطيط طويل الأمد أو اتخاذ القرار في ظل عدم اليقين.

المنهجية

يقدم المؤلفون SynthTools، وهو مسار عمل يعتمد كلياً على النماذج اللغوية الكبيرة (LLM) مصمم ليشمل دورة حياة إنشاء بيئة استخدام الأدوات بالكامل: التوليد، والمحاكاة، والتحقق، وبناء المهام. يعتمد الإطار على ثلاث وحدات أساسية:

1. توليد البيئة من الأعلى إلى الأسفل (Top-Down)

بدلاً من توليد قوائم مسطحة من واجهات برمجة التطبيقات، يستخدم SynthTools إجراء تطور مجال هرمي لبناء أدوات قائمة على المجال:

المجال $\leftarrow$ المجال الفرعي: يقوم النموذج اللغوي الكبير بتقسيم المجالات الأولية (مثل التمويل، الرعاية الصحية) إلى مجالات فرعية متماسكة، مع إبراز أصحاب المصلحة والكيانات.
المجال الفرعي $\leftarrow$ المهمة: يقترح النموذج عائلات من المهام مع أوصاف باللغة الطبيعية مناسبة للتوثيق.
المهمة $\leftarrow$ الأداة: يتم إنشاء أدوات ملموسة لكل مهمة. تشجع عملية التوليد على القابلية للتركيب عبر تحديد التبعيات الصاعدة والقدرات المتاحة في المرحلة التالية.
المخرجات: تُعرف كل أداة باسم، ووصف باللغة الطبيعية، ومخطط للمعاملات (Parameter schema)، وعقد إدخال/إخراج (شروط مسبقة، شروط لاحقة، أوضاع الخطأ). يسمح هذا النهج بتخصيص التعقيد، بما في ذلك أنواع الكائنات المعقدة والقوائم، مما يتجاوز نطاق عمليات (CRUD) البسيطة الموجودة في البيئات البرمجية.

2. محاكاة البيئة والتحقق منها

لضمان الموثوقية، يقوم الإطار بمحاكاة سلوك الأدوات والتحقق من النتائج باستخدام نموذج "النموذج اللغوي كحَكَم" (LLM-as-a-Judge):

المحاكاة: يقوم المحاكي بتفكيك التنفيذ إلى تحقق من المعاملات (باستخدام تحليل شجرة الإعراب المجردة AST للتحقق من الصيغة، والنماذج اللغوية الكبيرة للقيود الدلالية) وتوليد الاستجابة. ويتضمن بيانات وصفية لضبط الاستجابات، مما يضمن الاتساق (على سبيل المثال، إرجاع "لا توجد مقاعد متاحة" إذا كانت الرحلة الجوية مكتملة).
التحقق: يقوم نموذج لغوي كبير بتقييم مواصفات الأدوات والاستجابات المحاكات، ويقوم بتصفية الأدوات غير المستقرة ويدعم عمليات إعادة المحاولة. يستهدف النظام معدل خطأ منخفض، محققاً دقة بنسبة %97 في تحديد السلوكيات غير الصحيحة.
الموثوقية: يحقق المسار دقة بنسبة %94 في محاكاة استجابات الأدوات ويقوم بتصفية الأدوات التي لا يمكن محاكاتها بشكل موثوق.

3. بناء المهام والمسارات من الأسفل إلى الأعلى (Bottom-Up)

استكمالاً لتوليد الأدوات من الأعلى إلى الأسفل، تقوم هذه الوحدة ببناء المهام من مجموعة الأدوات التي تم التحقق منها:

اقتراح سلسلة الأدوات: لكل بيئة، يقترح النموذج اللغوي الكبير سلاسل استخدام أدوات متسلسلة تعمل كعمود فقري للمهام المرشحة.
توليد المهام الصغيرة (Mini-Tasks): يقوم النظام ببناء مهام صغيرة بشكل تكراري. ففي كل خطوة، يولد وصفاً للمهمة واستدعاءً حقيقياً للأداة (Ground-truth tool call)، ويتحقق من تنفيذ الوكيل مقابل الحقيقة الأرضية، ويحدث حالة البيئة.
بناء المسار (Trajectory Construction): من خلال ربط هذه المهام الصغيرة المترابطة، ينتج النظام مهاماً معقدة وقابلة للتحقق مع مسارات حل صريحة.
القابلية للضبط: يتم التحكم في الصعوبة عبر تغيير عدد المهام الصغيرة، وتعديل التوازن بين الوضوح والغموض، وإضافة أدوات غير ذات صلة ولكنها تبدو منطقية.

المساهمات الرئيسية

إطار عمل قابل للتوسع: SynthTools هو مسار مؤتمت بالكامل يولد بيئات استخدام أدوات متنوعة، قابلة للتحكم، ومعقدة دون الاعتماد على واجهات برمجة تطبيقات حقيقية أو تنسيق يدوي.
إصدار مجموعة البيانات: أصدر المؤلفون مجموعة بيانات تضم:
- 73,883 أداة تم التحقق منها عبر 6,800 بيئة.
- 100 مجال متميز (مثل التداول المالي، الخدمات اللوجستية للنقل، التجارة الإلكترونية).
- 79,925 مهمة قابلة للتحقق مع مسارات الحقيقة الأرضية.
- يمثل هذا زيادة تزيد عن ضعفين ( $\times$ 2) في الحجم مقارنة بالمجموعات السابقة من حيث المجالات وعدد الأدوات لكل مجال.
ضبط الجودة: يتضمن الإطار خطوات صارمة للمحاكاة والتحقق، مما يضمن موثوقية عالية (دقة محاكاة %94، ودقة تحقق %97) وانخفاض التكرار (9% فقط من الأدوات تتجاوز حد التشابه $\tau=0.85$ ).
دراسة حالة التدريب المتوسط (Midtraining): أظهر المؤلفون فائدة مجموعة البيانات من خلال تدريب نماذج Qwen3 (بأحجام 0.6B، 1.7B، 4B) في مرحلة التدريب المتوسط على المسارات المولدة.

النتائج

قيم البحث نماذج Qwen3 المدربة متوسطاً على عدة اختبارات مرجعية للوكلاء واستخدام الأدوات:

الاختبارات المرجعية: ACEBench، وBerkeley Function Calling Leaderboard (BFCL)، وAPI-Bank.
مكاسب الأداء: عبر جميع أحجام النماذج والاختبارات المرجعية، أظهرت النماذج المدربة متوسطاً تحسينات مستمرة مقارنة بنظيراتها الأساسية.
- على سبيل المثال، في نموذج 4B، تحسن الأداء في ACEBench (Normal) من 0.583 إلى 0.651، وفي BFCL (Live) من 0.432 إلى 0.538.
القابلية للنقل: تشير التحسينات في الاختبارات التي تتضمن واجهات برمجة تطبيقات حقيقية (API-Bank، BFCL Live) إلى أن قدرات استخدام الأدوات التي تم التدريب عليها باستخدام بيانات اصطناعية يمكن أن تنتقل إلى تفاعلات نمط واجهة برمجة التطبيقات في العالم الحقيقي.

الأهمية والادعاءات

يضع المؤلفون SynthTools كبنية تحتية ضرورية لمعالجة فجوات القابلية للتوسع والتنوع في مشهد تدريب الوكلاء الحالي. ويدعون إلى أن:

البيانات الاصطناعية مجدية: التدريب على مسارات استخدام أدوات اصطناعية عالية الجودة يمكن أن يسد بفعالية الفجوة التوزيعية بين التدريب المسبق العام ومهام استخدام الأدوات اللاحقة.
القابلية للتوسع ممكنة: يتيح الإطار توليد أنظمة بيئية للأدوات بمقاييس وتغطية مجالات لا يمكن تحقيقها عبر النهج القائمة على واجهات برمجة التطبيقات الحقيقية أو التنسيق اليدوي.
التوليد المهيكل أمر بالغ الأهمية: يجادل البحث بأن توليد المهام الفعال يتطلب بناءً هيكلياً من الأسفل إلى الأعلى بدلاً من التلقين الساذج، الذي غالباً ما ينتج سيناريوهات سطحية أو غير مستندة إلى أساس واقعي.

يشير العمل إلى أن مجموعات التفاعل الاصطناعية هي عنصر رئيسي للتقدم في أنظمة الذكاء الاصطناعي المستخدمة للأدوات، مما يوفر مورداً عملياً للتدريب والتقييم واسع النطاق.