🤖 AI

GOAT: A Training Framework for Goal-Oriented Agent with Tools

تقدم الورقة البحثية GOAT، وهو إطار عمل تدريبي مبتكر يتيح الضبط الدقيق لوكلاء النماذج اللغوية الكبيرة مفتوحة المصدر لاستخدام الأدوات المعقدة دون الحاجة إلى تعليق بشري، وذلك عبر توليد بيانات تنفيذ واجهة برمجة التطبيقات (API) الموجهة نحو الأهداف تلقائياً من التوثيق، محققاً أداءً هو الأفضل في فئته على المعايير الحالية وعلى معيار GOATBench المقترح حديثاً.

المؤلفون الأصليون: Hyunji Min, Sangwon Jung, Junyoung Sung, Dosung Lee, Leekyeung Han, Paul Hongsuck Seo

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hyunji Min, Sangwon Jung, Junyoung Sung, Dosung Lee, Leekyeung Han, Paul Hongsuck Seo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكيًا ومطلعًا جدًا (الذكاء الاصطناعي)، يعرف كيف يقرأ الكتب ويكتب القصص. ومع ذلك، إذا طلبت من أمين المكتبة هذا الذهاب إلى الغرفة الخلفية للمكتبة، والبحث عن صندوق محدد من الخرائط القديمة، ثم استخراج صفحة معينة منه، ومن ثم استخدام تلك الصفحة للعثور على وصفة محددة في كتاب طهي، فإنه غالبًا ما يضيع. قد يخمن الصندوق الخطأ، أو يفتح الكتاب الخطأ، أو ينسى إحضار صفحة الخريطة معه إلى المطبخ.

هذه هي المشكلة التي تواجهها وكلاء الذكاء الاصطناعي الحاليين عندما يحاولون استخدام "الأدوات" (مثل واجهات برمجة التطبيقات - APIs، وهي اتصالات رقمية بقواعد البيانات، أو خدمات الطقس، أو قوائم الأفلام). إنهم بارعون في الدردشة، لكنهم سيئون للغاية في التخطيط لمهمة متعددة الخطوات تعتمد فيها خطوة واحدة كليًا على نتيجة الخطوة السابقة.

تقدم هذه الورقة البحثية GOAT (الوكيل الموجه نحو الهدف باستخدام الأدوات)، وهي طريقة تدريب جديدة مصممة لتحويل أمين المكتبة المرتبك هذا إلى محقق بارع. إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

المشكلة: "لعبة التخمين"

عادةً، لتعليم الذكاء الاصطناعي كيفية استخدام الأدوات، يضطر الباحثون إلى استئجار بشر لكتابة آلاف الأمثلة مثل: "أولاً، اسأل واجهة برمجة تطبيقات الطقس عن المطر. ثم، خذ إجابة 'المطر' تلك واسأل واجهة برمجة تطبيقات الملابس عن معطف واقٍ من المطر."
هذا الأمر مكلف وبطيء. وبدون هذه الأمثلة التي يكتبها البشر، يقوم نماذج الذكاء الاصطناعي بمجرد التخمين. وغالبًا ما يفشلون في المهام المعقدة التي تتطلب ربط عدة خطوات معًا.

الحل: مطبخ "الهندسة العكسية"

أدرك مؤلفو GOAT أنهم ليسوا بحاجة إلى بشر لكتابة التعليمات. فقد كان لديهم "كتاب الطهي" (وثائق واجهة برمجة التطبيقات - API documentation) بالفعل. وبدلاً من طلب تخمين الوصفة من طبق جاهز من الذكاء الاصطناعي، قرروا طهي الطبق أولاً، ثم وصف الوصفة.

إنهم يستخدمون استراتيجية "الاستدعاء أولاً" (Call-First):

رسم خريطة المطبخ: أولاً، يقرأ النظام جميع أدلة واجهات برمجة التطبيقات ويرسم خريطة لكيفية اتصال هذه الأدوات ببعضها البعض. (على سبيل المثال: "مخرجات أداة 'الطقس' تتناسب تمامًا مع مدخلات أداة 'المظلة").
طهي الوجبة (خطوة الاستدعاء أولاً): يختار النظام مسارًا على هذه الخريطة ويقوم فعليًا بتشغيل الأدوات. فهو يسأل أداة الطقس عن البيانات، ويحصل على النتيجة، ثم يستخدم تلك النتيجة فورًا للسؤال عن أداة المظلة. هو لا يخمن؛ بل ينفذ خطوات حقيقية ويحصل على إجابات حقيقية.
كتابة الوصفة (خطوة التجريد): بعد أن تقوم الأدوات بالعمل، ينظر الذكاء الاصطناعي إلى سلسلة الأحداث المكتملة ويكتب استعلام مستخدم يتوافق معها. إنه يقول جوهريًا: "أوه، لقد قمت للتو بكل هذه الخطوات للعثور على معطف واقٍ من المطر. إذًا، سؤال المستخدم 'ماذا يجب أن أرتدي إذا كانت تمطر؟' هو ما قمت بحله للتو".

من خلال القيام بذلك بشكل عكسي (الإجراء $\leftarrow$ السؤال)، يتعلم الذكاء الاصطناعي المنطق الصحيح لكيفية اتصال الأدوات دون الحاجة إلى إنسان يكتب له التعليمات. إنه يتعلم من خلال القيام بالعمل أولاً، ثم شرح ما فعله.

النتيجة: مساعد خارق

اختبر الباحثون وكلاء مدربين بطريقة "GOAT" الجديدة في عدة تحديات:

RestBench و API-Bank: هذه بمثابة امتحانات حيث يتعين على الذكاء الاصطناعي العثور على مراجعات أفلام أو توصيات موسيقية باستخدام سلسلة من الأدوات.
GOAT-Bench: أنشأ المؤلفون اختبارًا جديدًا وأكبر مخصصًا لهذا النوع من المهام المعقدة متعددة الخطوات.

كانت النتائج واضحة:

النماذج مفتوحة المصدر: قبل GOAT، كانت نماذج الذكاء الاصطناعي الأصغر والمفتوحة المصدر (المجانية والمتاحة للجميع) عديمة الفائدة تقريبًا في هذه المهام المعقدة؛ حيث كانت تفشل بنسبة تقتر- 100%.
بعد GOAT: بمجرد تدريبها باستخدام هذه الطريقة الجديدة، أصبحت نفس هذه النماذج مفتوحة المصدر جيدة للغاية في هذه المهام. وفي بعض الحالات، أدت أداءً أفضل من النماذج المغلقة والمكلفة (مثل GPT-4) التي تهيمن عادةً على هذه الاختبارات.
لا حاجة للبشر: تم بناء مجموعة بيانات التدريب بالكامل تلقائيًا بواسطة النظام باستخدام أدلة واجهات برمجة التطبيقات. لم يكن على البشر الجلسة لكتابة التعليمات خطوة بخطوة.

الخلاصة

GOAT هي وسيلة لتعليم وكلاء الذكاء الاصطناعي كيفية التخطيط واستخدام الأدوات من خلال السماح لهم بممارسة العمل الفعلي أولاً، ثم تعليمهم كيفية وصف الهدف. إنها تحول نماذج الذكاء الاصطناعي مفتوحة المصدر من "مخمنين تائهين" إلى "مخططين موثوقين" دون الحاجة إلى معلمين بشريين مكلفين. وقد جعل المؤلفون كودهم ومجموعة الاختبار الجديدة الخاصة بهم (GOAT-Bench) متاحة للآخرين لاستخدامها.

ملخص تقني: GOAT: إطار عمل تدريبي لوكيل موجه بالأهداف مع الأدوات

بيان المشكلة

تطورت النماذج اللغوية الكبيرة (LLMs) لتصبح وكلاء تفاعليين قادرين على استدعاء أدوات خارجية (واجهات برمجة التطبيقات - APIs). ومع ذلك، لا تزال هناك فجوة كبيرة في التعامل مع الاستعلامات الموجهة بالأهداف. فخلافاً للمهام البسيطة التي تتضمن استعلامات ذات خطوة واحدة أو تعليمات محددة صراحةً، تتطلب المهام الموجهة بالأهداف من الوكيل تفكيك هدف رفيع المستوى إلى سلسلة من استدعاءات واجهة برمجة التطبيقات المترابطة. وهذا يتطلب تفكيراً معقداً لتفكيك المهام، وتخطيطاً طويل الأمد، والقدرة على استنتاج الوسائط (arguments) المناسبة لوظائف واجهة برمجة التطبيقات بناءً على مخرجات الاستدعاءات السابقة.

تقتصر النهج الحالية لتدريب الوكلاء لهذه المهام على غياب بيانات التدريب عالية الجودة. إذ يتطلب بناء مجموعات البيانات التي تلتقط التبعيات بين واجهات برمجة التطبيقات جهداً بشرياً مكلفاً للتعليق (annotation)، وهو أمر غير قابل للتوسع. وبناءً على ذلك، تعتمد معظم الأساليب الحالية على التقييم الصفري (zero-shot evaluation)، حيث يُتوقع من النماذج إجراء تفكير معقد دون إشراف خاص بالمهمة. وبينما تُظهر النماذج المملوكة (مثل GPT-4) بعض القدرات، فإن النماذج مفتوحة المصدر الأصغر حجماً غالباً ما تفشل في تنفيذ سيناريوهات استخدام الأدوات المعقدة هذه بفعمالية.

المنهجية: إطار عمل GOAT

لمعالجة مشكلة ندرة البيانات، يقترح المؤلفون GOAT (الوكيل الموجه بالأهداف مع الأدوات)، وهو إطار عمل تدريبي آلي بالكامل يقوم بتخليق بيانات تنفيذ واجهة برمجة التطبيقات الموجهة بالأهداف من وثائق واجهة برمجة التطبيقات الموجودة دون الحاجة إلى تعليق بشري. يعمل إطار العمل على فرضية أن وثائق واجهة برمجة التطبيقات تكون متاحة عادةً للمجالات المستهدفة ويمكن الاستفيد منها لبناء بيانات التدريب.

1. البناء الآلي لمجموعة البيانات

الابتكار الجوهري في GOAT هو نموذج توليد "الاستدعاء أولاً" (call-first generation paradigm)، والذي يتناقض مع استراتيجيات "التعليمات أولاً" المستخدمة في الأعمال السابقة (حيث يقوم النموذج اللغوي الكبير بتوليد استعلام أولاً ثم يحاول ربطه باستدعاءات واجهة برمجة التطبيقات). يعكس GOAT هذا التدفق لتجنب التحيزات ذاتية التعزيز نحو الحالات "السهلة".

تتضمن عملية بناء البيانات ثلاث مراحل رئيسية:

بناء مخطط تبعية واجهة برمجة التطبيقات (API Dependency Graph):
- التحليل (Parsing): يتم تحليل وثائق واجهة برمجة التطبيقات لاستخراج مواصفات المدخلات/المخرجات.
- تهيئة المخطط: يتم تهيئة مخطط متعدد الرؤوس متصل بالكامل، حيث تمثل الحواف التبعيات المحتملة (مخرج واجهة برمجة التطبيقات $A$ كمدخل لواجهة برمجة التطبيقات $B$ ).
- التصفية التدريجية: لضمان الموثوقية، يتم تنقية المخطط من خلال ثلاث مراحل تصفية:
  1. تشابه التضمين (Embedding Similarity): تصفية خشنة باستخدام تضمينات SBERT لاستبعاد الحواف غير المتوافقة دلالياً.
  2. التحقق بواسطة النموذج اللغوي الكبير: يقوم نموذج لغوي كبير بتقييم المعقولية الدلالية بناءً على الأوصاف وحدها.
  3. التحقق من التنفيذ: الخطوة الأكثر صرامة، حيث يقوم النموذج اللغوي بتوليد الوسائط، وتنفيذ واجهة برمجة التطبيقات المصدر، والتحقق مما إذا كان المخرج يمكنه ملء معاملات واجهة برمجة التطبيقات الوجهة بشكل صالح. يضمن هذا الاحتفاظ فقط بسير العمل القابل للتنفيذ.
تخليق البيانات الموجهة بالأهداف:
- أخذ العينات (Sampling): يتم استخراج المخططات الفرعية المتصلة (التي تمثل تسلسلات واجهة برمجة التطبيقات الصالحة) من مخطط التبعية.
- تجسيد "الاستدعاء أولاً": يقوم إطار العمل بتجسيد وتنفيذ تسلسل واجهة برمجة التطبيقات، مما يولد مخرجات ملموسة.
- توليد الاستعلام والاستجابة: بناءً على التسلسل المنفذ والمخرجات، يقوم النموذج اللغوي الكبير بتوليد استعلام مستخدم بلغة طبيعية يجسد الهدف رفيع المستوى، واستجابة نهائية تفسر النتائج. يؤدي هذا إلى إنشاء مجموعة بيانات حيث تكون الإشارة الإشرافية (تسلسل استدعاء واجهة برمجة التطبيقات) متجذرة في الواقع، والاستعلام هو تجريد لهذا الواقع.

2. تدريب الوكيل

يقوم إطار العمل بضبط مكونين بدقة (fine-tuning) باستخدام مجموعة البيانات المخلقة:

الوكيل (LLM Agent): يتم ضبطه تعليمياً لتخطيط التسلسل الصحيح للاستدعاءات، وملء الوسائط (مع حجب قيم الوسائط أثناء التدريب لمنع الإفراط في التخصيص لقيم محددة)، وتوليد الاستجابة النهائية باللغة الطبيعية.
المسترجع (Retriever): نموذج استرجاع كثيف (يعتمد على SBERT) مدرب على أزواج (الاستعلام-وثيقة واجهة برمجة التطبيقات) الحقيقية لربط استعلامات المستخدم بمواصفات واجهة برمجة التطبيقات ذات الصلة.

المساهمات الرئيسية

إطار عمل GOAT: إطار عمل تدريبي جديد وآلي بالكامل يبني مجموعات بيانات تنفيذ واجهة برمجة التطبيقات الموجهة بالأهداف من وثائق واجهة برمجة التطبيقات دون تعليق بشري. ويقدم استراتيجية توليد "الاستدعاء أولاً" التي توفر إشرافاً موثوقاً لتعلم التفكير المعقد من خلال تجذير البيانات في سير عمل قابل للتنفيذ لواجهة برمجة التطبيقات.
الأداء الرائد (State-of-the-Art): تُظهر التجارب المكثفة أن الوكلاء المدربين باستخدام GOAT يحققون أداءً رائداً في العديد من الاختبارات المرجعية الموجهة بالأهداف باستخدام النماذج مفتوحة المصدر، وفي بعض الحالات يتفوقون على النماذج المغلقة ذات قدرات التفكير القوية.
GOATBench: تقديم اختبار مرجعي جديد واسع النطاق للمهام الموجهة بالأهداف. تم بناؤه باستخدام مسار GOAT مع تحقق بشري خفيف، وهو يغطي مجالات متنوعة (الترفيه، المالية، الطعام، السفر) ويتضمن تركيبات واجهات برمجة تطبيقات "مرئية" و"غير مرئية" لاختبار التعميم.

النتائج التجريبية

قيم المؤلفون GOAT على RestBench و API-Bank و GOATBench الجديد.

RestBench: أظهرت النماذج مفتوحة المصدر (Llama-2-13B, Vicuna-13B) التي تم ضبطها بدقة باستخدام GOAT تحسينات جوهرية مقارنة بالنماذج المرجعية ذات الاستدعاء الصفري (zero-shot) والأساليب السابقة مفتوحة المصدر (RestGPT). وفي بعض الحالات، تفوقت على النماذج المغلقة مثل GPT-4.
API-Bank: تفوقت النماذج المدربة بـ GOAT بشكل كبير على النماذج المرجعية ذات الاستدعاء الصفري ونهج البيانات الاصطناعية الأخرى، محققة نسب نجاح أعلى ونسب مسارات صحيحة أعلى.
GOATBench: أظهرت وكلاء GOAT مكاسب ثابتة مقارنة بالنماذج غير المضبوطة بدقة والنماذج المدربة ببيانات "التعليمات أولاً" (مثل ToolLLM). أثبت إطار العمل فعاليته في كل من سيناريوهات الأداة الواحدة والسيناريوهات متعددة الأدوات (متعددة واجهات برمجة التطبيقات).
دراسات الاستئصال (Ablation Studies):
- الاستدعاء أولاً مقابل التعليمات أولاً: حققت النماذج المدربة ببيانات "الاستدعاء أولاً" باستمرار معدلات نجاح أعلى من تلك المدربة ببيانات "التعليمات أولاً"، مما يؤكد قدرة هذه الاستراتيجية على توفير إشراف أفضل للتفكير المعقد.
- التعميم: أظهرت النماذج المدربة على GOATBench تحسناً في الأداء على واجهات برمجة التطبيقات غير المرئية والتعميم عبر الاختبارات المرجعية (على سبيل المثال، التدريب على GOATBench والاختبار على RestBench)، وإن كانت المكاسب أكثر وضوحاً داخل النطاق (in-domain).

الأهمية والادعاءات

يزعم البحث أن GOAT يوفر مساراً عملياً وقابلاً للتوسع نحو بناء وكلاء نماذج لغوية كبيرة مفتوحة المصدر قوية قادرة على التفكير المعقد واستخدام الأدوات. ومن خلال إلغاء الاعتماد على التعليق البشري المكلف والاستفادة من نموذج "الاستدعاء أولاً"، يتيح GOAT التكيف الفعال والمتخصص في المجال للنماذج اللغوية الكبيرة. تشير النتائج إلى أن النماذج مفتوحة المصدر، عندما يتم ضبطها بدقة باستخدام هذه البيانات الاصطناعية، يمكن أن تضاهي أو تتجاوز أداء النماذج المملوكة في استخدام الأدوات الموجه بالأهداف، مما يعالج عقبة حرجة في نشر أنظمة الذكاء الاصطناعي الوكيلية.

يقر المؤلفون بالقيود، مشيرين إلى أنه بينما يحسن إطار العمل الأداء داخل النطاق، فإن التعميم على السيناريوهات غير المرئة تماماً يظل محدوداً، كما أن جودة البيانات المولدة تعتمد على جودة وثائق واجهة برمجة التطبيقات المصدر. ومع ذلك، فإن هذا العمل يضع معياراً جديداً لتدريب الوكلاء على استخدام الأدوات المترابطة دون تدخل بشري.