ملخص تقني: استدعاء الوظائف المعزز بالتفكير (TAFC)

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات كبيرة في استدعاء الوظائف للوكلاء المستقلين، تعاني الآليات الحالية من نقص حاد في الشفافية الاستدلالية أثناء توليد المعاملات (parameters). وتتفاقم هذه المشكلة بشكل خاص في الوظائف المعقدة التي تتضمن معاملات مترابطة.

الحلول الحالية، مثل التلقين بسلسلة الأفكار (CoT) وإطار العمل ReAct، تعمل على مستوى الوكيل، حيث توفر استدلالاً عالي المستوى ولكنها تفشل في تقديم توجيه استدلالي دقيق لكل معامل على حدة. ونتيجة لذلك، غالباً ما تحدد النماذج استدعاءات الوظائف وتكوينات المعاملات دون تبرير صريح، مما يخلق "صندوقاً أسود" يعيق عملية تصحيح الأخطاء وفهم عمليات اتخاذ القرار في التطبيقات الحرجة. علاوة على ذلك، فإن نماذج الاستدلال المتخصصة أو استراتيجيات التلقين المعقدة غالباً ما تفرض عبئاً حسابياً أو تتطلب تغييرات هيكلية تحد من قابليتها للتطبيق الشامل.

2. المنهجية: استدعاء الوظائف المعزز بالتفكير (TAFC)

يقترح المؤلفون استدعاء الوظائف المعزز بالتفكير (TAFC)، وهو إطار عمل مصمم لتعزيز دقة وشفافية استدعاء الوظائف من خلال دمج الاستدلال الصريح على مستويي الوظيفة والمعامل. يعمل TAFC دون تعديل بنيات النماذج اللغوية الكبيرة الحالية ويحافظ على التوافق الكامل مع واجهة برمجة التطبيقات (API).

2.1. الإطار الجوهري والتعزيز

الابتكار المركزي هو إدخال معامل "التفكير" (think) عالمي في تواقيع الوظائف. يعمل هذا المعامل كأثر استدلالي مهيكل يلتقط عملية اتخاذ القرار للنموذج دون التأثير على التنفيذ الفعلي للوظيفة.

• التعزيز على مستوى الوظيفة: يتم تعزيز الوظيفة $f$ ذات المعاملات $P$ لتصبح $f'(P, \text{think})$، حيث يسبق عملية التفكير ($\text{think}$) عملية توليد قيم المعاملات ($P$) ويوجهها عبر سلسلة سببية.
• التعزيز على مستوى المعامل: بالنسبة للمعاملات المعقدة، يحول TAFC المعاملات إلى أزواج (tuples) معززة بالاستدلال: $p'_i = \{\text{think}_i: r_i, \text{value}_i: v_i\}$. حيث يلتقط $r_i$ الاستدلال الخاص بالمعامل، بينما يمثل $v_i$ القيمة الفعلية.

2.2. محفزات الاستدلال القائمة على التعقيد

لتجنب العبء غير الضروري في المهام البسيطة، يستخدم TAFC مقياس تعقيد $\psi$ لتحديد المعاملات التي تتطلب استدلالاً صريحاً. يتم حساب الدرجة بناءً على:

1. الترابط ($\text{dep}$): مدى اعتماد المعامل على المعاملات الأخرى.
2. تعقيد النوع ($\text{type}$): تعقيد نوع البيانات.
3. صرامة القيود ($\text{constraint}$): دقة قواعد التحقق من الصحة.

المعاملات التي تتجاوز العتبة $\tau$ تحفز توليد استدلال دقيق.

2.3. آليات التحسين

يتضمن TAFC استراتيجيتين رئيسيتين للتحسين لرفع جودة الاستدلال:

• ضبط الوصف الديناميكي: يركز هذا على تحسين أوصاف معامل "التفكير" نفسها. ويستخدم استراتيجيات منفصلة (التحسين التكراري لأوصاف التلقين عبر نموذج لغوي ميتا بناءً على آثار التنفيذ) واستراتيجيات مستمرة (تعلم تضمينات التلقين على مستوى الرمز لتقليل الخسارة في المعاملات المستهدفة).
• تحسين وصف الأداة الموجه بالاستدلال: يعمل هذا على تنقيح أوصاف الأدوات الإجمالية لمواءمة الاستدلال المولد مع توقعات البشر. ويستخدم دالة خسارة مركبة ($L_{\text{align}}$) تجمع بين التشابه الدلالي، والاحتمالية المنطقية، وصحة الإجراء (لضمان مطابقة المعاملات للاستدلال). يتم تنقيح أوصاف الأدوات عبر التحسين "الصندوق الأسود" حتى الوصول إلى التقارب.

2.4. التنفيذ والنشر

يتكامل TAFC بسلاسة مع الأطر الحالية (مثل ReAct) عن طريق تعزيز تواقيع الوظائف المسجلة تلقائياً. أثناء التنفيذ، تقوم دالة تصفية باستخراج مكونات القيم من المعاملات المعززة بالاستدلال قبل الاستدعاء، مما يضمن التوافق مع الإصدارات السابقة. يتم التقاط آثار الاستدلال في مستودع من أجل التحسين المستمر وبناء مجموعات التدريب.

3. المساهمات الرئيسية

يحدد البحث ثلاث مساهمات رئيسية:

1. إطار عمل مبتكر: يدمج TAFC الاستدلال الصريح في استدعاء الوظائف على مستويي الوظيفة والمعامل دون الحاجة إلى تعديلات هيكلية في النماذج اللغوية الكبيرة الحالية.
2. آليات تحسين ديناميكية: تقديم آليات لتحسين أوصاف معاملات الاستدلال وأوصاف الأدوات ديناميكياً لتعزيز جودة الاستدلال.
3. تقييم شامل: تقييم واسع النطاق على مجموعة بيانات ToolBench عبر النماذج المملوكة والمفتوحة المصدر، مما أظهر تحسناً في الدقة وتماسك الاستدلال، خاصة للوظائف متعددة المعاملات المعقدة.

4. النتائج التجريبية

قام المؤلفون بتقييم TAFC على ToolBench، وهي مجموعة اختبار تحتوي على أكثر من 16,000 واجهة برمجة تطبيقات (REST API) من العالم الحقيقي. غطى التقييم ثلاثة أنواع من التعليمات: أداة واحدة (I1)، أدوات متعددة داخل الفئة الواحدة (I2)، وأدوات متعددة داخل المجموعة الواحدة (I3).

4.1. مقاييس الأداء

• معدل النجاح (Pass Rate): النجاح في إكمال المهمة ضمن ميزانيات حسابية ثابتة.
• معدل الفوز (Win Rate): مقارنة تفضيل زوجي بواسطة حكم من نموذج لغوي (GPT-4o) بناءً على جودة الاستدلال وصحة المعاملات.

4.2. النتائج الرئيسية

• تحسينات مستمرة: أظهر TAFC مكاسب ثابتة عبر جميع أحجام النماذج (من 7 مليار إلى 72 مليار معلمة) وأنواع التعليمات.
  • النماذج الصغيرة: أظهرت نماذج مثل Llama-3.1-8B و Qwen2.5-7B مكاسب كبيرة، حيث تحسن معدل النجاح بنسبة 2.4–2.5% ومعدل الفوز بنسبة 2.9–3.1%.
  • النماذج الكبيرة: حققت النماذج الأكبر (مثل GPT-4o و Claude-3.5-Sonnet) أداءً مطلقاً قوياً، حيث وصل GPT-4o إلى متوسط معدل نجاح 59.2% ومعدل فوز 71.4% باستخدام TAFC.
• الحساسية للتعقيد: قدم TAFC تحسينات نسبية أكبر في المهام الأكثر صعوبة (I3-Inst)، مما يشير إلى قيمته في التعامل مع تنسيق الأدوات المعقد والاعتمادات عبر المجالات.
• جودة المعاملات: أظهر التقييم المتوافق مع البشر عبر حكم النموذج اللغوي أن TAFC ولد معاملات ذات جودة أعلى في 69.6% من الحالات في المتوسط. وأظهرت النماذج الأصغر معدلات فوز أعلى (تصل إلى 76.1% للنماذج بحجم 7B-8B)، مما يشير إلى أن الاستدلال الصريح مفيد بشكل خاص في البيئات محدودة الموارد.
• تحسينات نوعية: أنتج TAFC قيماً أكثر ملاءمة للسياق، وتعامل بشكل أفضل مع ترابط المعاملات، وقلل من أخطاء الحذف بنسبة 38%.

5. الأهمية والادعاءات

يزعم البحث أن TAFC يقدم حلاً عملياً وقابلاً للنشر الفوري لتحسين دقة وشفافية أنظمة استدعاء الوظائف. ومن خلال عدم اشتراط تعديلات هيكلية والحفاظ على التوافق الكامل مع واجهة برمجة التطبيقات، فإنه يستفيد من قدرات الاستدلال الجوهرية للنماذج اللغوية الكبيرة الحديثة مع ضمان المخرات المهيكلة.

ويرى المؤلفون أنه مع زيادة انتشار الوكلاء الذكيين في التطبيقات الحرجة، يوفر TAFC مساراً ضرورياً نحو أنظمة مستقلة أكثر موثوقية وقابلية للتفسير. فهو يعالج طبيعة "الصندوق الأسود" في اختيار المعاملات، مما يسهل عملية تصحيح الأخطاء وفهماً أعمق لعمليات اتخاذ القرار في النماذج دون العبء الحسابي لنماذج الاستدلال المتخصصة.