🤖 AI

To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

تقدم هذه الورقة إطار عمل مبنيًا على نظرية اتخاذ القرار لتقييم وتحسين قرارات استدعاء الأدوات في النماذج اللغوية الكبيرة من خلال تحليل عدم التطابق بين الحاجة والمنفعة المتصورة والحقيقية للنماذج، مما يثبت في النهاية أن المقدرات خفيفة الوزن المدربة على الحالات الخفية يمكن أن تحسن أداء المهام بشكل كبير.

المؤلفون الأصليون: Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً ومطلعاً للغاية (ذكاء اصطناعي) يحاول الإجابة على أسئلتك. في بعض الأحيان، يعرف المساعد الإجابة من ذاكرته مباشرة، وفي أحيان أخرى، يحتاج إلى البحث في مكتبة (الإنترنت) ليتأكد من صحة الحقائق.

السؤال الكبير الذي تطرحه هذه الورقة البحثية هو: كيف يعرف المساعد الذكي متى يتوقف عن التفكير ويبدأ في البحث عن المعلومات؟

وجد الباحثون أنه بينما يزداد المساعدون الآليون ذكاءً، إلا أنهم في الواقع سيئون جداً في تحديد متى يستخدمون "بطاقة المكتبة" الخاصة بهم. فهم غالباً ما يتصلون بالمكتبة عندما لا يحتاجون إلى ذلك (مما يهدر الوقت والمال)، أو يفشلون في الاتصال بها عندما يحتاجون للمساعدة بشدة.

إليك تفصيل لنتائجهم وحلهم، باستخدام تشبيهات بسيطة:

1. القواعد الثلاث لاتخاذ قرار جيد

وضع المؤلفون إطاراً للحكم على ما إذا كان قرار الذكاء الاصطناعي بـ "البحث عن معلومة" قراراً جيداً أم لا. ويسمون هذه العوامل الثلاثة:

الضرورة (هل أحتاج إلى مساعدة؟): هل يمكن للذكاء الاصطناعي حل المشكلة باستخدام ذاكرته فقط؟ إذا كان يعرف الإجابة بالفعل، فإن الاتصال بالمكتبة يصبح غير ضروري.
المنفعة (هل سيساعد ذلك؟): إذا قام الذكاء الاصطناعي بالبحث فعلاً، فهل ستصبح الإجابة أفضل حقاً؟ أحياناً، قد يؤدي البحث عن حقيقة ما إلى إرباك الذكاء الاصطناعي أو إدخال أخطاء، مما يجعل الإجابة النهائية أسوأ مما لو كان قد خمن الإجابة فقط.
القدرة (هل أستطيع تحمل التكلفة؟): البحث عن المعلومات يكلف مالاً ووقتاً. صانع القرار الذكي لا ينفق المال إلا عندما تكون الفائدة تستحق التكلفة.

2. المشكلة: الذكاء الاصطناعي "واثق أكثر من اللازم" أو "غير واثق بما يكفي"

اختبر الباحثون ستة نماذج مختلفة من الذكاء الاصطناعي على ثلاثة أنواع من المهام (مثل الإجابة على أسئلة عامة أو الكتابة عن مواضيع محددة). وقارنوا بين ثلاثة سيناريوهات:

بدون مكتبة: يجيب الذكاء الاصطناعي من ذاكرته فقط.
المكتبة دائماً: يقوم الذكاء الاصطناعي بالبحث دائماً، بغض النظر عن الأمر.
القرار الذاتي: يقرر الذكاء الاصطناعي بنفسه متى يبحث عن المعلومات.

المفاجأة: كان وضع "القرار الذاتي" هو الأسوأ في كثير من الأحيان.
كان "الشعور الداخلي" للذكاء الاصطناعي حول ما إذا كان يحتاج للمساعدة خاطئاً في كثير من الأحيان.

"الإنذار الكاذب": أحياناً يعتقد الذكاء الاصطناعي: "أنا لا أعرف هذا، يجب أن أبحث!"، لكنه في الواقع كان يعرف الإجابة بالفعل. لقد أهدر الموارد.
"الفرصة الضائعة": أحياناً يعتقد الذكاء الاصطناعي: "أنا أعرف هذا!"، ولكنه في الواقع كان مخطئاً. لقد رفض البحث، وأعطى إجابة سيئة.
"البحث السيئ": حتى عندما بحث الذكاء الاصطناعي، كانت نتائج البحث مربكة له أحياناً، مما جعل الإجابة أسوأ مما لو كان قد اعتمد على ذاكرته فقط.

التشبيه: تخيل طباخاً يحاول طهي وجبة. أحياناً يمسك الطباخ بكتاب وصفات (الأداة) رغم أنه طباخ ماهر ويعرف الوصفة تماماً. وفي أحيان أخرى، يكون الطباخ فاقداً لمكون رئيسي لكنه يرفض تفقد خزانة المؤن، مما يؤدي إلى وجبة محترقة. "غريزة" الطباخ بشأن متى يتفقد الخزانة معطلة.

3. الحل: كاشف "الإشارة الخفية"

أدرك الباحثون أنه بينما كان قرار الذكاء الاصطناعي "المنطوق" (قول "أحتاج للبحث") غير موثوق، فإن "موجات الدماغ الداخلية" للذكاء الاصطناعي (حالاته الرياضية الخفية) كانت تحمل الحقيقة بالفعل.

فكر في الأمر كجهاز كشف الكذب. قد يقول الذكاء الاصطناعي: "أنا بخير، لا أحتاج لمساعدة"، ولكن إشاراته الداخلية (مثل تسارع ضربات القلب) قد تصرخ: "أنا مرتبك! أحتاج للمساعدة!"

الإصلاح:
بدلاً من سؤال الذكاء الاصطناعي ليقرر، قام الباحثون ببناء "شرطي مرور" صغير وخفيف الوزن (برنامج حاسوبي بسيط) يراقب "موجات دماغ" الذكاء الاصطناعي.

يراقب شرطي المرور هذا الإشارات الخفية للذكاء الاصطناعي ليتوقع: "هل يحتاج هذا الذكاء الاصطناعي للمساعدة حقاً؟" و "هل البحث سيجعل الإجابة أفضل بالفعل؟".
بناءً على هذه الإشارة "الصادقة"، يخبر شرطي المرور الذكاء الاصطناعي: "نعم، اذهب وابحث" أو "لا، اعتمد على ذاكرتك".

4. النتائج

عندما استخدموا "شرطي المرور" هذا لتوجيه الذكاء الاصطناعي:

ارتكب الذكاء الاصطناعي أخطاءً أقل.
توقف عن هدر المال في عمليات بحث غير ضرورية.
بدأ يبحث بالضبط عندما يكون ذلك مفيداً للغاية.
ومن المثير للاهتمام، أن هذا نجح بشكل أفضل مع نماذج الذكاء الاصطناعي الأصغر والأقل قوة، مما ساعدها على الأداء بمستوى النماذج الأكبر بكثير.

ملخص

تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي حالياً سيئة جداً في تقييم معرفتها وقيمة الأدوات الخارجية. فهي غالباً ما تكون غير متسقة وغير فعالة. ومع ذلك، من خلال بناء نظام خارجي بسيط يقرأ "أفكارهم الخفية" بدلاً من الاستماع إلى "كلماتهم المنطوقة"، يمكننا إصلاح هذه القرارات السيئة، وتوفير المال، والحصول على إجابات أفضل بكثير.

ما لا تدعيه الورقة البحثية:

هي لا تقول إن هذا سيعمل في التشخيصات الطبية أو الاستشارات القانونية.
لا تدعي أن الذكاء الاصطناعي أصبح الآن "واعياً" أو "مدركاً لذاته".
لا تقترح أن الذكاء الاصطناعي سيتعلم القيام بذلك بشكل مثالي من تلقاء نفسه في النهاية؛ بل تقترح الورقة أننا بحاجة إلى هذه "المتحكمات" الخارجية لمساعدة الذكاء الاصطناعي على اتخاذ خيارات عقلانية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "هل أتصل أم لا أتصل: إطار عمل لتقييم وتحسين استدعاء الأدوات في النماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

تسمح بنيات الذكاء الاصطناعي الوكيل (Agentic AI) للنماذج اللغوية الكبيرة (LLMs) بتوسيع قدراتها من خلال استدعاء أدوات خارجية (مثل البحث عبر الويب، أو الآلات الحاسبة). ومع ذلك، تفتقر وكلاء النماذج اللغوية الكبيرة الحالية إلى آليات مبدئية لتحديد متى يتم استدعاء الأداة.

المشكلة الجوهرية: استخدام الأدوات ليس مفيداً بشكل عالمي؛ إذ يمكن أن تكون الاستدعاءات زائدة عن الحاجة (إذا كان النموذج يعرف الإجابة بالفعل) أو ضارة (إذا كانت الأداة تُدخل ضجيجاً أو تزيد من زمن الاستجابة).
الفجوة: تركز التقييمات الحالية على دقة المهام الإجمالية، متجاهلة جودة قرارات استدعاء الأدوات الفردية. لا يوجد إطار عمل يميز بين الضرورة/المنفعة الحقيقية والضرورة/المنفعة المتصورة للنموذج.
التحدي: بالنسبة للبحث عبر الويب تحديداً، تواجه النماذج صعوبة في تقدير "مكسب المنفعة" (utility gain) من استدعاء الأداة قبل القيام به، مما يؤدي غالباً إلى قرارات غير مثالية تنتهك قيود التكلفة أو تفشل في تحسين الأداء.

2. المنهجية: إطار عمل مبدئي

يقترح المؤلفون إطار عمل مستوحى من نظرية القرار (Decision Theory) ونظرية الاختيار العقلاني (Rational Choice Theory) لتقييم وتحسين استدعاء الأدوات. يقوم إطار العمل بتفكيك القرار إلى ثلاثة أبعاد ويحللها من خلال ثلاث عدسات متميزة:

أ. الأبعاد الثلاثة الرئيسية

الضرورة (Necessity): هل يحتاج النموذج إلى مساعدة خارجية لحل المهمة $T$ ؟ (هل يمكنه حلها بشكل مرضٍ باستخدام معرفته المعلمية فقط؟)
المنفعة (Utility): هل سيؤدي استدعاء الدالة $F$ إلى تحسين الأداء في المهمة $T$ ؟ (هل توفر الأداة مكسباً إيجابياً مقار عدم استخدام الأداة؟)
القدرة على تحمل التكلفة (Affordability): هل مكسب المنفعة يستحق التكلفة (زمن الاستجابة، رسوم واجهة برمجة التطبيقات API)؟ (هل يمكن للنموذج إعطاء الأولوية للحالات ذات المنفعة العالية تحت ميزانية محددة؟)

ب. العدسات التحليلية الثلاث

العدسة المعيارية (الـ "Oracle" أو "الخبير"): تحدد السلوك المثالي.
- الاحتياج الحقيقي: يتم تحديده بمقارنة أداء النموذج في وضع (بدون أداة - NO TOOL) مقابل عتبة جودة معينة.
- المنفعة الحقيقية: يتم تحديدها بمقارنة أداء وضع (استخدام الأداة دائماً - ALWAYS TOOL) مقابل وضع (بدون أداة - NO TOOL).
- القدرة على تحمل التكلفة الحقيقية: اختيار أفضل- $K$ من الحالات ذات أعلى مكسب هامشي في المنفعة ( $\Delta = s_{AT} - s_{NT}$ ) تحت ميزانية محددة.
العدسة الوصفية (الـ "Self-Decision" أو "القرار الذاتي"): تراقب سلوك النموذج الفعلي.
- الاحتياج المتصور: احتياج النموذج المعلن عن نفسه (عبر التلقين/Prompting) دون الوصول إلى الأداة.
- المنفعة المتصورة: قرار النموذج الفعلي باستدعاء أداة عند توفر الخيار.
العدسة التوجيهية (الـ "Controller" أو "المتحكم"): تقترح آلية لسد الفجوة بين السلوك الوصفي والمثليات المعيارية باستخدام التمثيلات الكامنة (Latent Representations).

ج. إطار عمل المتحكم (المقدرات الكامنة)

لمعالجة عدم الاتساق بين الإشارات المتصورة والحقيقية، يقترح المؤلفون تدريب مصنفات Perceptron متعدد الطبقات (MLP) خفيفة الوزن على الحالات الخفية (Hidden States) للنموذج (تحديداً تمثيل الرمز الأخير/final token representation)، بدلاً من الاعتماد على المخرجات اللغوية الطبيعية.

مقدر الاحتياج الكامن (LNE): يتنبأ بـ الاحتياج الحقيقي ( $N^\star$ ) باستخدام الحالات الخفية من وضع (بدون أداة).
مقدر المنفعة الكامن (LUE): يتنبأ بـ المنفعة الحقيقية ( $U^\star$ ) باستخدام الحالات الخفية من وضعي (بدون أداة) أو (الأداة دائماً).
الآلية: تعمل هذه المقدرات كمتحكمات خارجية، حيث تقوم بترتيب الحالات حسب المنفعة/الاحتياج المتوقع وتخصيص ميزانية ثابتة لأفضل- $K$ من الحالات، متجاوزة عملية اتخاذ القرار الذاتي المعيبة للنموذج.

3. الإعداد التجريبي

النماذج: ستة نماذج لغوية مفتوحة المصدر تتراوح من 3 مليار إلى 120 مليار معلمة (بما في ذلك GPT-OSS، Qwen3، Gemma3، Mistral، Llama3.2)، تغطي كلاً من النسخ الموجهة بالتعليمات (Instruction-tuned) ونسخ الاستدلال (Reasoning).
المهام:
1. مهمة الكيانات (Entity Task): توليد فقرات وصفية عن كيانات (لتقييم واقعية النصوص الطويلة).
2. مهمة InVivoQuery: الإجابة على أسئلة واقعية مشتقة من طلبات مستخدمين حقيقية.
3. مهمة BFCL: لوحة صدارة استدعاء الدوال من بيركلي (الأسئلة الفرعية الذرية).
الأدوات: البحث عبر الويب عبر Google (SerpAPI)، وPerplexity، وBrave، وTavily.
المقاييس: درجات الواقعية (يتم التحقق منها عبر LLM-as-a-judge والتدقيق البشري)، عدد استدعاءات الأدوات، ومكسب المنفعة تحت قيود الميزانية المتغيرة.

4. النتائج الرئيسية والمكتشفات

أ. عدم الاتساق بين الإدراك والواقع

القرارات الذاتية غير المثالية: تفشل النماذج باستمرار في مواءمة قرارات استدعاء الأدوات مع المنفعة الحقيقية.
- الإفراط في الاستدعاء: غالباً ما تستدعي النماذج أدوات لمهام يمكنها حلها داخلياً (منفعة سالبة).
- التقصير في الاستدعاء: تفشل النماذج في استدعاء الأدوات عندما تفتقر فعلياً إلى المعرفة (منفعة إيجابية فائتة).
الاتساق الذاتي مقابل الحقيقة: بينما يكون الاحتياج المتصور والمنفعة المتصورة لدى النموذج مترابطين (النموذج متسق داخلياً)، إلا أن هذه التصورات غير متوافقة مع الحقيقة الأرضية (Ground Truth). إن "اعتقاد" النموذج الداخلي حول معرفته غير موثوق.
الحساسية للتكلفة: تعاني النماذج من صعوبة في الالتزام بقيود الميزانية. حتى عند إخبارها صراحة بالتكلفة لكل استدعاء والميزانية المتبقية، فإن النماذج تتجاوز الحدود بشكل متكرر أو تفشل في إعطاء الأولوية للاستعلامات ذات المنفعة العالية (درجات NDCG منخفضة في سيناريوهات الميزانية المقيدة).

ب. أداء المقدرات الكامنة

تنبؤ متفوق: يتفوق مقدر الاحتياج الكامن (LNE) ومقدر المنفعة الكامن (LUE) بشكل كبير على القرارات الذاتية الصريحة للنماذج في التنبؤ بالاحتياج والمنفعة الحقيقيين.
تحسين أداء المهام: يؤدي استخدام المقدرات لتوجيه استدعاء الأدوات (إعداد "المُحسَّن" - Optimized) إلى:
- درجات واقعية أعلى مقارنة بوضع "القرار الذاتي" (Self-Decision).
- عدد أقل من استدعاءات الأدوات غير الضرورية.
- أداء أفضل تحت قيود الميزانية الصارمة، وغالباً ما يضاهي أو يتجاوز أداء النماذج الأكبر بكثير.
مكاسب النماذج الصغيرة: يظهر التحسن بشكل أكثر وضوح في النماذج الأصغر (مثل Llama3.2-3B)، والتي تستفيد أكثر من التوجيه الخارجي للإشارات الكامنة.

ج. فجوة الـ "Oracle"

حتى مع وجود المقدرات، لا يصل الأداء تماماً إلى مستوى الـ "Oracle" (المثالي). يشير المؤلفون إلى أن الاستدعاء المثالي للأدوات يتطلب نمذجة سلوك الأداة نفسها، وهو أمر صعب بطبيعته بسبب الطبيعة العشوائية لنتائج البحث عبر الويب.

5. الأهمية والمساهمات

إطار عمل نظري: يقدم أول إطار عمل مبدئي لتقييم استدعاء الأدوات بناءً على الضرورة، والمنفعة، والقدرة على تحمل التكلفة، متجاوزاً مجرد مقاييس الدقة الإجمالية البسيطة.
رؤية تجريبية: يثبت أن النماذج اللغوية الكبيرة المعاصرة هي أحكام غير موثوقة لمعرفتها وقيمة الأدوات الخارجية، مما يؤدي إلى عدم كفاءة منهجية.
حل عملي: يقترح آلية تحكم خفيفة الوزن وغير اقتحامية (المقدرات الكامنة) تعمل على تحسين اتخاذ القرار في الوكلاء دون الحاجة لإعادة ضبط (Fine-tuning) النموذج الأساسي. وهذا يشير إلى أن السلوك الوكيل الفعال قد يتطلب متحكمات خارجية صريحة بدلاً من الاعتماد فقط على الاستدلال الأصلي للنموذج.
الوعي بالتكلفة: يسلط الضوء على الفجوة الحرجة في تحليل التكلفة والعائد لدى النماذج الحالية، موضحاً أن النماذج تفشل في تحسين استخدام الأدوات حتى مع وجود مطالبات (Prompts) صريحة بالميزانية، مما يستدزم تدخلاً خارجياً.

الخاتمة

تجادل الورقة بأن قرار "الاستدعاء أو عدم الاستدعاء" هو عنق زجاجة أساسي في الذكاء الاصطناعي الوكيل. تعتمد النماذج الحالية على تصورات ذاتية معيبة تؤدي إلى استخدام الأدوات بشكل زائد أو ضار. ومن خلال الاستفادة من التمثيلات الكامنة لتقدير الاحتياج والمنفعة الحقيقيين، يمكن للباحثين بناء متحكمات تعزز بشكل كبير أداء المهام وكفاءة التكلفة، مما يمهد الطريق لوكلاء ذكاء اصطناعي أكثر عقلانية وموثوقية.