🤖 machine learning

To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents

تحدد هذه الورقة البحثية وتفسر آلياً انحياز الاستدعاء المفرط الجوهري في وكلاء النماذج اللغوية الكبيرة، حيث تفضل النماذج استدعاء الأدوات حتى عندما يكون ذلك غير ضروري، وتثبت أنه يمكن تصحيح هذا الانحياز سببياً باستخدام المشفّرات التلقائية المتفرقة لتحسين دقة القرار الإجمالية دون التضحية بأداء الاستدعاء.

المؤلفون الأصليون: Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً جداً ومتحمساً يحب استخدام الأدوات. تطلب منه القيام بشيء ما، فيهرع على الفور إلى صندوق أدواته. المشكلة هي أنه غالباً ما يلتقط أداة حتى عندما لا يحتاج إليها، أو عندما تنقصه معلومة حاسمة لاستخدامها بشكل صحيح.

تبحث هذه الورقة البحثية في سبب حدوث ذلك وكيفية إصلاحه. إليك التفاصيل بكلمات بسيطة:

المشكلة: المساعد "المتحمس أكثر من اللازم"

بحث الباحثون في العديد من نماذج الذكاء الاصطناعي المتقدمة (مثل Qwen وGemma وMinistral) ووجدوا خللاً ثابتاً: الإفراط في الاستدعاء (Over-calling).

الخبر الجيد: عندما يجب على الذكاء الاصطناعي استخدام أداة (مثل التحقق من حالة الطقس)، فإنه يقوم بعمل رائع. حيث يحقق "دقة الاستدعاء" (Call Accuracy) بنسبة تقترب من 100%.
الخبر السيئ: عندما لا يجب على الذكاء الاصطناعي استخدام أداة (مثل عندما يكون طلب المستخدم غامضاً ويتطلب توضيحاً أولاً)، فإن الذكاء الاصطناعي غالباً ما يستدعي الأداة على أي حال. لذا، فإن "دقة عدم الاستدعاء" (No-Call Accuracy) لديه منخفضة جداً.

التشبيه: فكر في الأمر كأنه نادل سريع جداً في إحضار الطعام عندما تطلبه، ولكنه أيضاً يحضر لك شريحة لحم بينما كنت تطلب قائمة الطعام فقط، أو يحضر لك مشروباً قبل أن تقول حتى إنك عطشان. إنه متحمس جداً لـ "فعل الشيء" لدرجة أنه ينسى التحقق مما إذا كان هذا الشيء مطلوباً بالفعل.

التشخيص: "وزن انحياز" غير مرئي

أراد الباحثون معرفة لماذا هذا الذكاء الاصطناعي متحمس للغاية. لم يكتفوا بالنظر إلى إجابات الذكاء الاصطناعي فحسب، بل نظروا داخل "دماغ" الذكاء الاصطناعي (رياضياته الداخلية) باستخدام أداة تسمى المشفّر التلقائي المتناثر (Sparse Autoencoder - SAE). يمكنك التفكير في الـ SAE كمجهر عالي القدرة يسمح لنا برؤية "المفاتيح" أو "الميزات" المحددة التي يستخدمها الذكاء الاصطناعي لاتخاذ القرارات.

وقد اكتشفوا شيئاً مفاجئاً:

نظرية "التنشيط": في الحالات العادية، قد تعتقد أن الذكاء الاصطناعي يقرر استدعاء أداة إذا كانت إشارة "الاستدعاء" أعلى من إشارة "عدم الاستدعاء".
الواقع (فرضية الانحياز الجوهري): وجد الباحثون أنه حتى عندما تكون إشارة "الاستدعاء" وإشارة "عدم الاستدعاء" متساويتين تماماً (تعادل)، فإن الذكاء الاصطناعي لا يزال يختار الاستدعاء.

التشبيه: تخيل ميزاناً يوازن بين وزن "الاستدعاء" في جانب ووزن "عدم الاستدعاء" في الجانب الآخر.

إذا كانت الأوزان متساوية، يظل الميزان الطبيعي متوازناً.
لكن ميزان هذا الذكاء الاصطناعي يحتوي على وزن خفي وغير مرئي ملتصق بجانب "الاستدعاء". حتى لو كانت الأوزان المرئية متساوية، فإن الميزان يميل نحو "الاستدعاء".
لكي تجعل الميزان يتوازن (أو يميل نحو "عدم الاستدعاء")، يتعين عليك في الواقع وضع وزن أكبر في جانب "عدم الاستدعاء" للتغلب على هذا الانحياز الخفي.

الحل: تعديل "الوزن المضاد للانحياز"

بمجرد العثور على هذا الوزن الخفي، ابتكروا حلاً يسمى التوجيه المعاير بهامش تكيفي (AMCS - Adaptive Margin-Calibrated Steering).

التشبيه: بما أنهم عرفوا بالضبط مدى ثقل "وزن الاستدعاء" الخفي، فقد صنعوا "وزناً مضاداً" لإلغائه.

لم يقوموا بإعادة تدريب الذكاء الاصطناعي (الأمر الذي يستغرق وقتاً طويلاً وقد يؤدي إلى إفساد أشياء أخرى).
بدلاً من ذلك، قاموا بتطبيق دفعة رياضية دقيقة وصغيرة على إشارات الذكاء الاصطناوية الداخلية في كل مرة كان على وشك اتخاذ قرار.
أزالت هذه الدفعة الوزن الخفي، مما سمح للميزان بالتوازن بشكل صحيح.

النتائج

عندما اختبروا هذا الإصلاح:

أخطاء أقل: توقف الذكاء الاصطناعي عن استدعاء الأدوات عندما لا ينبغي له ذلك (مما أصلح مشكلة "الحماس الزائد").
لا يزال بارعاً في عمله: لم يفقد قدرته على استدعاء الأدوات عندما كان من المفترض استدعاؤها. ظلت "دقة الاستدعاء" عالية.
تحسن عام: ارتفع إجمالي درجة أداء الذكاء الاصطناعي بشكل كبير.

الملخص

تجادل الورقة البحثية بأن وكلاء الذكاء الاصطناعي ليسوا فقط "مرتبكين" بشأن متى يستخدمون الأدوات؛ بل لديهم انحياز ميكانيكي مدمج يجعلهم يفضلون استدعاء الأدوات على طلب المزيد من المعلومات. ومن خلال استخدام "مجهر" للعثور على هذا الانحياز و"وزن مضاد" لإلغائه، جعلوا الذكاء الاصطناعي أكثر موثوقية دون الحاجة إلى إعادة تعليمه من الصفر.

ما لا تدعيه الورقة البحثية:

هي لا تدعي أن هذا يصلح جميع هلوسات الذكاء الاصطناعي أو أخطاء الاستدلال، بل تعالج فقط مسألة متى يتم استدعاء أداة.
هي لا تدعي أن هذا إصلاح دائم للتدريب؛ بل هو تعديل يتم في الوقت الفعلي أثناء تشغيل الذكاء الاصطناعي.
هي لا تناقش الاستخدامات الطبية أو السريرية؛ فالتركيز ينصب حصرياً على معايير استخدام الأدوات.

ملخص تقني: تشخيص انحياز الاستدعاء المفرط الجوهري في وكلاء النماذج اللغوية الكبيرة (LLM Agents)

بيان المشكلة

تطورت وكلاء النماذج اللغوية الكبيرة (LLM agents) لاستخدام أدوات خارجية (مثل محركات البحث، وواجهات برمجة التطبيقات)، ومع ذلك فهي تظهر نمط فشل منهجي يُعرف بـ الاستدعاء المفرط (over-calling): وهو الميل إلى استدعاء الأدوات حتى عندما يفتقر طلب المستخدم إلى المعلومات الضرية أو عندما تكون الإجابة المباشرة كافية.

يكشف التقييم على معيار When2Call عن عدم تماثل ثابت عبر ستة نماذج من ثلاث عائلات (Qwen3.5، Gemma-3، Ministral-3). وبينما تحقق هذه النماذج دقة عالية عندما يكون استدعاء الأداة مطلوباً (دقة الاستدعاء: 90%–99%)، إلا أن دقتها تنخفض بشكل كبير عندما يكون الإجراء الصحيح هو عدم استدعاء أداة (دقة عدم الاستدعاء: 2%–69%). وينتج عن هذا انحياز يؤدي إلى تدهور تجربة المستخدم (على سبيل المثال، تخيل استدعاءات للأدوات لطلبات غير محددة بدقة) وتضخم تكاليف واجهة برمجة التطبيقات (API) في الأنظمة المنشورة.

المنهجية

يقترح المؤلفون تحقيقاً ميكانيكياً في عملية اتخاذ القرار الداخلية لوكلاء النماذج اللغوية الكبيرة، متجاوزين الملاحظة التجريبية إلى التحليل السببي.

1. فرضية الانحياز الجوهري (IBH)

تفترض الورقة أن الاستدعاء المفرط ليس مجرد وظيفة لمستويات التنشيط، بل ينبع من إزاحة استدعاء (CALL offset) مستقلة عن التنشيط في رسم القرار.

الفرضية: يتم تحديد قرار الاستدعاء أو عدم الاستدعاء من خلال هامش تنشيط مُوقع ( $m$ ) بين اتجاهات سمات "الاستدعاء" (CALL) و"عدم الاستدعاء" (NO_CALL). ومع ذلك، فإن حد القرار مزاح بحيث يفضل النموذج الاستدعاء حتى عند تساوي التنشيط ( $m=0$ ). لا يصبح النموذج محايداً في القرار إلا عندما يفوق تنشيط "عدم الاستدعاء" تنشيط "الاستدعاء" بشكل كبير.
الصيغة الرياضية: يتم نمذجة احتمال الاستدعاء كالتالي: $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$ ، حيث تمثل $\beta_0 > 0$ إزاحة الانحياز الجوهري.

2. اكتشاف السمات عبر المشفرات التلقائية المتفرقة (SAEs)

لاختبار فرضية الانحياز الجوهري (IBH)، يستخدم المؤلفون المشفرات التلقائية المتفرقة (Sparse Autoencoders) لتفكيك تنشيطات مسار المتبقي (residual-stream) إلى سمات قابلة للتفسير.

التدريب: تم تدريب TopK SAEs على مسارات المتبقي للنماذج المستهدفة باستخدام منهج تعليمي من مرحلتين: الأولى على مجموعة بيانات واسعة (OpenWebText2) لتعلم الهندسة العامة، والثانية على مجموعة بيانات When2Call للتكيف مع سياقات استخدام الأدوات.
قواعد السمات: تم استرداد مجموعتين من السمات المتوافقة سلوكياً:
- $\mathcal{C}$ : السمات المرتبطة بقوة بقرارات الاستدعاء (CALL) الملحوظة.
- $\mathcal{N}$ : السمات المرتبطة بقوة بقرارات عدم الاستدعاء (NO_CALL) الملحوظة.
التحقق: تتنبأ المجسات الخطية (Linear probes) المدربة على عدد قليل من هذه السمات (عادةً $K \le 5$ ) بقرار البوابة بدقة تقترب من الحد الأعلى للمسار المتبي الخام، مما يؤكد أن هذه السمات تلتقط إشارة البوابة الأساسية.

3. التشخيص والتقدير الكمي

باستستخدام قواعد السمات المستردة، يحلل المؤلفون هندسة التنشيط:

منظور مشروط بالاستجابة: تتركز استجابات "عدم الاستدعاء" في نصف المستوى المهيمن لـ "عدم الاستدعاء"، بينما تمتد استجابات "الاستدعاء" عبر قطر التكافؤ إلى مناطق يكون فيها دليل "عدم الاستدعاء" مكافئاً أو أقوى.
منظور مشروط بالمدخلات: من بين استجابات "الاستدعاء" الصادرة، تقع "الاستدعاءات الخاطئة" (أخطاء الاستدعاء المفرط) بالقرب من قطر التكافؤ أكثر من "الاستدعاءات الحقيقية"، مما يشير إلى أن الانحياز يدفع الحالات الضعيفة لتجاوز حد القرار.
تقدير الإزاحة: يؤكد الانحدار اللوجستي لهامش التنشيط المُوقع وجود حد تعادل سالب ( $m^* < 0$ ) لجميع النماذج، مما يحدد كمياً إزاحة الانحياز الجوهري $\beta_0$ .

4. التدخل السببي: التوجيه المعاير لهامش التكيف (AMCS)

للتحقق من فرضية (IBH) سببياً، يقدم المؤلفون طريقة AMCS، وهي طريقة توجيه مغلقة الصيغة.

الآلية: تحسب AMCS متجه توجيه على طول اتجاهات فك تشفير SAE لـ $\mathcal{C}$ و $\mathcal{N}$ . وهي تطبق إزاحة مضادة للانحياز $\delta = -\beta_0 / \beta$ على هامش التنشيط.
التنفيذ: يتم توزيع الإزاحة على أعلى السمات ترتيباً بناءً على فجوات التنشيط الخاصة بها. يتم تطبيق التدخل كإضافة متجه واحدة إلى مسار المتبقي أثناء وقت الاستنتاج، مما لا يتطلب استدعاءات إضافية للنموذج أو ضبطاً تكرارياً.

النتائج الرئيسية

أُجريت التجارب على ستة نماذج مضبوطة للتعليمات (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B).

تخفيف الاستدعاء المفرط: أدى إلغاء الإزاحة المشخصة عبر AMCS إلى تحسين دقة "عدم الاستدعاء" بشكل ملحوظ بمقدار 4 إلى 17 نقطة مئوية في خمسة من أصل ستة نماذج.
الحفاظ على الاستدعاءات الصالحة: تحافظ الطريقة على دقة "الاستدعاء" مع انخفاض طفيف (ضمن 5 نقاط) في خمسة نماذج، مما يثبت أن التدخل يصحح الانحياز دون كبح استخدام الأدوات الضروري.
الدقة الإجمالية: تحسن الدقة الإجمالية بمقدار يصل إلى 5 نقاط في عدة نماذج (على سبيل المثال، +5.10% في Qwen3.5-9B).
المقارنة مع النماذج المرجعية:
- هندسة الأوامر (Prompt Engineering): بينما كانت فعالة في زيادة دقة "عدم الاستدعاء"، إلا أنها قللت بشكل حاد من دقة "الاستدعاء" (على سبيل المثال، -56% في Ministral-3-8B)، مما أدى إلى خسارة صافية في الأداء الإجمالي.
- التوجيه أحادي الجانب (One-Sided Steering): الطرق التي تكتفي بقمع سمات "الاستدعاء" فقط أو تعزيز سمات "عدم الاستدعاء" فقط تفشل في تحقيق التوازن الذي توفره AMCS، مما ينتج عنه مكاسب أقل في الدقة الإجمالية.
قصور Gemma-3: أظهرت نماذج Gemma-3 انفصالاً ضئيلاً بين الاستدعاءات الحقيقية والخاطئة على طول محاور SAE، مما أدى إلى قدرة محدودة على الاستفادة من التدخلات القائمة على الهامش. وقد عوملت هذه النماذج كحالات مرجعية وليس كأدلة أساسية.

الأهمية والادعاءات

تدعي الورقة أنها تعيد صياغة الاستدعاء المفرط من ظاهرة تجريبية إلى كائن ميكانيكي يمكن قياسه ونمذجته وتعديله سببياً.

الرؤية الميكانيكية: يوضح العمل أن بوابة استخدام الأدوات محكومة بانحياز جوهري مستقل عن التنشيط، وليس فقط بقوة تنشيط السمات.
التصحيح السببي: من خلال تحديد وإلغاء حد الإزاحة المحدد ( $\beta_0$ ) عبر توجيه مستند إلى SAE، يقدم المؤلفون تحقُّقاً سببياً لفرضية الانحياز الجوهري (IBH).
القابلية للتحكم: تعمل الإزلة المشخصة كـ "مقبض" لجهد الاستدعاء. وتعمل AMCS كخطوة أولى نحو واجهة "جهد الاستدعاء"، مما يسمح للأنظمة بضبط التوازن بين الاستدعاء المتحمس للأدوات والتحقق من المستخدم دون إعادة تدريب النموذج.
النطاق: تركز الدراسة على التصحيح أثناء الاستنتاج للنماذج المنشورة. وهي لا تتبع أصول هذا الانحياز في وقت التدريب، ولا تدعي حل مشكلات التخطيط طويلة المدى للوكلاء خارج وحدة قرار (الاستدعاء مقابل التحقق) المحددة.

الكود والبيانات متاحة على https://github.com/SKURA502/agent-sae/.