Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use

ملخص تقني: ضرورة الأداة المتكيفة مع النموذج تكشف عن فجوة "المعرفة-التنفيذ" في استخدام النماذج اللغوية الكبيرة للأدوات

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كوكلاء مستقلين يجب عليهم اتخاذ القرار بين الإجابة على الاستفسارات مباشرة أو استدعاء أدوات خارجية (مثل الآلات الحاسبة، أو واجهات برمجة تطبيقات البحث). لقد تعاملت الأبحاث السابقة حول الاستخدام المتكيف للأدوات إلى حد كبير مع "ضرورة الأداة" كخاصية ثابتة ومستقلة عن النموذج، يتم تصنيفها عادةً بواسطة مقيمين بشريين أو نماذج لغوية قوية. يفترض هذا النهج أن الاستفسار يعتمد بطبيعته على الأداة أو لا يعتمد عليها بغض النظر عن قدرات النموذج المحدد.

ومع ذلك، في النشر الواقعي، تعد ضرورة الأداة دقيقة للغاية بسبب تباين حدود القدرات عبر النماذج المختلفة. فالمشكلة التي يمكن حلها بواسطة نموذج متطور باستخدام أوزانه الداخلية فقط قد تتجاوز قدرات نموذج أصغر أو أضعف، مما يجعل استخدام الأداة ضروريًا تمامًا للنموذج الأخير، بينما يكون فائضًا عن الحاجة للأول. وبناءً على ذلك، تفشل التصنيفات الثابتة في توصيف متى يحتاج نموذج لغوي كبير محدد حقًا إلى مساعدة خارجية بدقة. علاوة على ذلك، لم تشخص الأعمال الحالية بشكل كافٍ لماذا تفشل النماذج في استدعاء الأدوات عند الحاجة إليها، أو تستدعيها دون داعٍ، رغم امتلاكها القدرة المحتملة للقيام بذلك.

المنهجية

يقترح المؤلفون إطار عمل قائم على ضرورة الأداة المتكيفة مع النموذج وتفكيك ثنائي المراحل لعملية استخدام الأداة.

1. تعريف ضرورة الأداة المتكيفة مع النموذج:
   بدلاً من الملصقات الثابتة، تُعرَّف ضرورة الأداة ($n_f(x)$) تجريبيًا بناءً على أداء نموذج محدد $f$. يقوم المؤلفون بإجراء $N$ من عمليات الاستدلال المستقلة عند درجة حرارة $T$ بدون الوصول إلى الأداة.

• إذا أجاب النموذج بشكل صحيح باستمرار عبر جميع عمليات التشغيل $N$، تُعتبر الاستعلام غير ضروري للأداة ($n_f(x) = 0$).
• إذا فشل النموذج مرة واحدة على الأقل، يُعتبر الاستعلام ضروريًا للأداة ($n_f(x) = 1$).
  يصور هذا التعريف الموثوقية تحت ظروف عدم اليقين، مع الإقرار بأن النموذج الذي ينجح أحيانًا فقط بدون أدوات لا يزال يستفيد من المساعدة الخارجية.

2. التفكيك ثنائي المراحل (الإدراك مقابل التنفيذ):
   يتم نمذجة عملية استخدام الأداة كـ $x \to z_f(x) \to a_f(z_f(x))$، حيث:

• الإدراك ($z_f$): التمثيل الداخلي للنموذج حول ما إذا كانت الأداة مطلوبة.
• التنفيذ ($a_f$): القرار الفعلي لإخراج الرموز (tokens) التي تطلق الأداة.
  يتم تفكيك الخطأ الشامل إلى عدم التطابق بين الضرورة الفعلية والإدراك، وعدم التطابق بين الإدراك والتنفيذ.

3. التفسير الآلي عبر المسبار (Probing):
   يستخدم المؤلفون المسبار الخطي (linear probing) على الحالات الخفية للنماذج اللغوية الكبيرة لتحليل كلتا المرحلتين:

• مسبار الإدراك: يدرب مصنفًا خطيًا ($w_c$) للتنبؤ بملصق ضرورة الأداة المتكيف مع النموذج من الحالات الخفية.
• مسبار الإجراء: يدرب مصنفًا خطيًا ($w_a$) للتنبؤ بسلوك استدعاء الأداة الفعلي.
• التحليل الهندسي: يتم حساب تشابه جيب التمام (cosine similarity) بين $w_c$ و $w_a$ عبر الطبقات ومواقع الرموز لتحديد ما إذا كان الاعتقاد الداخلي ونية التنفيذ متوافقين.

4. تتبع المسار:
   يتم تتبع العينات عبر العملية ثنائية المراحل لتحديد مصدر الأخطاء. يتم تصنيف العينة بناءً على ما إذا كان الخطأ يحدث في مرحلة الإدراك، أو مرحلة التنفيذ، أو كليهما.

الإعداد التجريبي

• النماذج: تم تقييم أربعة نماذج لغوية كبيرة متميزة: Qwen3-8B، Qwen3-4B، Llama-3.1-8B-Instruct، و Llama-3.2-3B-Instruct.
• مجموعات البيانات:
  • الحساب: 4,000 حالة تتراوح من الجمع البسيط إلى العمليات المعقدة متعددة الخطوات التي تتضمن باقي القسمة وأسبقية العمليات.
  • الأسئلة والأجوبة الواقعية: TruthfulQA (817 حالة) مصممة لاختبار الموثوقية الواقعية.
• التقييم: تم اختبار النماذج مع إمكانية الوصول إلى الأدوات (آلة حاسبة للحساب، وواجهة برمجة تطبيقات البحث للأسئلة والأجوبة). تم جمع سلوكيات استدعاء الأدوات باستخدام فك الترميز الجشع (greedy decoding).

النتائج الرئيسية

1. عدم تطابق جوهري بين الضرورة والإجراء:
   باستخدام التعريف المتكيف مع النموذج، وجد المؤلفون تباينات كبيرة بين متى تكون الأدوات ضرورية فعليًا ومتى تستدعيها النماذج.

• الحساب: تراوحت معدلات عدم التطابق بين 26.5% و 54.0%.
• الأسئلة والأجوبة الواقعية: تراوحت معدلات عدم التطابق بين 30.8% و 41.8%.
  اختلفت أنماط الفشل المهيمنة حسب النموذج والمجال؛ حيث أفرطت بعض النماذج في استخدام الأدوات (استدعاؤها عندما تكون قادرة على الإجابة مباشرة)، بينما قللت نماذج أخرى من استخدامها (الفشل في استدعاء الأدوات رغم افتقارها للمعرفة الداخلية).

2. قابلية التشفين الخطي للإدراك والإجراء:

• الإدراك: التمثيلات الداخلية لضرورة الأداة قابلة للفك الخطي من الحالات الخفية، خاصة في الطبقات المتوسطة والمتأخرة. ومع ذلك، فإن القابلية للفصل تعتمد على المهمة، حيث تكون أقوى في الحساب (حيث ترتبط الصعوبة بالبنية السطحية) منها في الأسئلة والأجوبة الواقعية.
• الإجراء: قرار استدعاء الأداة قابل أيضًا للفك الخطي بدرجة عالية، وغالبًا ما يمتد عبر مناطق واسعة من الطبقات ومواقع الرموز.

3. فجوة التعامد:
   بينما كانت مسابرات الإدراك والإجراء فعالة بشكل فردي، فإن ناقلات الاتجاه الخاصة بها ($w_c$ و $w_a$) تصبح متعامدة تقريبًا في الطبقات المتأخرة من رمز الاستعلام الأخير (النظام الذي يقود توليد الرمز التالي). يشير هذا إلى أن الإشارة الداخلية التي تتعرف على الحاجة إلى أداة منفصلة هندسيًا عن الإشارة التي تحفز استدعاء الأداة في لحظة القرار الحرجة.

4. تحديد موقع الفشل (فجوة المعرفة-التنفيذ):
   كشف تتبع المسار أن غالبية حالات عدم التطابق الشاملة تنشأ في مرحلة التنفيذ (الانتقال من الإدراك إلى الإجراء)، وليس في مرحلة الإدراك.

• تحدث معظم الأخطاء عندما يحدد النموذج ضرورة الأداة داخليًا بشكل صحيح (إدراك صحيح) ولكنه يفشل في ترجمة ذلك إلى الإجراء النحوي لاستدعاء الأداة.
• يستمر هذا التباين حتى عندما يكون ثقة النموذج في تقييم ضرورته عالية (قريبة من 0 أو 1)، مما يشير إلى أن المشكلة ليست في عدم اليقين بل في الفشل في ترجمة الوعي إلى فعل.

الأهمية والمساهمات

يزعم البحث تقديم المساهمات التالية:

• إعادة تعريف ضرورة الأداة: قدم تعريفًا لضرورة الأداة متكيفًا مع النموذج ومبنيًا على الأداء التجريبي، مما يتحدى الاعتماد على التصنيفات الثابتة والمستقلة عن النموذج.
• قياس التباين السلوكي: أثبت تجريبيًا وجود تباينات جوهرية (تصل إلى 54%) بين ضرورة الأداة الفعلية وأفعال استدعاء الأدوات المرصودة عبر نماذج ومجالات متعددة.
• الرؤية الآلية: من خلال مسبار التمثيل، أظهر أن كلاً من ضرورة الأداة ونية التنفيذ قابلتان للفك الخطي، ومع ذلك، فإن تمثيلاتهما تصبح متعامدة تقريبًا في نظام الطبقة المتأخرة والرمز الأخير.
• تشخيص "فجوة المعرفة-التنفيذ": حدد أن العائق الرئيسي في استخدام الأدوات من قبل النماذج اللغوية الكبيرة ليس التعرف على متى تكون الأدوات مطلوبة، بل ترجمة هذا التعرف إلى إجراء.

يخلص المؤلفون إلى أن تحسين الوكلاء المستقلين القائمين على النماذج اللغوية الكبيرة يتطلب ليس فقط تعزيز الإدراك الميتا-معرفي الداخلي، بل تحديدًا جسر "فجوة المعرفة-التنفيذ" لضمان ترجمة الوعي الذاتي بشكل موثوق إلى تنفيذ صحيح.