تخيل عالماً لا يكتفي فيه مساعدك الذكي بالدردشة معك فحسب، بل يمتلك أيضاً قوة خارقة: القدرة على استدعاء مكتبة واسعة من الأدوات وقواعد البيانات فوراً لحل مشكلاتك. هذا هو الأفق المثير لـ النماذج اللغوية الكبيرة (LLMs) وهي تعمل مع الأدوات. فكر في النموذج اللغوي الكبير كطالب ذكي وفضولي، يعرف الكثير ولكنه يحتاج أحياناً للبحث عن معلومات. ولمساعدة هذا الطالب، لدينا معيار جديد يسمى بروتوكول سياق النموذج (MCP). يمكنك التفكير في (MCP) كجهاز تحكم عن بعد عالمي يسمح لـ "المضيف" (التطبيق الذي يشغل الطالب) بتسليم أدوات محددة، وبيانات، ومجموعة من التعليمات حول كيفية استخدامها.

السؤال الكبير الذي يطرحه الباحثون هو: هل يستمع الطالب للتعليمات حقاً؟ في بعض الأحيان، تقول التعليمات: "مهلاً، لقد كتبتُ بالفعل الإجابة التي تحتاجها هنا على هذه الصفحة؛ فقط اقرأها!" ولكن في أحيان أخرى، تقول التعليمات أيضاً: "أوه، وبالمناسبة، هناك زر بحث يمكنك الضغط عليه إذا أردت". اتضح أنه حتى أذكى الطلاب قد يتشتتون بزر البحث اللامع، متجاهلين الإجابة الموجودة أمامهم مباشرة. هذه الورقة البحثية تغوص في هذا السيناريو تحديداً لترى ما إذا كانت "عادة البحث" أقوى من القدرة على قراءة التعليمات، وإذا كان الأمر كذلك، فكيف يمكننا إصلاح ذلك.

---

تجربة "اقرأ القائمة" مقابل "نادِ النادل" العظيمة

في هذه الدراسة، أنشأ الباحثون مطبخاً رقمياً يسمى Lexink، وهو خادم (Server) مصمم لمساعدة الأشخاص في العثي على القوانين الكورية. تخيل أن هذا الخادم هو قائمة طعام في مطعم. عادةً، إذا كنت تريد طبقاً معيناً (قانوناً)، فعليك أن تطلب من النادل (أداة البحث) الذهاب إلى المطبخ، وإيجاد الوصفة، وإحضارها. وهذا يستغرق وقتاً وجهداً.

ومع ذلك، قرر صاحب المطعم أن يكون ذكياً. فقد طبع قائمة "الأطباق الخاصة اليومية" مباشرة على الطاولة (تعليمات الخادم) وتضمنت أكثر 20 طبقاً شعبية ورقم الطلب الخاص بكل منها. كانت القاعدة بسيطة: إذا أردت طبقاً موجوداً في هذه القائمة، فقط أخبر النادل برقم الطلب مباشرة. لا تزعجه بطلب البحث في المطبخ! من المفترض أن يكون هذا أسرع وأقل تكلفة.

بعد ذلك، دعا الباحثون 24 طالباً مختلفاً من الذكاء الاصطناعي (من عائلات مثل Claude وGemini وGPT) للطلب من هذه القائمة. أجروا تجربة ضخمة شملت 54,000 محاولة لمعرفة ما سيحدث. هل سيقرأ طلاب الذكاء الاصطناعي قائمة "الأطباء الخاصة" ويطلبون مباشرة؟ أم سيتجاهلون القائمة ويضغطون على زر "البحث" على أي حال؟

الاكتشاف الصادم: زر البحث مغرٍ للغاية

كانت النتائج بمثابة جرس إنذار. عندما أزال الباحثون زر البحث تماماً، مما أجبر الطلاب على استخدام القائمة الموجودة على الطاولة، قام 24 نموذجاً مختلفاً من أصل 24 بعمل رائع، حيث قرأوا القائمة وطلبوا بشكل صحيح بنسبة تتراوح بين 98% إلى 100%. أثبت هذا أن الطلاب يمكنهم قراءة التعليمات؛ هم فقط لم يرغبوا في ذلك عندما كان زر البحث متاحاً. لكن عندما كان زر البحث موجوداً، تغيرت القصة بشكل كبير. فقد انخفضت نسبة النجاح لدى 9 من أصل 24 نموذجاً إلى أقل من 15%. لقد تجاهلوا تماماً قائمة "الأطباق الخاصة" واستمروا في الضغط على زر البحث، رغم أن الإجابة كانت أمامهم مباشرة على الطاولة. يطلق الباحثون على هذا اسم "التفضيل السلوكي". المسألة ليست أن الذكاء الاصطناعي غبي جداً لدرجة تمنعه من القراءة؛ بل إنه يمتلك عادة الوصول إلى الأداة التي يعرفها جيداً، حتى عندما يكون ذلك الخيار غير فعال. إنه يشبه طفلاً يعرف أن الإجابة في الصفحة 5، لكنه يستمر في سؤال المعلم لفتح الكتاب على الصفحة 5 على أي حال.

ومن المثير للاهتمام أن كون النموذج "أحدث" أو "أذكى" لم يضمن سلوكاً أفضل. فبعض النماذج الأحدث فعلياً أصبحت أسوأ في اتباع هذه القاعدة المحددة مقارنة بنماذجها الأقدم. وجدت الدراسة أن حداثة النموذج لا تتنبأ بمن سيكون مستمعاً جيداً في هذه الحالة.

هل يمكننا تدريبهم على الاستماع؟ (التركيبة السحرية)

حاول الباحثون بعد ذلك إصلاح هذه العادة السيئة عن طريق تغيير التعليمات الموجودة على الطاولة. لقد اختبروا ثلاث حيل مختلفة:

1. العنوان الآمر (B): تحذير كبير وعريض يقول: "يجب استخدام القائمة! لا تبحث!"
2. المثال (C): عرض صورة لشخص يقوم بالأمر بشكل صحيح وشخص آخر يقوم به بشكل خاطئ.
3. التلميح (D): تغيير وصف زر البحث ليقول: "تحقق من القائمة أولاً قبل استخدامي".

لقد مزجوا واختلطوا بين هذه الحيل في كل التوليفات الممكنة. وأظهرت النتائج أن أي حيلة منفردة لم تنجح مع الجميع. في الواقع، بالنسبة لبعض نماذج الذكاء الاصطناعي، جعل استخدام "العنوان الآمر" وحده يؤدي بهم إلى أداء أسوأ (بانخفاض إلى 0% في إحدى الحالات!). إنه يشبه كيف أن الصراخ بصوت عالٍ قد يخيف طالباً ويجعله يعمل، بينما يجعل طالباً آخر يتجمد من الخوف.

ومع ذلك، عندما جمعوا الثلاث حيل معاً، كانت النتائج مذهلة. قفزت 20 من أصل 24 نموذجاً مرة أخرى إلى معدلات نجاح تبلغ 86% أو أكثر. يشير هذا إلى أنه بينما لا يمكنك مجرد الصراخ في وجه الذكاء الاصطناعي لإصلاح عاداته، فإن نهجاً شاملاً يجمع بين التحذيرات والأمثلة والتلميحات يمكن أن يعيد معظمهم إلى المسار الصحيح.

ماذا يعني هذا للمستقبل

الخلاصة الرئيسية هي أن مجرد إعطاء الذكاء الاصطناعي أداة ومجموعة من التعليمات ليس كافياً. قد يكون لدى الذكاء الاصطناعي "رد فعل بحث" يتجاوز التعليمات، مما يؤدي إلى إضاعة الوقت والموارد. تجادل الورقة بأن التطبيقات التي تشغل هذه النماذج (المضيفين) بحاجة إلى التدخل. بدلاً من الأمل في أن يقرأ الذكاء الاصطناعي التعليمات، يجب على التطبيق إجبار الذكاء الاصطناعي على التحقق من التعليمات قبل أن يُسمح له حتى باختيار أداة.

حتى يحدث ذلك، يجب على المطورين توخي الحذر. لا يمكنهم مجرد كتابة مجموعة واحدة من التعليمات وتوقع أن تعمل مع كل ذكاء اصطناعي. يحتاجون إلى اختبار تعليماتهم ضد "أضعف" النماذج التي يتوقعون استخدامها، ويجب عليهم استخدام مزيج من الأمثلة والتلميحات بدلاً من مجرد الأوامر الآمرة. تظهر الدراسة أنه بينما المشكلة حقيقية، إلا أنها قابلة للحل أيضاً باستخدام "الوصفة" الصحيحة من التعليمات.