Signal or Noise? A Benchmark Study of Agent Skills in Web Development

في المشهد المعاصر لإنشاء البرمجيات، تطور الذكاء الاصطناعي من مجرد أداة بسيطة تجيب على الأسئلة إلى شريك مستمر يكتب الأكواد البرمجية. ولجعل هؤلاء المساعدين الرقميين أكثر موثوقية، بدأ المطورون في إلحاق "مهارات" بهم. فكر في المهارة ليس كتعليمات لمرة واحدة، بل ككتيب قواعد دائم أو مجموعة من العادات التي يحملها الذكاء الاصطناعي معه طوال جلسة العمل. تحتوي كتب القواعد هذه على إرشادات حول كيفية كتابة الكود لتقنيات محددة، وتحذيرات بشأن الأخطاء الشائعة التي يجب تجنبها، وأمثلة على كيفية حل المشكلات. والأمل هو أنه من خلال منح الذكاء الاصطناعي هذا السياق الإضافي، سيعمل كمهندس بشري خبير وليس كمبتدئ يخمن في كل خطوة. ومع ذلك، هناك تكلفة خفية لهذا النهج؛ ففي كل مرة تُضاف فيها مهارة، يزداد حجم النص الذي يجب على الذكاء الاصطناعي قراءته قبل الإجابة على سؤال ما. وهذا يثير سؤالاً حرجاً لم تتم الإجابة عليه: هل تساعد المعرفة الإضافية الذكاء الاصطناعي حقاً في أداء مهمته بشكل أفضل، أم أن الحجم الهائل للنص يؤدي ببساطة إلى إرباكه، مما يبطئه ويتسبب في وقوع المزيد من الأخطاء؟

لقد شرع فريق من الباحثين في شركة "بايدو" (Baidu) في الإجابة على هذا السؤال من خلال التعامل مع إضافة المهارات كتجربة علمية بدلاً من كونها إعداداً افتراضياً. وقد ركزوا على تطوير الويب، وهو مجال ضخم يُطلب فيه من الذكاء الاصطناعي تكرار بناء المواقع والتطبيقات باستخدام لغات مثل "جافا سكريبت" و"HTML". قاموا بجمع واحد وثلاثين دليلاً مختلفاً لمهارات عامة، تتراوح من نصائح البرمجة العامة إلى تعليمات محددة لأطر برمجية شهيرة. ولاختبارها، استخدموا ميدان اختبار صارم يتكون من خمسين مشروع ويب حقيقياً، يحتوي كل منها على عشرين مهمة متتالية تبني على بعضها البعض. خلق هذا إجمالي ألف تحدٍ متميز للذكاء الاصطناعي لحلها. ثم قام الباحثون بتشغيل المهام نفسها تحت أربعة ظروف مختلفة. في السيناريو الأول، لم يتلقَّ الذكاء الاصطناعي أي دليل مهارة إضافي على الإطلاق. وفي الثاني، تلقى دليل المهارة المحدد المخصص لذلك المشروع. وفي الثالث، ولعزل تأثير طول النص، تلقى الذكاء الاصطناعي دليلاً بنفس الحجم تماماً ولكنه مليء بمحتوى غير ذي صلة وغير منطقي. وأخيراً، قاموا بتفكيك الأدلة المفيدة لمعرفة أي أجزاء محددة — مثل القواعد أو التحذيرات أو أمثلة الأكواد — هي التي تقوم بالعمل فعلياً. اختبروا هذه الإعدادات عبر أربعة نماذج مختلفة من النماذج اللغوية الكبيرة، تتراوح من الأنظمة التجارية واسعة الاستخدام إلى نماذج البرمجة المتخصصة.

لقدت تحدت النتائج الافتراض الشائع بأن السياق الأكبر يؤدي دائماً إلى أداء أفضل. ففي جميع النماذج الأربعة التي تم اختبارها، أدى إضافة دليل المهارة المقصود في الواقع إلى خفض معدل نجاح الذكاء الاصطناعي. في المتوسط، أكمل الذكاء الاصطناعي مهاماً أقل بشكل صحيح عندما كانت المهارة موجودة مقارنة بما كانت عليه عند غيابها. لم يكن انخفاض الأداء طفيفاً؛ إذ تراوح بين تراجع صغير وفقدان كبير يصل إلى ما يقرب من أربع نقاط مئوية في معدلات النجاح. علاوة على ذلك، أصبح الذكاء الاصطناعي أقل كفاءة، حيث استهلك موارد حوسبة أكبر بكثير لإكمال نفس العمل. وفي بعض الحالات، قفزت تكلفة معالجة النص الإضافي بنسبة تقارب أربعمائة بالمائة. وجد الباحثون أن الذكاء الاصطناعي حسن أداءه فقط في حالات قليلة جداً، بنسبة تتراوح بين حالة واحدة من كل خمس حالات إلى حالة واحدة من كل ثلاث حالات من اقتران مهارة معينة بمشروع معين. يشير هذا إلى أنه في غالبية الحالات، كان حقن هذه المهارات يأتي بنتائج عكسية، حيث أدخل الضجيج بدلاً من الإشارة المفيدة.

كما كشét الدراسة أن سبب هذا الفشل يعتمد كلياً على نموذج الذكاء الاصطناعي المستخدم. بالنسبة لنموذجين من النماذج، كانت المشكلة ببساطة هي طول النص؛ فعندما أُعطيت هذه النماذج دليلاً بنفس طول الدليل الأصلي ولكن بمحتوى غير ذي صلة، كان أداؤها سيئاً تماماً كما حدث مع دليل المهارة الحقيقي. يشير هذا إلى أن انتباهها قد تشتت بسبب الحجم الهائل للكلمات، بغض النظر عن معنى تلك الكلمات. أما بالنسبة للنموذجين الآخرين، فلم يكن طول النص هو المشكلة؛ فقد تعاملوا مع النص غير ذي الصلة بشكل جيد. وبدلاً من ذلك، كان المحتوى المحدد لدليل المهارة يضللهم فعلياً، ويوجههم بعيداً عن الحل الصحيح. هذا التمييز أمر بالغ الأهمية لأنه يعني عدم وجود حل واحد للمشكلة؛ فبالنسبة لبعض الأنظمة، يكون الحل هو تقصير النص، وبالنسبة لأخرى، يجب إعادة كتابة المحتوى نفسه أو إزالته تماماً.

ولعل النتيجة الأكثر إثارة للدهشة هي أن المهارة التي تعمل جيداً مع نموذج ذكاء اصطناعي واحد غالباً ما تفشل أو حتى تضر نموذجاً آخر. وجد الباحثون عدم وجود أي صلة تقريباً بين كيفية أداء مهارة ما على نظام ما مقابل نظام آخر. فالدليل الذي ساعد أحد النماذج على حل مشكلة قد يتسبب في فشل نموذج آخر في المهمة ذاتها. هذا الافتقار إلى الاتساق يعني أن المطورين لا يمكنهم ببساطة النظر إلى دليل مهارة شائع وافتراض أنه سيعمل مع إعداداتهم الخاصة. بدلاً من ذلك، يجب اتخاذ قرار استخدام المهارة على أساس كل حالة على حدة، مع مراعاة النموذج المحدد، والمشروع المحدد، والمهمة المعنية. كما أظهرت الدراسة أن هذه المهارات كانت أكثر ضرراً في المهام الأسهل؛ فعندما كان الذكاء الاصطناعي يعرف بالفعل كيفية حل مشكلة ما، بدت القواعد الإضافية وكأنها تحبسه في طريقة تفكير جامدة، مما يمنعه من تصحيح الأخطاء الصغيرة التي كان بإمكانه إصلاحها بسهولة لولا ذلك.

أخيراً، قام الباحثون بتحليل المهارات المفيدة لمعرفة ما جعلها تنجح عندما تنجح. ووجدوا أن الأجزاء الأكثر قيمة كانت غالباً التحذيرات الموجزة عما لا يجب فعله، والمعروفة باسم "الأنماط المضادة" (anti-patterns). كانت هذه القواعد القصيرة فعالة في جميع الحالات. وفي المقابل، كانت الأقسام التي تحتوي على كتل طويلة من الأكواد البرمجية المثاليه مزيجاً متفاوتاً؛ فبينما ساعدت النماذج الأضعف أحياناً، إلا أنها مالت إلى إرباك النماذج الأكثر تقدماً، مما يشير إلى أن عرض الكثير من الأمثلة على الذكاء الاصطناعي قد يكون ضاراً. وتخلص الدراسة إلى أن عصر إلحاق أدلة المهارات بالوكلاء الذكيين بشكل أعمى قد انتهى. بدلاً من ذلك، يجب التعامل مع حقن هذه الأدوات كقرار توجيه دقيق، حيث يتم وزن الفائدة المحتملة مقابل تكلفة النص الإضافي لكل عملية نشر على حدٍّ. وتشير النتائج إلى أنه بدون هذا التدقيق الدقيق لكل مشروع، فإن الأدوات التي تهدف لجعل الذكاء الاصطناعي أكثر ذكاءً غالباً ما تجعله أبطأ وأقل موثوقية.