A Few Pages of Markdown: Committed AI Configuration and Lower Quality Cost after Coding-Agent Adoption
تقدم هذه الورقة نموذج RAMP، وهو نموذج نضج تراكمي لتكوين الذكاء الاصطناعي على مستوى المستودع، وتثبت أنه في حين تسرع وكلاء البرمجة عملية التطوير باستمرار عبر جميع مستويات النضج، فإن الفرق التي تفتقر إلى وثائق تكوين الذكاء الاصطنافي الملتزم بها تشهد ارتفاعاً ملحوظاً في الديون التقنية وتدهوراً في الجودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في السنوات القليلة الماضية، وصل نوع جديد من المساعدين البرمجيين إلى مكاتب المطورين المحترفين. هؤلاء ليسوا مجرد أدوات تنهي جملة أو تقترح اسم متغير؛ بل هم وكلاء مستقلون قادرون على كتابة أقسام كاملة من الكود، وإصلاح الأخطاء، وتقديم التغييرات إلى المشروع بأقل قدر من التدخل البشري. بالنسبة للعديد من الفرق، كان هذا التحول بمثابة كشف، حيث وعد بتسريع العمل الذي كان يستغرق أياماً ليصبح يستغرق ساعات. ومع ذلك، كانت التجربة متفاوتة؛ فبينما تبلغ بعض الفرق عن تحسينات سلسة ومستدامة، تصف فرق أخرى فيضاً من الكود الفوضوي والمليء بالأخطاء الذي يخلق عملاً للمراجعين البشر أكثر مما يوفر عليهم. اللغز المركزي للباحثين كان فهم سبب إنتاج هذه الأدوات القوية لنتائج مختلفة تماماً. هل التكنولوجيا نفسها معيبة، أم أن النتيجة تعتمد على كيفية اختيار الفريق لاستخدامها؟
للإجابة على ذلك، نظر فريق من الباحثين من جامعة ستانفورد وجامعة كارنيجي ميلون إلى ما وراء الكود نفسه، وتوجهوا نحو التعليمات التي تتركها الفرق خلفها. في تطوير البرمجيات، غالباً ما تكتب الفرق قواعد ومعايير وتكوينات في ملفات تُحفظ جنباً إلى جنب مع الكود الذي يبنونه. تعمل هذه الملفات كذاكرة مشتركة للمشروع، وتخبر البرنامج بكيفية تصرفه. تساءل الباحثون عما إذا كان وجود وجودة هذه التعليمات المكتوبة قد يكون الحلقة المفقودة التي تفسر سبب نجاح بعض الفرق مع وكلاء الذكاء الاصطناعي بينما تعاني فرق أخرى. لقد سعوا لقياس كيفية تنظيم الفرق لهذه التعليمات وما إذا كان هذا التنظيم يغير جودة المنتج النهائي.
قام الباحثون بتطوير طريقة جديدة لقياس "نضج" إعدادات الذكاء الاصطناستخدمها الفريق، والتي يسمونها "ملف النضج" (maturity profile). لقد فحصوا آلاف المشاريع البرمجية وصنفوها إلى أربعة مستويات بناءً على نوع ملفات التعليمات التي قدمتها الفرق لأنظمة التحكم في الإصدار الخاصة بها. في المستوى الأدنى، لا يمتلك الفريق أي تعليمات مكتوبة للذكاء الاصطناعي؛ حيث يبدأ الوكيل كل مهمة من لوح فارغ، ويخمن كيفية عمل المشروع. في المستوى التالي، تمتلك الفرق قواعد أساسية مكتوبة، مثل معايير البرمجة أو إرشادات السلوك، مما يمنح الذكاء الاصطناعي فهماً مشتركاً لسياق المشروع. يتضمن المستوى الثالث إعدادات أكثر تقدماً حيث تحدد الفرق أدواراً محددة لوكلاء ذكاء اصطناعي مختلفين أو تنشئ أوامر قابلة لإعادة الاستخدام لمهام معقدة. أما المستوى الأعلى، وهو نادر، فيتضمن تنسيق عدة وكلاء للعمل معاً في سير عمل واحد منظم.
بدأت الدراسة بتحليل 441 مستودعاً خاصاً بالشركات لبناء واختبار نظام القياس هذا. ووجدوا أن التقدم من عدم وجود تعليمات إلى وجود سير عمل معقد يتبع مساراً تراكمياً واضحاً. نادراً ما تتخطى الفرق الخطوات؛ فهي تميل إلى البدء بقواعد أساسية، وإذا تقدمت، فإنها تبني على ذلك الأساس. وكان الاكتشاف المذهل هو أنه بمجرد أن تلتزم الفرق بهذه التعليمات، فإنها نادراً ما تغيرها. فقد كُتب حوالي 74 بالمائة من ملفات التكوين مرة واحدة ثم تُركت دون تغيير، مما يشير إلى أن الإعداد الأولي هو قرار "اضبطه وانسه" الذي يحدد مستقبل المشروع. ومع ذلك، لا تتجاوز معظم الفرق الخطوة الأولى المتمثلة في إضافة القواعد الأساسية، وقليل جداً من يصل إلى مستوى تنسيق عدة وكلاء.
ولمعرفة ما إذا كانت هذه المستويات تهم حقاً لجودة البرمجيات، طبق الباحثون نظام القياس الخاص بهم على مجموعة منفصلة من المشاريع مفتوحة المصدر التي بدأت مؤخراً في استخدام وكلاء البرمجة المستقلين. وقارنوا بين سرعة التطوير وجودة الكود بين الفرق التي لم يكن لديها تعليمات مكتوبة وتلك التي لديها بعض القواعد الأساسية على الأقل. أظهرت النت النتائج انقساماً واضحاً. فمن حيث السرعة، تحسن كلا المجموعتين بشكل كبير؛ حيث قامت الفرق التي لديها تعليمات والفرق التي ليس لديها تعليمات بإجراء المزيد من عمليات الالتزام (commits) وكتابة المزيد من الكود بعد اعتماد الوكلاء. ومع ذلك، تباينت جودة ذلك الكود بشكل حاد.
شهدت الفرق التي لم تكن لديها تكوينات مكتوبة زيادة كبيرة في تعقيد الكود وعددًا أكبر بكثير من تحذيرات التحليل الساكن (static-analysis warnings)، وهي تنبيهات آلية تشير إلى الأخطاء المحتملة أو الممارسات السيئة. وتحديداً، كانت الزيادة في التعقيد لدى الفرق التي تفتقر للتعليمات أعلى بنحو ضعفين مقارنة بالفرق التي تمتلك قواعد أساسية. كما ارتفع عدد التحذيرات بمق factor قدره 1.7 للفرق غير المستعدة مقارنة بتلك التي تتبع ممارسات منظمة. يشير هذا إلى أنه بينما يمكن لوكلاء الذكاء الاصطناعي تسريع العمل للجميع، إلا أنهم أيضاً عرضة لإدخال أخطاء دقيقة وهياكل فوضوية إذا لم يتم توجيههم بقيود مكتوبة واضحة. فالفرق التي خصصت وقتاً لكتابة بضع صفحات من القواعد والمعايير عملت فعلياً كحاجز حماية، مما أبقى مخرجات الذكاء الاصطناعي ضمن الحدود المقبولة.
يشير الباحثون بحذر إلى أن هذه النتيجة هي ارتباط وليست علاقة سببية مثبتة. فمن الممكن أن تكون الفرق التي لديها قواعد مكتوبة أكثر انضباطاً أو تمتلك ممارسات هندسية أفضل منذ البداية، وأن هذه السمات، وليس الملفات نفسها، هي التي أدت إلى نتائج أفضل. ومن الممكن أيضاً أن تكون الفرق التي لديها قواعد تستخدم نماذج ذكاء اصطناعي أكثر تقدماً. ومع ذلك، تشير البيانات بقوة إلى أن وجود ملفات التكوين الملتزم بها هو إشارة موثوقة لنتائج أفضل. وتوحي الدراسة بأن الفرق بين تبني ناجح للذكاء الاصطناعي وتبنٍ فوضوي غالباً ما يكمن في خطوة بسيطة ومنخفضة التكلفة: كتابة بضع صفحات من القواعد قبل إطلاق العنان للوكلاء.
في نهاية المطاف، يعيد هذا العمل صياغة النقاش حول الذكاء الاصطناعي في تطوير البرمجيات. فهو ينقل التركيز بعيداً عن التكنولوجيا نفسها ونحو الممارسات البشرية التي تحيط بها. وجد الباحثون أن الفجوة الأكثر أهمية في النتائج ليست بين أولئك الذين يستخدمون الذكاء الاصطناعي وأولئك الذين لا يستخدمونه، بل بين أولئك الذين يستخدمونه دون خطة وأولئك الذين يأخذون الوقت لتحديد كيفية عمله. وبالنسبة للفرق التي تتطلع لتبني هذه الأدوات، فإن الرسالة عملية وواقعية: إن الاستثمار في كتابة تعليمات واضحة وملتزم بها هو استثمار صغير، لكن العائد من حيث جودة الكود كبير للغاية. ومع ازدياد شيوع الوكلاء المستقلين، قد يصبح أسلوب تهيئة الفريق لهم أحد أهم العوامل المحددة لنجاح مشاريعهم البرمجية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.