SWE-chat: Coding Agent Interactions From Real Users in the Wild
تقدم هذه الورقة SWE-chat، وهي أول مجموعة بيانات واسعة النطاق ومحدثة باستمرار لتفاعلات وكلاء البرمجة من عالم الواقع من مطوري المصادر المفتوحة، والتي تكشف أنه بينما أنماط الاستخدام ثنائية المنوال، فإن الوكلاء يظهرون حالياً معدلات بقاء منخفضة للكود، وثغرات أمنية أعلى، واعتراضات متكررة من المستخدمين، مما يسلط الضضوء على الحاجة إلى تحسينات قائمة على الأدلة تتجاوز المعايير المنسقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت متدرباً فائق الذكاء، فائق السرعة، يمكنه كتابة الكود، وإصلاح الأخطاء، وبناء مشاريع برمجية كاملة. تسميه "الوكيل" (The Agent). تعطيه مهمة، فيذهب للعمل. ولكن هنا يبرز السؤال الكبير: هل هذا المتدرب مفيد حقاً، أم أنه مجرد شخص يسبب فوضى عليك تنظيفها لاحقاً؟
ورقة "SWE-chat" البحثية تشبه دراسة مراقبة ضخمة من الواقع لهذا النوع من العلاقات. فبدلاً من اختبار المتدرب في فصل دراسي وهمي (كما تفعل معظم اختبارات الذكاء الاصطناعي)، راقب الباحثون آلاف المطورين الحقيقيين وهم يستخدمون وكلاء الذكاء الاصطناعي في وظائفهم الفعلية. لقد بنوا مجموعة بيانات ضخمة تسمى SWE-chat ليروا ما يحدث حقاً عندما يبرمج البشر والذكاء الاصطناعي معاً.
إليك قصة ما وجدوه، مشروحة ببساطة:
1. ظاهرة "برمجة الأجواء" (Vibe Coding)
اكتشف الباحثون أن الناس يستخدمون الذكاء الاصطناعي بطريقتين مختلفتين تماماً، مثل الأرجوحة:
- وضع "المساعد الطيار" (Co-Pilot): الإنسان يكتب الكود، والذكاء الاصطناعي يساعد فقط في إصلاح الأخطاء المطبعية أو شرح الأشياء.
- وضع "برمجة الأجواء" (Vibe Coding): الإنسان يعطي فكرة غامضة (مثل "اصنع موقعاً يشبه سبوتيفاي")، ويقوم الذكاء الاصطناعي بكتابة ما يقرب من 100% من الكود. الإنسان يجلس مسترخياً فقط، ويقول "نعم" أو "لا" بين الحين والآخر.
الفخ: "برمجة الأجوة" أصبحت شائعة جداً (لقد تضاعفت في بضعة أشهر!)، لكنها محفوفة بالمخاطر. الأمر يشبه تسليم مفاتيح السيارة لنظام قيادة ذاتية لا تفهمه تماماً.
2. مشكلة "سلة المهملات" (عدم الكفاءة)
قد تعتقد: "إذا كتب الذكاء الاصطناعي الكود، فسنوفر الوقت!"، لكن الدراسة تقول: ليس تماماً.
- الواقع: حوالي 56% من الكود الذي يكتبه الذكاء الاصطناعي ينتهي به الأمر في سلة المهملات. المطورون يحذفون أو يعيدون كتابة أكثر من نصف ما ينتجه الذكاء الاصطناعي.
- التشبيه: تخيل أن الذكأ الاصطناعي هو طاهٍ طبخ 100 وجبة، لكنك لا تأكل منها سوى 45 وجبة فقط. الـ 55 الأخرى محترقة، أو مالحة، أو خاطئة ببساطة. لا يزال عليك تذوق كل واحدة منها لتجد الجيد منها.
- التكلفة: "برمجة الأجواء" تكلف في الواقع 3 أضعاف من المال والوقت لكل سطر من الكود "الجيد" مقارنة بالعمل مع الذكاء الاصطناعي. الذكاء الاصطناعي يقضي الكثير من الوقت في كتابة كود سيتم حذفه لاحقاً.
3. "المخرب الصامت" (المخاطر الأمنية)
هذا هو الجزء الأكثر رعباً.
- النتيجة: الكود الذي يكتبه الذكاء الاصطناعي بالكامل ("برمجة الأجواء") يتسبب في ثغرات أمنية (مثل الأبواب الخلفية المفتوحة للمخترقين) أكثر بـ 9 مرات من الكود الذي يكتبه البشر بمفردهم.
- التشبيه: إذا بنى إنسان منزلاً، فإنه يفحص الأقفال. أما إذا بنى الذكاء الاصطناعي المنزل بينما أنت منشغل بهاتفك، فقد يثبت باباً يفتح من الخارج. الذكاء الاصطناعي واثق من نفسه، لكنه غالباً ما يكون مخطئاً بشأن السلامة.
4. "رقصة الاعتراض"
درست الورقة كيفية تواصل البشر والذكاء الاصطناعي مع بعضهما البعض.
- الذكاء الاصطناعي: نادراً ما يتوقف ليسأل: "انتظر، هل كنت تقصد هذا؟". إنه يستمر في العمل حتى عندما يكون مرتبكاً. إنه مثل كلب يستمر في جلب العصا حتى بعد أن أخبرته بالتوقف.
- الإنسان: البشر يقطعون حبل أفكاره باستمرار. في 44% من جولات المحادثة، يضطر الإنسان لإيقاف الذكاء الاصطناعي ليقول: "لا، هذا خطأ"، "أصلح هذا"، أو "توقف، لقد غيرت رأيي".
- النتيجة: الذكاء الاصطناعي يصبح أكثر استقلالية (يقوم بالمزيد من تلقاء نفسه)، لكن البشر يضطرون لمراقبته بدقة أكبر لمنعه من التسبب في حادث.
5. ما يفعله الذكاء الاصطناعي بالفعل
نحن نظن أن الذكاء الاصطناعي يكتب كوداً جديداً في الغالب، أليس كذلك؟ خطأ.
- الواقع: أكثر شيء يطلبه المطورون من الذكاء الاصطناعي هو شرح الكود الموجود بالفعل ("ماذا تفعل هذه الدالة الغريبة؟").
- الأداة: يقضي الذكاء الاصطناعي وقتاً هائلاً في مجرد قراءة الملفات وتشغيل الأوامر (مثل التحقق من حالة الطقس أو البحث عن ملف)، وليس فقط كتابة أشياء جديدة. إنه أقرب لكونه "مساعد بحث" منه إلى "كاتب".
الخلاصة الكبرى
تخلص الورقة إلى أنه على الرغم من قوة وكلاء برمجة الذكاء الاصطناعي، إلا أنهم ليسوا "العصا السحرية" التي كنا نأملها بعد.
- هم هشّون: يرتكبون الأخطاء كثيراً ولا يعرفون متى يطلبون المساعدة.
- هم مكلفون: الاعتماد عليهم للقيام بكل شيء ("برمجة الأجواء") هو في الواقع أبطأ وأخطر من العمل معهم.
- المستقبل: نحتاج للتوقف عن اختبار الذكاء الاصطناعي على ألغاز مثالية وهمية، والبدء في دراسة كيفية فشلهم في العالم الحقيقي. أفضل طريقة لاستخدامهم الآن ليست تركهم يقودون السيارة وحدهم، بل جعلهم يجلسون في مقعد الركاب بينما نبقي أيدينا على المقود.
باختصار: الذكاء الاصطناعي أداة رائعة، ولكن إذا تركته يقود الطريق بالكامل دون التحقق من الخريطة، فمن المرجح أن ينتهي بك الأمر في خندق (أو في خرق أمني).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.