Kronumos 2 Kairos: Cost-Bounded Automated Program Repair via Dual-Brain Cybernetic Sub-Cortex on SWE-bench Verified

تعد صيانة البرمجيات صناعة هادئة وضخمة تستهلك أكثر من ستين بالمائة من ميزانية الهندسة العالمية. إنها عملية البحث عن القطع المكسورة في الأنظمة الرقمية المعقدة وإصلاحها دون كسر الأجزاء التي لا تزال تعمل. لعقود من الزمن، كان هذا مهمة بشرية، تتطلب معرفة عميقة بكيفية تواصل ملفات الكود المختلفة مع بعضها البعض. ومؤخراً، بدأت برامج الكمبيوتر المدربة على كميات هائلة من الكود في محاولة القيام بهذا العمل بنفسها. هذه البرامج، المعروفة باسم النماذج اللغوية الكبيرة، يمكنها قراءة وصف للمشكلة واقتراح إصلاح لها. ومع ذلك، عندما تحاول هذه النماذج إصلاح البرمجيات في العالم الحقيقي، فإنها غالباً ما تعاني؛ فهي تضيع في الحجم الهائل للمعلومات، وترتكب أخطاءً طفيفة في التنسيق تؤدي إلى رفض الكمبيوتر لعملها، وتقوم بذلك بتكلفة مالية عالية، حيث تتطلب غالباً قدرات حوسبة سحابية باهظة الثمن لكل محاولة.

تقدم دراسة جديدة نهجاً مختلفاً لهذه المشكلة، نهجاً يعطي الأولوية للدقة وكفاءة التكلفة على حساب القوة الغاشمة. فقد بنى الباحثون نظاماً يسمى "Kronumos 2 Kairos"، صُمم ليعمل كأداة جراحية بدلاً من محرك بحث واسع النطاق. فبدلاً من ترك نموذج الكمبيوتر يتجوّل عبر قاعدة كود، ويخمن ويجرب مراراً وتكراراً، يجبر هذا النظام النموذج على التركيز على مهمة محددة للغاية وضيقة النطاق. إنه يجمع بين نموذج كمبيوتر مفتوح المصدر متوسط الحجم، ومحرك قائم على القواعد الصارمة يعمل كمفتش مراقبة جودة دقيق. كان الهدف هو معرفة ما إذا كان بإمكان نموذج أصغر وأرخص إصلاح أخطاء البرمجيات الحقيقية إذا تم حمايته من ميله لارتكاب الأخطاء غير المبالية، وإذا تم منعه من إهدار الموارد في خطوات غير ضرورية. اختبر الباحثون هذا النظام على معيار مكون من خمسمائة مشكلة برمجية من العالم الحقيقي، وهي مجموعة تحديات قياسية تُستخدم لقياس قدرة الذكاء الاصطناعي على إصلاح الكود.

يعمل النظام عن طريق تقسيم العمل إلى جزئين متميزين. الجزء الأول هو "القشرة المخية المعرفية" (cognitive cortex)، وهو نموذج الكمبيوتر المسؤول عن فهم المشكلة وكتابة إصلاح الكود. الجزء الثاني هو "القشرة تحت المخية" (sub-cortex)، وهو محرك حتمي مكتوب بلغة تضمن سلوكاً دقيقاً ومتوقعاً. تعمل هذه القشرة تحت المخية كمرشح ومنسق؛ فقبل أن يرى النموذج المشكلة، تقوم القشرة تحت المخية بإزالة آلاف الأسطر من الضجيج التقني غير ذي الصلة الذي عادة ما يملأ رسائل الخطأ. كما تزيل المعلومات الحساسة مثل كلمات المرور ومفاتيح واجهة برمجة التطبيقات (API keys) لضمان الخصوصية. ثم تأخذ مخرجات النموذج وتتحقق منها مقابل القواعد الصارمة لكيفية كتابة رقع الكود (code patches). فإذا ارتكب النموذج خطأ في أرقام الأسطر، أو الإزاحة، أو تنسيق الإصلاح، تكتشفه القشرة تحت المخية على الفور؛ فهي إما تصحح الخطأ أو ترفض الرقعة بالكامل، مما يضمن عدم تقديم أي كود مكسور أو مشوه للاختبار. وتمنع هذه العملية النظام من إضاعة الوقت في محاولات محكوم عليها بالفشل بسبب أخطاء بسيطة في التنسيق.

قام الباحثون بتشغيل هذا النظام ضد الخمسمائة مشكلة برمجية من العالم الحقيقي. وأظهرت النتائج أن النظام استطاع حل ثمانية من هذه الأخطاء بنجاح. وبينما قد يبدو رقم ثمانية من أصل خمسمائة صغيراً، إلا أن الأهمية تكمن في كيفية تحقيق النظام لهذا الأمر. فقد استخدم الباحثون نموذجاً يحتوي على سبعة مليارات معلمة فقط، وهو أصغر بكثير من النماذج الضخمة التي تستخدمها الشركات التجارية والتي تكلف غالباً آلاف الدولارات لتشغيلها. ومن خلال استخدام بنية "الدماغ المزدوج" الخاصة بهم، تمكن النظام من حل هذه المشكلات بتكلفة هامشية صفرية لقدرة الحوسبة المستخدمة. وكان متوسط حجم البيانات التي عالجها النظام لكل مهمة هو ما يزيد قليلاً عن ألفي رمز (tokens)، وهو رقم أقل بنسبة ثلاثة وتسعين بالمائة من مئات الآلاف من الرموز التي تستهلكها أنظمة الإصلاح الآلي الأخرى عادةً. وهذا الانخفاض الحاد في استخدام البيانات يعني أن النظام أكثر كفاءة وقابلية للتوسع من البدائل الحالية.

كان أحد النتائج الحاسمة للدراسة هو أهمية محرك مراقبة الجودة الصارم. فعندما أزال الباحثون قدرة القشرة تحت المخية على إصلاح أخطاء التنسيق بعد أن كتب النموذج الكود، انخفض عدد الإصلاحات الناجحة من ثمانية إلى ستة. وقد أثبت هذا أن جزءاً كبيراً من إخفاقات النموذج لم يكن بسبب نقص الفهم، بل بسبب أخطاء طفيفة يمكن تصحيحها في طريقة تقديم الكود. لقد عملت القشرة تحت المخية كشبكة أمان، حيث التقطت هذه الأخطاء وضمنت أن الإصلاحات المنطقية التي وجدها النموذج قد تم تقديمها بالفعل في تنسيق قابل للاستخدام. كما أثبت النظام قدرته على العمل دون تشغيل اختبارات البرمجيات نفسها أثناء عملية الإصلاح؛ فبدلاً من تجربة الإصلاح ومعرفة ما إذا كان يعمل، اعتمد النظام على قواعده الداخلية لضمان أن يكون الإصلاح سليماً من الناحية الهيكلية قبل تطبيقه.

قيم الباحثون النظام عبر أربعة بيئات برمجية مختلفة، بما في ذلك مشاريع كبرى مثل "Django" و"Scikit-Learn". وغطت عمليات الإصلاح الثمانية الناجحة مجموعة متنوعة من المشكلات، بدءاً من إصلاح خلل يتسبب في توقف برنامج في أداة ترحيل قاعدة بيانات، وصولاً إلى تصحيح خطأ رياضي في مكتبة تحليل بيانات. وفي إحدى الحالات، أصلح النظام خطأً حيث يتوقف البرنامج عن العمل إذا كان هناك إعداد معين مفقود؛ حيث حدد النموذج بشكل صحيح أن الكود يحتاج إلى التحقق من غياب الإعداد قبل محاولة استخدامه. وفي حالة أخرى، أصلح مشكلة حيث يقوم برنامج بتغيير البيانات عن طريق الخطأ بينما كان من المفترض أن يتركها كما هي. وقد قام الباحثون بفحص كل إصلاح ناجح يدوياً للتأكد من أن المنطق صحيح وأن الحل لم يكن مجرد تخمين محظوظ.

يقر الباحثون بأن نظامهم ليس حلاً كاملاً لجميع أخطاء البرمجيات. فلا يزال النموذج يعاني مع المشكلات شديدة التعقيد التي تتطلب تفكيراً عميقاً عبر ملفات مختلفة أو التي تتضمن مفاهيم مجردة تتجاوز تدريبه. ومع ذلك، فإن الدراسة ترسي معياراً جديداً لما يمكن تحقيقه باستخدام نماذج أصغر ومفتوحة المص المصدر. فهي توضح أنه من خلال الجمع بين نموذج كمبيوتر قادر ولكن متواضع، ونظام صارم قائم على القواعد يفرض معايير دقيقة، فمن الممكن تحقيق نتائج موثوقة دون التكاليف الضخمة المرتبطة بالأنظمة المتطورة الحالية. ويشير العمل إلى أن مستقبل الإصلاح الآلي قد لا يعتمد على جعل النماذج أكبر بشكل لا نهائي، بل على بناء أنظمة أفضل لتوجيهها والتقاط أخطائها.

يوفر هذا البحث مساراً واضحاً للمضي قدماً في جعل إصلاح البرمجيات الآلي متاحاً وبأسعار معقولة. فمن خلال إثبات أن النظام يمكنه إصلاح أخطاء حقيقية بتكلفة صفرية وكفاءة عالية، تتحدى الدراسة الاعتقاد السائد بأن النماذج الأكثر تكلفة وقوة هي الوحيدة القادرة على القيام بهذا العمل. إن نجاح نهج "الدماغ المزدوج" يسلط الضل على قيمة الفصل بين المهمة الإبداعية لكتابة الكود والمهمة الميكانيكية لضمان اتباعه للقواعد. ومع استمرار تطور مجال الإصلاح الآلي، يقدم هذا العمل مثالاً عملياً لكيفية الموازنة بين الذكاء والانضباط، لضمان أن تكون الأدوات التي نبنيها لإصلاح برمجياتنا قوية، وموثوقة، وفعالة.