Specification-first convergence with an AI coding agent: a case study of dismantling a core architectural invariant across 189 files in a 717k-line codebase with no test oracle and no human code review

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية بناء منزل. عادةً ما يكون الروبوت بارعًا في وضع طوبة واحدة أو طلاء جدار واحد، ولكن إذا طلبت منه إعادة تصميم الأساس بالكامل بينما يتم السكن في المنزل بالفعل، فإنه يميل إلى الارتباك. قد يهدم جدارًا حاملًا عن طريق الخطأ، أو ينسى أن المطبخ يجب أن يظل متصلاً بغرفة الطعام. في عالم علوم الحاسوب، يُسمى هذا "إعادة هيكلة" (refactoring) لقاعدة بيانات برمجية ضخمة. السؤال الكبير الذي يطرحه الباحثون الآن هو: هل يمكن لوكيل ذكاء اصطناعي القيام بهذه المهمة الضخمة والخطيرة بمفرده، دون وجود مدير بشري يراجع كل سطر برمجي؟

لفهم التحدي، فكر في برنامج الكمبيوتر مثل آلة ساعة معقدة وضخمة. في الداخل، توجد "الثوابت" (invariants)—وهي القواعد غير القابية للكسر التي تبقي التروس تدور، مثل "الزنبرك الرئيسي يجب أن يظل مشدودًا دائمًا" أو "يجب ألا تقفز العقارب للخلف أبدًا". معظم أدوات الذكاء الاصطناعي للبرمجة تشبه المتدربين الذين يجيدون إصلاح مسمار مرتخٍ لكنهم سيئون في إعادة توصيل أسلاك الساعة بالكامل دون كسر ضبط الوقت. عادة ما يحتاجون إلى إنسان ينظر فوق أكتافهم ويقول: "انتظر، لا يمكنك فعل ذلك!" لكن البشر يتعبون، ولا يمكنهم استيعاب الخريطة الكاملة لساعة ضخمة في عقولهم دفعة واحدة. يستكشف هذا البحث طريقة جديدة للعمل: بدلاً من التحقق من عمل الروبوت بعد انتهائه، نحن نجبر الروبوت على كتابة دليل تعليمات مفصل ومثالي قبل أن يلمس أي ترس واحد. ثم نجعل الروبوت يدقق عمله مقابل ذلك الدليل، مرارًا وتكرارًا، حتى يتطابق الدليل مع الآلة تمامًا.

قصة لوحة "الشبح"

يروي هذا البحث قصة تجربة واحدة محددة وعالية المخاطر، حيث طُلب من وكيل ذكاء اصطناعي واحد القيام بـ "خدعة سحرية" على برنامج برمجيات ضخم. كان البرنامج عبارة عن تطبيق يتكون من 717,725 سطرًا (تخيل مكتبة تحتوي على ما يقرب من 720,000 صفحة من التعليمات) يعمل كمساعد برمجي يعتمد على الذكاء الاصطناعي. كانت المهمة هي كسر قاعدة جوهرية اتبعها البرنامج منذ يومه الأول: القاعدة التي تقول: "إذا أغلقت النافذة التي تعرض عمل الذكاء الاصطناعي، يجب على الذكاء الاصطناعي التوقف عن التفكير".

كان الهدف هو تغيير هذا بحيث إذا أغلقت النافذة، يستمر الذكاء الاصطناعي في العمل في الخلفية، مثل الشبح. وعندما تفتح النافذة مرة أخرى، "يتصل" الذكاء الاصطناعي فورًا بالمحادثة، مستأنفًا العمل من حيث توقف بالضبط دون فقدان كلمة واحدة أو تكرار نفسه. كان مؤلف البحث، وهو مطور بشري، يعتقد أن هذا الأمر معقد وخطير للغاية لدرجة أن الطريقة الوحيدة الآمنة للقيام به هي التخلص من الكود القديم وإعادة كتابته بالكامل من الصفر.

بروتوكول "الأولوية للمواصفات"

بدلاً من إعادة كتابة كل شيء، استخدم المؤلف طريقة تسمى "تقارب الأولوية للمواصفات" (Specification-First Convergence). فكر في الأمر كأنه لعبة "الهاتف المكسور" (Telephone) التي تُلعب مع حكم صارم جدًا، لكن الحكم هنا هو الذكاء الاصطناعي نفسه.

1. الخطة: قدم الإنسان طلبًا بسيطًا باللغة الإنجليزية العادية: "اجعل الذكاء الاصطناعي يستمر في العمل حتى عند إغلاق النافذة".
2. المخطط: لم يبدأ الذكاء الاصطناعي بالبرمجة فورًا. بدلاً من ذلك، كتب "مواصفات" رسمية ضخمة مكونة من 55 صفحة—وهي عبارة عن مخطط تفصيلي لكيفية عمل التغيير، وصولاً إلى أصغر التفاصيل.
3. التدقيق (التحسين): هنا حدث السحر. طُلب من الذكاء الاصطناعي مقارنة مخططه الخاص مع الكود الفعلي الموجود 14 مرة. في كل جولة، كان يكتشف أخطاء في خطته الخاصة. "أوه، لقد نسيت أن العملية التي تعمل في الخلفية تحتاج إلى زر جديد لإيقافها"، أو "لم آخذ في الحسبان ما يحدث إذا أغلقت النافذة أثناء تفكير الذكاء الاصطناعي". قام بإعادة كتابة المخطط 14 مرة، مصححًا حوالي 85 خطأ في الخطة قبل كتابة سطر برمجي واحد جديد.
4. البناء: بمجرد أن تم "تجميد" المخطط (بمعنى أنه أصبح مثاليًا ولن يتغير بعد الآن)، بدأ الذكاء الاصطناعي في البرمجة. لم يكتب ملفات فحسب؛ بل أنشأ "رقعات" (patches) (تحديثات صغيرة) لـ 189 ملفًا مختلفًا.
5. التحقق المزدوج: كان هذا هو الجزء الأكثر أهمية. طُلب من الذكاء الاصطناعي قراءة الكود الجديد الخاص به ومقارنته بالمخطط المجمد 17 مرة. وجد 116 خطأً آخر—أخطاء هيكلية صغيرة أو ثغرات منطقية—وقام بإصلاحها. استمر في القيام بذلك حتى وجد جولات متتالية (جولتان على التوالي) خلت من أي أخطاء.

النتائج: شبح لا يطارد أحداً

استغرقت العملية برمتها ثلاثة أيام وكلفت 2,430 دولارًا من رسوم المعالجة الحاسوبية. والنتيجة؟ نجح الذكاء الاصطناعي في تفكيك قاعدة جوهرية للبرنامج عبر 189 ملفًا دون أن ينظر إنسان واحد إلى الكود الذي تم إنشاؤه.

عندما قام الإنسان بتشغيل البرنامج لأول مرة، عمل بشكل مثالي. يمكنك إغلاق النافذة، ومشاهدة الذكاء الاصطناعي يستمر في العمل في الخلفية، ثم إعادة فتح النافذة لتجد المحادثة تستأنف فورًا، دون فقدان أي كلمات أو تكرار. تصرف البرنامج تمامًا كما وعد المخطط. لاحظ المؤلف أن الكود كان نظيفًا جدًا لدرجة أنه عندما دعت الحاجة لاحقًا لإجراء تعديل بسيط في الواجهة، تطلب الأمر تغيير ملف واحد فقط، مما يشير إلى أن الذكاء الاصطناعي قام بعمل جيد في الحفاظ على تنظيم الهيكل.

ماذا يعني هذا (وما لا يعنيه)

يشير هذا البحث إلى أنه بالنسبة لتغييرات البرمجيات الصعبة وعالية المخاطر، قد لا نحتاج إلى الاعتماد على المراجعين البشر للإمساك بكل خطأ. بدلاً من ذلك، يمكننا استخدام الذكاء الاصطناعي لتدقيق خططه وكوده الخاص بصرامة مقابل معيار مجمد، مرارًا وتكرارًا، حتى يصل إلى مرحلة الكمال.

ومع ذلك، فإن الورقة البحثية حذرة جدًا بشأن ما تدعيه. فهي تعترف بأن هذه كانت مجرد مهمة واحدة محددة على قاعدة بيانات برمجية واحدة محددة. وهي لا تثبت أن هذا سينجح مع كل أنواع الذكاء الاصطناعي أو كل أنواع مشاكل البرمجيات. كما تشير أيضًا إلى أنه نظرًا لأن الكود خاص، فلا يمكن لأي شخص آخر تشغيل التجربة نفسها تمامًا لمعرفة ما إذا كان سيحصل على نفس النتيجة. ولكن كإثبات لمفهوم (proof of concept)، فإنها تظهر أن الذكاء الاصطناعي، عندما يُجبر على التخطيط بدقة والتدقيق في عمله بشكل متكرر، يمكنه إجراء عملية "جراحية" على نظام برمجيات ضخم يعتقد البشر عادةً أنه من الخطر المساس به دون إعادة كتابته بالكامل.