Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark

في عالم البرمجيات الحديث، تحاول مجموعة متزايدة من الشركات أتمتة إنشاء البرامج باستخدام الذكاء الاصطناعي. فبدلاً من توظيف فريق من المهندسين لكتابة كل سطر برمجي من الصفر، يقومون بتقديم وصف مكتوب مفصل لما يجب أن يفعله البرنامج، وهو ما يُعرف بالمواصفات (specification)، ويطلبون من الذكاء الاصطناعي بناءه. هذا النهج، المسمى "التطوير القائم على المواصفات"، يعامل الخطة المكتوبة كدليل تعليمات أساسي للآلة. والأمل هو أنه إذا كانت الخطة واضحة بما يكفي، فإن الذكاء الاصطناعي سينتج برمجيات مثالية في كل مرة. ومع ذلك، يبقى سؤال جوهري: هل تجعل الخطة الأفضل الذكاء الاصطناعي أكثر ذكاءً، أم أن أنظمة الذكاء الاصطناعي تعرف الإجابات بالفعل بناءً على تدريبها؟ إذا وافق الذكاء الاصطناعي على الخطة لمجرد أنه رأى خططاً مماثلة من قبل، فإن الخطة نفسها لا تقوم بأي عمل حقيقي. وهذا اليقين يجعل من الصعب معرفة ما إذا كانت المواصفات ذات جودة عالية حقاً أم أنها مجرد وثيقة تصادف توافقها مع ما كان الجهاز سيفعله بالفعل.

وضع فريق من الباحثين هدفاً لحل مشكلة القياس هذه عبر اختبار مهمة محددة ومعقدة: نقل قاعدة بيانات ضخمة من نوع نظام إلى آخر. لقد أنشأوا مواصفات رسمية ومنظمة لعملية ترحيل البيانات من قاعدة بيانات "أوراكل" (Oracle) إلى نظام "بوستجري إس كيو إل" (PostgreSQL)، وهي عملية تتضمن ترجمة آلاف القواعد المتعلقة بكيفية تخزين البيانات ومعالجتها. ولاختبار ما إذا كانت هذه المواصفات تساعد حقاً، لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي عن كتابة الكود والتحقق مما إذا كان يبدو صحيحاً، بل بنوا تجربة صارمة حيث تعين على نفس المجموعة من أنظمة الذكاء الاصطناعي تنفيذ عملية الترحيل مرتين: مرة مع المواصفات التفصيلية ومرة بدونها. استخدم الباحثون قاعدة بيانات "أوراكل" حية ونظام "بوستجري إس كيو إل" جديداً كحكم صارم؛ حيث قاموا بتشغيل الكود الذي ولّده الذكاء الاصطناعي مقابل البيانات الأصلية لمعرفة ما إذا كانت النتائج متطابقة، معتبرين السلوك الفعلي للبرمجيات هو المقياس الوحيد للنجاح.

تضمنت الدراسة ثلاثة أنظمة مختلفة من الذكاء الاصطناعي تعمل كمنفذين مستقلين، تعمل جميعها على نفس الـ 75 مهمة ترحيل محددة. وعندما قارن الباحثون النتائج، وجدوا انقساماً واضحاً بين ما يمكن للبرمجيات القيام به وبين مدى توافق أنظمة الذكاء الاصطناعي مع بعضها البعض. لقد أدت المواصفات إلى تحسين قدرة البرمجيات على التشغيل دون تعطل بشكل كبير؛ فبدون المواصفات، تمكن 72 بالمائة فقط من الكود المُوَلّد من التحميل في قاعدة البيانات الجديدة بنجاح، ولكن مع وجود المواصفات الكاملة، قفز هذا الرقم إلى 97.3 بالمائة. لقد عملت الخطة كدليل ساعد الذكاء الاصطناعي على تجنب الأخطاء القاتلة وإنتاج كود يعمل بالفعل.

ومع ذلك، اتخذت القصة منحى مختلفاً عندما نظر الباحثون فيما إذا كانت المواصفات تجعل أنظمة الذكاء الاصطناعي تتفق أكثر مع بعضها البعض. قبل الدراسة، كان هناك أمل في أن خطة مثالية ستجبر جميع أنظمة الذكاء الاصطناعي على اتخاذ القرارات ذاتها تماماً، مما يخلق حلاً موحداً. وقد أظهرت البيانات أن هذا لم يكن هو الحال؛ فحتى بدون المواصفات، كانت أنظمة الذكاء الاصطناعي تتفق بالفعل مع بعضها البعض بنسبة 83 بالمائة، ويرجح أن ذلك يعود لتعلمها نفس الممارسات الصناعية القياسية أثناء تدريبها. وعند إضافة المواصفات، بالكاد تحرك معدل الاتفاق هذا، حيث تغير إلى 83.8 بالمائة فقط. لم تغير الخطة رأي الذكاء الاصطناعي بشأن القرارات التي كان يتخذها بالفعل، بل ساعدت الذكاء الاصطناعي ببساطة على تنفيذ تلك القرارات دون حدوث عطل.

كما اكتشف الباحثون أن طريقة تقديم المعلومات كانت أكثر أهمية من كمية المعلومات المقدمة. في إحدى التجارب، أخذوا قاعدة واحدة ووضعوها في أجزاء مختلفة من المستند. فعندما كانت القاعدة مدفونة في فقرة في نهاية قسم ما، التزم بها الذكاء الاصطناعي بنسبة 23 بالمائة فقط. وعندما وُضعت نفس القاعدة في جدول منظم في أعلى القسم، ارتفعت نسبة الامتثال إلى 42 بالمائة. ومن المثير للدهشة أن تكرار القاعدة في كلا المكانين أدى في الواقع إلى خفض معدل الامتثال إلى 34 بالمائة، مما يشير إلى أن التكرار قد يربك النظام بدلاً من تعزيز التعليمات. وتوضح هذه النتيجة أن هيكل المستند أكثر تأثيراً من حجم النص.

ولعل النتيجة الأكثر أهمية هي أن المواصفات يمكن أن تجعل الأمور أسوأ في بعض الأحيان. ففي حالة محددة، وجهت قاعدة في المواصفات الذكاء الاصطناعي لاستخدام نوع معين من حاويات البيانات. اتبع الذكاء الاصطناعي هذه القاعدة بدقة، لكن النتيجة كانت كوداً غير صالح ولن يعمل. وبدون المواصفات، كان الذكاء الاصطناعي قد تجاهل تلك التعليمات المحددة واستخدم طريقة أخرى ناجحة من تلقاء نفسه. أثبت هذا أن اتباع قاعدة لا يضمن بالضرورة نتيجة صحيحة، وأن المواصفات يمكن أن تسبب أخطاء جديدة حتى وهي تعالج أخطاء قديمة. كما وجدت الدراسة أن أنظمة الذكاء الاصطناعي لديها حد طبيعي للاتساق؛ فعندما قام الباحثون بتشغيل نفس الاختبار عدة مرات، تباينت النتائج بنحو 14 نقطة مئوية لمجرد الطبيعة العشوائية لكيفية توليد الذكاء الاصطناعي للنصوص. هذا التباين يعني أنه لا يمكن الوثوق بالتحسينات الصغيرة باعتبارها تقدماً حقيقياً.

في النهاية، يخلص البحث إلى أن المواصفات هي أداة قوية لجعل البرمجيات قابلة للتنفيذ وللمساعدة في تحديد المواضع التي تغيب فيها التعليمات، لكنها ليست عصا سحرية تجبر أنظمة الذكاء الاصطناعي المختلفة على التفكير بشكل متماثل. لقد نجحت المواصفات في تقليل عدد البرامج المعطلة بنسبة تقارب الربع، مما أثبت قيمتها في ضمان تشغيل الكود. ومع ذلك، فشلت في زيادة الاتفاق بين أنظمة الذكاء الاصطنافي المختلفة أو في تحسين دقة البيانات نفسها، والتي ظلت دون تغيير عند 19 نتيجة صحيحة من أصل 42 اختباراً في كل من المجموعتين الضابطة وغير الضابطة. تشير الدراسة إلى أن المواصفات بالنسبة لجيل الذكاء الاصطناعي الحالي، تعمل كشبكة أمان تمنع الفشل الكارثي أكثر من كونها دليلاً يرفع جودة الحل بما يتجاوز ما يعرفه الذكاء الاصطناعي بالفعل. إن القوة الحقيقية للمواصفات لا تكمن في إجبار الذكاء الاصطناعي على الاتفاق، بل في جعل عملية بناء البرمجيات موثوقة بما يكفي للفحص والتحقق.