في عالم العلوم والهندسة الحديث، نادراً ما تصل البيانات في صفوف منتظمة ومنتظمة. بدلاً من ذلك، غالباً ما تأتي كشبكة متشابكة من القوائم داخل القوائم، حيث قد يحتوي أحد المدخلات على رقم واحد، والآخر على عشرة، والثالث قد يكون مفقوداً تماماً. يستخدم العلماء أدوات حاسوبية خاصة لتنظيم هذه المعلومات الفوضوية، ولكن يجب أن تكون هذه الأدوات قوية للغاية. فإذا فشلت الأداة عند مواجهة ترتيب غريب أو غير عادي للبيانات، يمكن أن يؤدي ذلك إلى إفساد سنوات من البحث أو إخفاء اكتشافات حاسمة. ولضمان عمل هذه الأدوات بشكل صحيح، يكتب المبرمجون اختبارات، لكن طرق الاختبار التقليدية تعتمد غالباً على التحقق من عدد قليل من الأمثلة المحددة والمختارة مسبقاً. هذا النهج يشبه فحص جسر باستخدام دراجة هوائية وسيارة سيدان فقط؛ قد يصمد الجسر، لكن هذا لا يخبرك شيئاً عن كيفية تصرفه تحت تأثير شاحنة ثقيلة أو أثناء زلزال. إن العدد الهائل من الطرق التي يمكن أن تترتب بها البيانات يعني أن الأمثلة المختارة مسبقاً يمكن أن تخطئ بسهভাবে في حالات نادرة ومعقدة حيث يميل البرنامج إلى التعطل.

لقد طور فريق من الباحثين في جامعة برينستون طريقة جديدة لاختبار البرمجيات التي تتعامل مع هذه البيانات المعقدة، وتحديداً أداة تسمى Awkward Array. فبدلاً من تغذية البرنامج بقائمة ثابتة من الأمثلة، أنشأوا نظاماً يولد تلقائياً آلاف الهياكل الفريدة والمنوعة من البيانات في كل مرة يعمل فيها. هذا النظام، المسمى Hypothesis-awkward، يعمل كأنه مستكشف لا يكل، يخترع باستمرار تركيبات غريبة وجديدة من البيانات ليرى ما إذا كان بإمكان البرنامج التعامل معها. ومن خلال إجبار البرنامج على مواجهة هذه السيناريوهات غير المتوقعة، وجد الباحثون عشرات الأخطاء الخفية التي لم تلاحظ سابقاً. ويظهر عملهم أننا من خلال السماح للحواسيب بتوليد حالات الاختبار الخاصة بها، يمكننا بناء برمجيات أكثر موثوقية وقدرة على التعامل مع الواقع الفوضوي للبيانات العلمية.

ركز الباحثون على مكتبة بايثون (Python) تُعرف باسم Awkward Array، وهي مصممة لتخزين بيانات متداخلة، ومتغيرة الطول، ومتنوعة الأنواع. تخيل خزانة ملفات رقمية يحتوي أحد أدراجها على ملف واحد، والدرج التالي يحتوي على كومة من الأوراق، والثالث فارغ، بينما قد تكون محتويات الملفات نفسها أرقاماً أو كلمات أو تواريخ. هذه المرونة ضرورية للعلم الحديث، لكنها تخلق عدداً هائلاً من التكوينات الممكنة. وقد لاحظ الباحثون أن الاختبار التقليدي، الذي يستخدم عينات محددة مسبقاً يختارها المطورون، لا يمكنه تغطية سوى جزء ضئيل جداً من هذه الاحتمالات. فقد يمر البرنامج بجميع اختباراته القياسية بينما يفشل تماماً عند مواجهة ترتيب معين وغير عادي من البيانات. هذا القصور يترك البرمجيات عرضة للأخطاء التي لا تظهر إلا في الواقع العملي، مما قد يتسبب في حدوث حالات فشل عندما يحتاج العلماء إلى هذه الأداة بشدة.

ولحل هذه المشكلة، بنى الفريق مجموعة من الاستراتيجيات التي تولد بيانات عشوائية آنياً. يمكن لهذه الاستراتيجيات إنشاء مصفوفات بكل التخطيطات الممكنة تقريباً، بما في ذلك قوائم من القوائم، والقيم المفقودة، وأنواع البيانات المختلطة، وكل ذلك متداخل لعمق متفاوت. تم تصميم النظام ليكون ذكياً في كيفية إنشاء هذه الاختبارات. فعندما يفشل اختبار ما، لا يتوقف النظام ببساطة؛ بل يحاول تلقائياً تبسيط المثال الفاشل، عبر تجريده من الأجزاء غير الضرورية حتى يجد أصغر وأبسط نسخة من البيانات التي لا تزال تتسبب في الخطأ. تساعد هذه العملية المطورين على تحديد مكان تعطل البرنامج بدقة. كما حرص الباحثون على ألا يتم "خداع" النظام من قبل البرنامج نفسه؛ فبما أن البيانات يتم توليدها لحظة تشغيل الاختبار، فلا يمكن للبرنامج أن يكون مبرمجاً مسبقاً ليعطي الإجابة الصحيحة لمجموعة محددة من المدخلات، وهي مشكلة يمكن أن تحدث مع الاختبارات الثابتة المكتوبة مسبقاً.

وضع الفريق طريقة الاختبار الجديدة هذه في خدمة برنامج Awkward Array نفسه، من خلال تشغيل دورة مستمرة من الفحوصات في كل مرة يتم فيها تحديث الكود. بدأوا بمجموعة صغيرة من الاختبارات التي تغطي عدداً قليلاً فقط من وظائف البرنامج، لكن النتائج كانت فورية وهامة. ففي فترة قصيرة، كشفت هذه الاختبارات الآلية عن سبعة وثلاثين خطأً متميزاً في مكتبة Awkward Array. وقد تم إصلاح أحد عشر منها بالفعل. وتراوحت الأخطاء بين قيام البرنامج بإرجاع نتائج غير صحيحة دون إطلاق أي تنبيهات، وبين الانهيار عند مواجهة حالات حدية معينة مثل القوائم الفارغة، أو القيم المفقودة في مواقع غير معتادة، أو أنواع محددة جداً من الأرقام. كانت الاختبارات فعالة لدرجة أنها وجدت خطأً في نظام الاختبار نفسه، بالإضافة إلى خطأ منفصل في مكتبة برمجية أخرى تسمى PyArrow تُستخدم غالباً جنباً إلى جنب مع Awkarray.

لم تكن الأخطاء التي وُجدت مجرد أعطال بسيطة، بل كانت مشكلات جوهرية نشأت من الطرق المعقدة التي يمكن بها هيكلة البيانات. فعلى سبيل المثال، كشفت الاختبارات عن أخطاء في كيفية تحويل البرنامج للبيانات بين تنسيقات مختلفة، مثل تحويل القوائم المتداخلة المعقدة إلى جداً أرقام قياسية. كما وجدت مشاكل في كيفية تعامل البرنامج مع البيانات المفقودة أو عملية "تسطيح" الطبقات العميقة من القوائم لتصبح في خط واحد. العديد من هذه الأخطاء لم تظهر إلا عندما كانت البيانات تمتلك خصائص معينة وغير عادية، مثل قائمة فارغة، أو رقم لانهائي، أو تاريخ مفقود. ولأن نظام الاختبار يمكنه توليد هذه الظروف النادرة تلقائياً، فقد كشف عن نقاط الضعف التي غفل عنها المختبرون البشريون لسنوات. ووجد الباحثون أن المحفزات الأكثر شيوعاً لهذه الأخطاء كانت "الحالات الحدية": وهي المواقف التي تكون فيها البيانات فارغة، أو غير مكتملة، أو منسقة بطريقة صحيحة تقنياً ولكنها نادرة الحدوث في الممارسة العملية.

يمثل هذا النهج تحولاً في كيفية ضمان موثوقية البرمجيات. فمن خلال الانتقال من الأمثلة الثابتة المختارة مسبقاً إلى البيانات المولدة ديناميكياً، أظهر الباحثون أنه من الممكن استكشاف الفضاء الشاسع للأخطاء المحتملة بشكل أكثر شمولاً. فالنظام لا يكتفي بالتحقق مما إذا كان البرنامج يعمل على البيانات التي يتوقعها، بل يبحث بنشاط عن البيانات التي قد يفشل البرنامج في التعامل معها. ويوضح نجاح هذه الطريقة أننا مع زيادة تعقيد البرمجيات وتنوع البيانات التي تتعامل معها، لم يعد الاعتماد على الحدس البشسي لتخمين كل حالة اختبار ممكنة أمراً كافياً. وبدلاً من ذلك، أصبحت الأنظمة الآلية التي يمكنها ابتكار هذه السيناريوهات واستكشافها ضرورة أساسية للحفاظ على سلامة الأدوات العلمية.

وبالنظر إلى المستقبل، يخطط الباحثون لتوسيع هذه القدرات بشكل أكبر. فهم يعتزمون تطوير استراتيجيات يمكنها توليد بيانات من أنواع محددة، مما سيجعل هذه الاختبارات أكثر صلة بالعلماء الذين يستخدمون هذه الأدوات في تحليلاتهم الخاصة. حالياً، تغطي الاختبارات جزءاً صغيراً فقط من وظائف Awkward Array، لكن الفريق يتوقع أنه مع توسيع نطاق التغطية ليشمل كل ميزة قابلة للاختبار، سيعثرون على المزيد من الأخطاء. الهدف النهائي هو إنشاء بيئة اختبار موثوقة لدرجة تسمح لوكلاء الذكاء الاصطناعي بالثقة في إعادة كتابة أجزاء كبيرة من الكود الداخلي للبرنامج، مع اليقين بأن الاختبارات الآلية ستكتشف أي أخطاء قد تُدخل أثناء عملية التغيير. وتعتمد هذه الرؤية على الأساس الذي وضعه العمل الحالي: وهو نظام يمكنه التحقق ببراعة من أن البرنامج يتصرف كما هو متوقع، حتى عندما يواجه أكثر البيانات تعقيداً وعدم قابلية للتنبؤ.