Multi-Agent Specification-based Metamorphic Testing of FMU-Based Simulations

ملخص تقني: الاختبار الميتا-مورفي (Metamorphic Testing) متعدد الوكلاء القائم على المواصفات لمحاكاة FMU

بيان المشكلة
في التصميم القائم على النماذج الصناعية الحديثة، تسهل معايير واجهة النموذج الوظيفي (FMI) تبادل نماذج المحاكاة كـ "وحدات نموذج وظيفي" (FMUs) عبر أدوات وشركاء متنوعين. وبينما يتيح ذلك التحقق القائم على المحاكاة، فإن التحقق من صحة هذه النماذج يمثل تحديًا كبيرًا: "مشكلة أوراكل الاختبار" (test oracle problem). غالبًا ما تكون وحدات الـ FMU عبارة عن ملفات ثنائية (binaries) مغلفة دون كود مصدري، ومنطقها الداخلي غامض، مما يمنع الاختبار التقليدي الذي يعتمد على فحص الحالة الداخلية. علاوة على ذلك، نادرًا ما يتم تحديد مخرجات متوقعة صريحة، حيث يتم إجراء الاختبار عادةً يدويًا من قبل خبراء في المجال.

يقدم الاختبار الميتا-مورفي (MT) حلاً من خلال التحقق من الأنظمة التي تفتقر إلى "أوراكل" صريح عبر "علاقات ميتا-مورفية" (MRs)—وهي خصائص تحدد كيفية تغير المخرجات استجابة لتحويلات محددة في المدخلات. ومع ذلك، فإن اشتقاق علاقات MR فعالة من المواصفات الوظيفية والواجهات يظل عملية يدوية عرضة للخطأ. وتفتقر النهج الحالية إلى سير عمل شامل ومؤتمت يبدأ من المواصفات، ويولد علاقات MR، وينفذ الاختبارات خصيصًا لبيئات FMU المقيدة. بالإضافة إلى ذلك، رغم أن النماذج اللغوية الكبيرة (LLMs) تظهر وعودًا في توليد علاقات MR، إلا أنها غالبًا ما تتطلب تحققًا بشريًا كثيفًا وتواجه صعوبة في التعامل مع قيود واجهات FMU المحددة (مثل المتغيرات المعرضة المحدودة وبيانات السلاسل الزمنية المستمرة).

المنهجية: AgenticMeta
يقترح المؤلفون AgenticMeta، وهو سير عمل متعدد الوكلاء مدعوم بالنماذج اللغوية الكبيرة (LLM) مصمم لأتمتة الاختبار الميتا-مورفي القائم على المواصفات لمحاكاة FMU. يقوم النظام بتنظيم بنية "المحور والأطراف" (hub-and-spoke) حيث تدير عقدة منسقة (Coordinator Node) حالة رسم بياني مشتركة وتوجه وكلاء متخصصين عبر أربع مراحل تكرارية:

1. مرحلة الاستخراج (Extraction Phase):
   • وكيل الاستخراج (Extractor Agent): يحول المواصفات الوظيفية (PDF) إلى تنسيق Markdown مهيكل ويستخرج خصائص النظام. كما يقوم بتحليل ملف modelDescription.xml من الـ FMU لتحديد المدخلات، والمخرجات، والمعاملات، والقيود. المخرج هو ملف JSON مهيكل يحتوي على شروط الاختبار وتعريفات المتغيرات.
2. مرحلة توليد وتحسين علاقات MR (MR Generation and Refinement Phase):
   • وكيل توليد MR (MR Generator Agent): يستخدم المعرفة المستخرجة لاقتراح علاقات MR مرشحة. يتم تنسيق هذه العلاقات وفق أنماط Given–When–Then (GWT):
     • Given (بفرض): الظروف الأولية لمدخلات البذرة (seed inputs).
     • When (عندما): التحويلات الميتا-مورفية (مثل "الزيادة" أو "التدرج") المطبقة على المدخلات.
     • Then (إذن): علاقات المخرجات المتوقعة (مثل "يزداد في النهاية"، "متناسب مع").
   • وكيل تحسين MR (MR Refiner Agent): يتحقق من صحة علاقات MR المولدة مقابل المواصفات الأصلية وبيانات الاستخراج. ويتحقق من الصحة الواقعية، والصلاحية السببية، وقابلية الاختبار. يتم إما تنقيح علاقات MR التي تفشل في التحقق باستخدام التغذية الراجعة أو استبعادها. يهدف هذا الفصل بين التوليد والتحسين إلى تحسين الاستقرار والدقة.
3. مرحلة توليد الاختبار (Test Generation Phase):
   • وكيل توليد الاختبار (Test Generator Agent): يحول أنماط GWT المنقحة إلى إشارات مدخلات زمنية ملموسة. ويطبق خوارزميات أخذ العينات لتوليد مدخلات البذرة والمدخلات اللاحقة، مما يضمن حدوث التحويلات ضمن نوافذ المحاكاة الصالحة (على سبيل المثال، بالقرب من بداية المحاكاة).
   • وكيل التحقق من الاختبار (Test Validator Agent): يجري فحوصات الحدود، والتحقق من نوع البيانات، ويضمن التزام حالات الاختبار بقيود المحاكاة الخاصة قبل التنفيذ.
4. مرحلة التنفيذ والتقييم (Execution and Evaluation Phase):
   • تقوم أدوات حتمية بتنفيذ مدخلات السلاسل الزمنية المولدة مقابل الـ FMU باستخدام مكتبة FMPy.
   • يقيم النظام اتساق المخرجات مقابل علاقات MR.
   • تحليل الطفرات (Mutation Analysis): لتقييم جودة الاختبار دون الوصول إلى الكود الداخلي، يطبق النظام مؤثرات الطفرات (Mirror, Crossover, Polynomial) على السلاسل الزمنية للمخرجات المسجلة للاختبارات التي اجتازت الاختبار. ويتم حساب درجة الطفرة بناءً على القدرة على اكتشاف هذه الأخطاء المحقونة.

المساهمات الرئيسية

• سير عمل متعدد الوكلاء مؤتمت: خط إنتاج مبتكر يدمج استخراج المتطلبات، وتوليد/تحسين MR، وتنفيذ الاختبار خصيصًا للمحاكاة الديناميكية القائمة على FMU.
• علاقات MR مهيكلة بنمط GWT: يحدد النهج علاقات MR باستخدام أنماط Given–When–Then، مما يسهل معالجة النماذج اللغوية الكبيرة ويضمن تحويلات مدخلات وعلاقات مخرجات مهيكلة.
• قابلية التنفيذ من البداية إلى النهاية: يؤتمت النظام العملية بأكملها من المواصفات إلى تحليل الطفرات، معالجًا الفجوة في الأدبيات الحالية حيث تُستخدم النماذج اللغوية الكبيرة غالبًا فقط لتوليد المرشحين دون دمج كامل لسير العمل.
• آليات الاستقرار: من خلال فصل توليد MR عن التحسين واستخدام منسق لإدارة الحالة، يخفف النهج من عدم الاستقرار وعدم الحتمية المرتبط غالبًا بمسارات العمل القائمة على النماذج اللغوية الكبيرة.

النتائج التجريبية
تم تقييم النهج على وحدة FMU لنظام تبريد زيت التشحيم (LOC) عبر 10 جلسات مستقلة.

• التنفيذ: أكمل سير العمل جميع المراحل (الاستخراج، التوليد، التنفيذ، التحليل) بنجاح في جميع الجلسات.
• التغطية: حقق النظام متوسط تغطية متطلبات بلغ 60.47%، حيث ولد في المتوسط 15.8 علاقة MR و55.7 حالة اختبار لكل تشغيل.
• جودة الاختبار: بلغ متوسط معدل اجتياز الاختبار 74.10%. وأشار المؤلفون إلى أن الإخفاقات كانت غالبًا بسبب مشكلات الاستقرار الزمني أو نطاقات التسامح بدلاً من أخطاء منطقية جوهرية.
• درجة الطفرة: بلغ متوسط درجة الطفرة 0.56، مما يشير إلى أن علاقات MR المولدة نجحت في اكتشاف 56% من طفرات المخرجات المحقونة.
• وقت التشغيل: بلغ متوسط الوقت لكل حالة اختبار حوالي 2.72 ثانية للتوليد و17.12 ثانية للتنفيذ. تم تحديد مرحلة توليد وتحسين MR كعنق زجاجة رئيسي، بمتوسط 43.95 ثانية لكل علاقة MR مقبولة.

الأهمية والقيود
يزعم البحث أن AgenticMeta يثبت جدوى أتمتة الاختبار الميتا-مورفي للمحاكاة القائمة على FMU، مما يقلل بشكل كبير من الجهد اليدوي في اشتقاق أوراكل الاختبار. وتشير النتائج إلى أن سير العمل يمكنه بشكل منهجي توليد علاقات MR ذات معنى واختبارات قابلة للتنفيذ، مما يدعم التحقق من نماذج المحاكاة الديناميكية.

ومع ذلك، يقر المؤلفون بتواضع بعدة قيود:

• قيود التغطية: لم يكن من الممكن تحويل جميع المتطلبات إلى علاقات MR صالحة، خاصة تلك التي تصف سلوكيات عامة أو مخرجات لا يمكن التحكم فيها مباشرة عبر مدخلات FMU المعروضة.
• الاعتماد على المواصفات: جودة المخرجات مرتبطة مباشرة بوضوح واكتمال المواصفات الوظيفية المدخلة وملف modelDescription.xml.
• نطاق تحليل الطفرات: تعكس درجة الطفرة الحساسية لانحرافات المخرجات بدلاً من قدرة كاملة على اكتشاف العيوب ضد عيوب التنفيذ، حيث طُبقت الطفرات على المخرجات المسجلة بدلاً من ملف الـ FMU الثنائي.
• القدرة على التعميم: تم إجراء التقييم على دراسة حالة واحدة (نظام LOC)، وقد لا تعمم النتائج على النماذج ذات المنطق التحكمي أو هياكل الواجهة المختلفة تمامًا.

يخلص البحث إلى أنه بينما يعد هذا النهج خطوة مهمة نحو التحقق المؤتمت، فإن العمل المستقبلي سيركز على جعل المنسق (Coordinator) وكيلًا لغويًا تكيفيًّا وتحسين مؤثرات الطفرات لتتماشى بشكل أفضل مع دلالات علاقات MR.