STMutants: A Mutation Testing Dataset for Structured Text Programs in Industrial Automation
यह शोध पत्र STMutants को प्रस्तुत करता है, जो औद्योगिक स्वचालन में IEC 61131-3 स्ट्रक्चर्ड टेक्स्ट प्रोग्रामों के लिए पहला सार्वजनिक रूप से उपलब्ध म्यूटेशन टेस्टिंग डेटासेट है, जिसमें टेस्ट-सुइट प्रभावशीलता और सुरक्षा-महत्वपूर्ण PLC सॉफ्टवेयर के लिए AI-सहायता प्राप्त गुणवत्ता आश्वासन पर पुनरुत्पादक अनुसंधान को सक्षम करने के लिए 108 स्क्रीन किए गए म्यूटेंट्स शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कारखाने में एक गुणवत्ता निरीक्षक (quality inspector) हैं। असेंबली लाइन पर चलने वाली मशीनें विशेष कंप्यूटरों द्वारा नियंत्रित होती हैं जिन्हें PLC (प्रोग्रामेबल लॉजिक कंट्रोलर) कहा जाता है। ये मशीनें स्ट्रक्चर्ड टेक्स्ट (ST) नामक एक विशिष्ट कोडिंग भाषा पर चलती हैं। यदि कोड में एक छोटी सी भी गलती होती है, तो पूरा कारखाना रुक सकता है, या इससे भी बुरा, कोई मशीन टूट सकती है और किसी को चोट लग सकती है।
लंबे समय से, शोधकर्ताओं के पास यह परीक्षण करने का एक शानदार तरीका था कि उनके सुरक्षा चेक नियमित कंप्यूटर प्रोग्रामों (जैसे आपके फोन के ऐप्स) के लिए कितने अच्छे हैं, लेकिन उनके पास इन औद्योगिक कारखाने की मशीनों के लिए कोई मानक "अभ्यास परीक्षण" नहीं था। यह एक छात्र को सेमी-ट्रक चलाने के लिए सिखाने जैसा था, बिना उसे कभी ट्रक में बैठने तक दिए।
यह शोध पत्र STMutants पेश करता है, जो विशेष रूप से इन कारखाने की मशीनों के लिए बनाया गया एक नया "अभ्यास परीक्षण" है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:
1. "नकली गलती" का खेल (म्यूटेशन टेस्टिंग)
यह देखने के लिए कि सुरक्षा परीक्षण कितना अच्छा है, आप केवल कोड को देखते नहीं हैं; बल्कि आप उसे तोड़ने की कोशिश करते हैं।
- उपमा: कल्पना कीजिए कि एक शिक्षक छात्र को गणित का टेस्ट देता है। यह देखने के लिए कि क्या छात्र वास्तव में उत्तर जानता है, शिक्षक चुपके से समस्या में एक संख्या बदल देता है (जैसे, "5" को "6" में बदलना) और देखता है कि क्या छात्र अभी भी सही उत्तर प्राप्त करता है।
- पेपर में: शोधकर्ताओं ने 11 वास्तविक दुनिया के कारखाने के प्रोग्राम लिए और 110 "नकली गलतियाँ" (जिन्हें म्यूटेंट्स कहा जाता है) बनाईं। उन्होंने छोटी-छोटी चीजें बदलीं, जैसे स्विच को "On" से "Off" करना, "बड़ा है" (greater than) के चिह्न को "छोटा है" (less than) में बदलना, या प्लस (+) के चिह्न को माइनस (-) से बदलना।
- परिणाम: उन्होंने इस सूची को साफ किया और 108 वास्तविक, कठिन गलतियाँ निकालीं जिन्हें एक कंप्यूटर वास्तव में चला सकता है। यह STMutants डेटासेट है। यह पहली बार है जब किसी ने कारखाने के कोड के लिए इन विशिष्ट "नकली गलतियों" की सार्वजनिक, मानकीकृत सूची बनाई है।
2. "AI छात्र" की परीक्षा
एक बार जब उनके पास नकली गलतियों की सूची आ गई, तो शोधकर्ताओं ने यह देखना चाहा कि क्या आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) एक सुरक्षा निरीक्षक के रूप में कार्य कर सकता है। उन्होंने तीन अलग-अलग AI मॉडल (सोचिए कि वे तीन बहुत बुद्धिमान छात्र हैं: GPT-5.2, Gemini 2.5, और Claude Sonnet 4.5) को दो काम करने के लिए कहा:
- एक टेस्ट लिखें: यह देखने के लिए इनपुट की एक चेकलिस्ट बनाएं कि क्या कोड काम करता है।
- गलतियाँ खोजें: उस चेकलिस्ट का उपयोग करके देखें कि क्या वे पहले से बोई गई 108 नकली गलतियों को पकड़ सकते हैं।
3. परिणाम: कौन पास हुआ?
AI मॉडल आश्चर्यजनक रूप से अच्छा प्रदर्शन कर रहे थे, लेकिन वे पूर्ण नहीं थे।
- विजेता: Gemini 2.5 सबसे अच्छा छात्र था, जिसने 94.4% नकली गलतियों को पकड़ा।
- दूसरे स्थान पर आने वाले: GPT-5.2 और Claude Sonnet 4.5 बराबरी पर रहे, जिन्होंने 86.1% गलतियों को पकड़ा।
- आसान बनाम कठिन:
- आसान: AI सरल गणितीय त्रुटियों या गलत संख्याओं (जैसे "5" को "6" में बदलना) को पकड़ने में बहुत अच्छा था।
- कठिन: AI समय-आधारित पहेलियों (time-based puzzles) में संघर्ष करता था। एक विशिष्ट प्रोग्राम, जिसे SEQUENCE 8 कहा जाता है, एक जटिल नृत्य दिनचर्या (dance routine) की तरह था जहाँ कदम इस बात पर निर्भर करते हैं कि पिछले चरण में क्या हुआ था। AI भ्रमित हो गया क्योंकि वह समय के साथ घटनाओं के क्रम को "याद" नहीं रख सका। इस विशिष्ट प्रोग्राम में उसने कई गलतियाँ छोड़ दीं।
4. यह क्यों महत्वपूर्ण है
इस शोध पत्र से पहले, शोधकर्ताओं के पास कारखाने के कोड के परीक्षण के लिए विभिन्न उपकरणों की तुलना करने का कोई मानक तरीका नहीं था। यह ऐसा था जैसे हर कोई एक मेज को मापने के लिए अपने अलग-अलग पैमाने (ruler) का उपयोग कर रहा हो।
- STMutants अब मानक पैमाना है।
- यह साबित करता है कि AI कारखाने की मशीनों के लिए सुरक्षा जांच लिखने में मदद कर सकता है, लेकिन यह यह भी दिखाता है कि जटिल, समय-संवेदनशील कार्यों के लिए AI को अभी भी मदद की आवश्यकता है।
- यह पेपर यह दावा नहीं करता कि AI अभी इंजीनियरों को बदलने के लिए तैयार है, बल्कि यह भविष्य के बेहतर, सुरक्षित उपकरण बनाने में मदद करने के लिए पहला ठोस "स्कोरकार्ड" प्रदान करता है।
संक्षेप में: लेखकों ने औद्योगिक मशीन कोड के लिए नकली त्रुटियों का एक "अभ्यास परीक्षण" बनाया और इसका उपयोग तीन AI को परखने के लिए किया। AI सरल त्रुटियों को खोजने में अच्छा था लेकिन जटिल, समय-आधारित तर्क (logic) में उलझ गया। यह डेटासेट अब किसी के लिए भी बेहतर सुरक्षा उपकरण बनाने के लिए उपलब्ध है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।