💻 computer science

A semantic mutation metric for metamorphic relation adequacy in scientific computing programs

यह शोध पत्र सिमेंटिक म्यूटेशन स्कोर (SMS) का प्रस्ताव करता है, जो वैज्ञानिक कंप्यूटिंग में शास्त्रीय सिंटैक्टिक म्यूटेशन टेस्टिंग की सीमाओं को संबोधित करने के लिए पांच डोमेन-सिमेंटिक ऑपरेटरों का उपयोग करने वाला एक बैकवर्ड-कंपैटिबल मीट्रिक है, जो एक बड़े पैमाने के अध्ययन के माध्यम से यह प्रदर्शित करता है कि जबकि LLM-जनरेटेड सिमेंटिक म्यूटेंट्स पारंपरिक AST-आधारित विधियों से परे विशिष्ट कवरेज प्रदान करते हैं, वे पर्याप्तता मूल्यांकन में बड़े के बजाय मध्यम प्रभाव आकार (effect size) उत्पन्न करते हैं।

मूल लेखक: Meng Li (School of Computing, University of South China, Hengyang, 421001, China, Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment, Hengyang, 421001, Chi

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Meng Li (School of Computing, University of South China, Hengyang, 421001, China, Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment, Hengyang, 421001, China, CNNC Key Laboratory on High Trusted Computing, Hengyang, 421001, China), Xiaohua Yang (School of Computing, University of South China, Hengyang, 421001, China, Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment, Hengyang, 421001, China, CNNC Key Laboratory on High Trusted Computing, Hengyang, 421001, China), Jie Liu (School of Computing, University of South China, Hengyang, 421001, China, Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment, Hengyang, 421001, China, CNNC Key Laboratory on High Trusted Computing, Hengyang, 421001, China), Shiyu Yan (School of Computing, University of South China, Hengyang, 421001, China, Hunan Engineering Research Center of Software Evaluation and Testing for Intellectual Equipment, Hengyang, 421001, China, CNNC Key Laboratory on High Trusted Computing, Hengyang, 421001, China)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: गणितीय सॉफ़्टवेयर में छिपे हुए बग्स को खोजना

कल्पना कीजिए कि आप एक जटिल मशीन बना रहे हैं जो कठिन गणितीय समस्याओं (जैसे मौसम की भविष्यवाणी करना या भौतिकी का अनुकरण करना) को हल करती है। आप यह सुनिश्चित करना चाहते हैं कि इसमें कोई छिपा हुआ बग (खराबी) न हो।

समस्या यह है: आपको कैसे पता चलेगा कि उत्तर सही है?
सामान्य सॉफ़्टवेयर में, आप उत्तर की तुलना एक "कुंजी" (जैसे गणित की पाठ्यपुस्तक) से करते हैं। लेकिन उन्नत वैज्ञानिक कंप्यूटिंग में, अक्सर ऐसी कोई पाठ्यपुस्तक उत्तर नहीं होती। गणित बहुत जटिल होता है। इसे "टेस्ट ऑरेकल प्रॉब्लम" (Test Oracle Problem) कहा जाता है।

इसे हल करने के लिए, शोधकर्ता मेटामॉर्फिक टेस्टिंग (MT) का उपयोग करते हैं। उत्तर "सही" है या नहीं, यह जाँचने के बजाय, वे यह देखते हैं कि क्या उत्तर ब्रह्मांड के नियमों का पालन करता है।

उपमा: यदि आप केक बनाने की रेसिपी में सामग्री की मात्रा दोगुनी कर देते हैं, तो केक को दोगुना बड़ा होना चाहिए। यदि आप सामग्री दोगुनी करते हैं और केक का आकार वही रहता है, तो कुछ गड़बड़ है, भले ही आपको यह न पता हो कि एक आदर्श केक का सटीक आकार क्या होगा।

नया टूल: "सिमेंटिक म्यूटेशन स्कोर" (SMS)

लेखकों ने इन नियमों का परीक्षण करने का एक नया तरीका बनाया है। वे इसे सिमेंटिक म्यूटेशन स्कोर (SMS) कहते हैं।

कोड को एक घर के रूप में सोचें।

पुराना तरीका (सिंटैक्टिक म्यूटेशन): कल्पना कीजिए कि एक रोबोट बेतरतीब ढंग से ईंटों को बदल देता है, पेंट का रंग बदल देता है, या एक खिड़की को एक इंच बाईं ओर खिसका देता है। यह "सिंटैक्स" है। यह घर के रूप को तो बदलता है लेकिन आमतौर पर घर की संरचना को नहीं तोड़ता।
नया तरीका (सिमेंटिक म्यूटेशन): कल्पना कीजिए कि एक रोबोट घर के भौतिक विज्ञान (Physics) को बदल देता है। वह एक भार वहन करने वाली दीवार को हटा देता है, नींव को कंक्रीट से बदलकर जेली कर देता है, या स्टील की बीम को रबर बैंड से बदल देता है। यह "सिमेंटिक्स" है। यह घर के तर्क (Logic) को तोड़ देता है।

लेखकों ने वैज्ञानिक गणित के विशिष्ट तर्क को तोड़ने के लिए पाँच विशेष "बग-इंजेक्टिंग" रोबोट (ऑपरेटर्स) बनाए:

कंजर्वेशन इरोजन (Conservation Erosion): इस नियम को तोड़ना कि "पदार्थ/ऊर्जा को बनाया या नष्ट नहीं किया जा सकता।"
ऑपरेटर सब्स्टिट्यूशन (Operator Substitution): एक गणितीय उपकरण को दूसरे से बदलना जो दिखने में समान है लेकिन कुछ और करता है (जैसे बोल्ट कसने के लिए हथौड़े का उपयोग करना)।
हाइपरपैरामीटर (Hyperparameter): एक "नॉब" (बटन/डायल) को बदलना जो गणित के काम करने के तरीके को नियंत्रित करता है (जैसे डायल को "धीमे और स्थिर" से "तेज और लापरवाह" पर घुमाना)।
ट्रैजेक्टरी फ्लिप (Trajectory Flip): एक पथ को तब पीछे या बगल में ले जाना जब उसे आगे जाना चाहिए।
स्ट्रक्चरल इंजेक्शन (Structural Injection): मशीन में एक नया हिस्सा जोड़ना जो वहां नहीं होना चाहिए।

प्रयोग: 12 टेस्ट किचन

शोधकर्ताओं ने अपने नए रोबोटों का परीक्षण 12 छोटे "टेस्ट किचन" (प्रोग्राम अंडर टेस्ट) पर किया। ये किचन अलग-अलग प्रकार के गणित का प्रतिनिधित्व करते हैं:

न्यूमेरिक (Numeric): समीकरणों को हल करना।
प्रोबेबिलिस्टिक (Probabilistic): पासा फेंकना और संभावनाओं की गणना करना।
सरोगेट (Surrogate): एक जटिल परिणाम का अनुमान लगाने के लिए एक सरल मॉडल का उपयोग करना।
मशीन लर्निंग (Machine Learning): कंप्यूटर को पैटर्न सीखने के लिए सिखाना।

उन्होंने इन "बग्गी" (खराबी वाले) कोड संस्करणों को उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) (जैसे कि AI जिससे आप बात कर रहे हैं) का उपयोग किया। उन्होंने AI से पूछा: "यह एक गणितीय प्रोग्राम है। कृपया इसके तर्क (Logic) को एक विशिष्ट तरीके से तोड़ दें।"

परिणाम: उन्होंने क्या पाया

1. AI "गहरे" बग्स खोजने में अच्छा है।
जब उन्होंने AI द्वारा उत्पन्न बग्स की तुलना मानक, पुराने जमाने के रोबोट बग्स (जो केवल गणितीय प्रतीकों को बदलते हैं) से की, तो उन्हें एक बड़ा अंतर मिला।

ओवरलैप: केवल 5% AI बग्स ही पुराने जमाने के बग्स के समान थे।
गैप: AI ने उन 54% बग्स को खोज निकाला जिन्हें पुराने रोबोट देख भी नहीं सकते थे। ये वे बग्स थे जो "नॉब्स" (हाइपरपैमीटर) को बदलने, पथ को पलटने (ट्रैजेक्टरी) या संरचना को बदलने (स्ट्रक्चरल इंजेक्शन) से संबंधित थे। पुराने रोबोट इनके प्रति अंधे थे क्योंकि वे केवल सतह के कोड को देखते थे, गहरे अर्थ को नहीं।

2. "इफेक्ट साइज" (प्रभाव का आकार) बड़ा नहीं, बल्कि मध्यम था।
शोधकर्ताओं को एक बड़ी उम्मीद थी: उन्हें लगा कि अलग-अलग एआई (Claude, GPT, DeepSeek) का उपयोग करने से बग्स की एक विशाल विविधता पैदा होगी, जिससे परीक्षण बहुत मजबूत हो जाएगा।

वास्तविकता: अलग-अलग एआई का उपयोग करने से परिणामों में ज्यादा बदलाव नहीं आया। चाहे उन्होंने एक एआई का उपयोग किया हो या तीन का, यह "स्कोर" कि उनके परीक्षण कितने अच्छे रहे, लगभग एक जैसा ही रहा।
उपमा: यह एक केक को तोड़ने के लिए तीन अलग-अलग शेफ से पूछने जैसा है। आप उम्मीद कर सकते हैं कि वे इसे बिल्कुल अलग तरीकों से तोड़ेंगे, लेकिन वे सभी एक ही जगह पर उसे तोड़ते हैं। अधिक शेफ होने से टूटे हुए टुकड़ों की गुणवत्ता थोड़ी बेहतर थी, लेकिन टूटने का पैटर्न नहीं बदला।

3. "जीरो" (शून्य) की समस्या।
75% परीक्षण मामलों में, नए सिस्टम ने शून्य बग पाए।

क्यों? ऐसा इसलिए नहीं था कि कोड एकदम सही था। बल्कि इसलिए था क्योंकि वे जिस "नियमों" (मेटामॉर्फिक रिलेशंस) के खिलाफ परीक्षण कर रहे थे, वे बहुत ढीले थे। बग मौजूद थे, लेकिन वे विशिष्ट नियम जो उन्हें चेक कर रहे थे, उन्हें पकड़ नहीं पाए। यह बहुत बड़े छेदों वाले जाल के समान है जो छोटी मछलियों को पकड़ने के लिए बहुत बड़ा है।

निष्कर्ष: एक बेहतर पैमाना, लेकिन कोई जादू की छड़ी नहीं

यह पेपर निष्कर्ष निकालता है कि सिमेंटिक म्यूटेशन स्कोर (SMS) एक वैध, बैकवर्ड-कंपैटिबल (पिछली संगत) टूल है।

बैकवर्ड-कंपैटिबल: यदि आप "स्मार्ट" फीचर्स को बंद कर देते हैं और केवल साधारण कोड स्वैप देखते हैं, तो यह पुराने, भरोसेमंद म्यूटेशन स्कोर की तरह ही काम करता है।
फैसला: नया तरीका सफलतापूर्वक उन गहरे, तार्किक बग्स की पहचान करता है जिन्हें मानक उपकरण मिस कर देते हैं। हालांकि, शोधकर्ता स्वीकार करते हैं कि केवल अधिक AI मॉडल का उपयोग करने से परीक्षण अपने आप पूर्ण नहीं हो जाता है। असली कुंजी बेहतर "नियम" (मेटामॉर्फिक रिलेशंस) डिजाइन करना है ताकि AI द्वारा खोजे गए बग्स को पकड़ा जा सके।

संक्षेप में: उन्होंने एक नया, स्मार्ट बग-हंटर बनाया है जो गणितीय कोड के अक्षरों को नहीं, बल्कि उसके अर्थ को समझता है। यह उन बग्स को ढूंढ लेता है जिन्हें पुराने शिकारी नहीं देख पाते, लेकिन हर चीज़ को पकड़ने के लिए इसे अभी भी बेहतर निर्देशों (नियमों) की आवश्यकता है।

तकनीकी सारांश: वैज्ञानिक कंप्यूटिंग प्रोग्रामों में मेटामॉर्फिक रिलेशन पर्याप्तता के लिए एक सिमेंटिक म्यूटेशन मेट्रिक

1. समस्या विवरण

मेटामॉर्फिक टेस्टिंग (MT), ज्ञात सही मानों के विरुद्ध आउटपुट की जाँच करने के बजाय संबंधित इनपुट्स के बीच इनवेरियंट्स (मेटामॉर्फिक रिलेशंस, या MRs) को सत्यापित करके वैज्ञानिक कंप्यूटिंग में टेस्ट-ओरेकल समस्या का समाधान करती है। हालांकि, डोमेन-विशिष्ट दोषों (faults) के विरुद्ध एक MR सेट की पर्याप्तता (adequacy) का आकलन करने के लिए शास्त्रीय म्यूटेशन स्कोर (MS) वंशावली से जुड़े किसी मेट्रिक का अभाव रहा है।

शास्त्रीय MS, सिंथेटिक एब्स्ट्रैक्ट सिंटैक्स ट्री (AST) म्यूटेशन (जैसे, ऑपरेटर रिप्लेसमेंट, कॉन्स्टेंट मॉडिफिकेशन) पर निर्भर करता है। ये उपकरण उन डोमेन सेमेंटिक्स (domain semantics) को पकड़ने में विफल रहते हैं जो वैज्ञानिक कंप्यूटिंग के लिए महत्वपूर्ण हैं, जैसे कि संरक्षण नियम (conservation laws), मोनोटोनिसिटी (monotonicity), अभिसरण क्रम (convergence orders), प्रक्षेपवक्र आकार (trajectory shapes), और फिडेलिटी ऑर्डरिंग (fidelity ordering)। इसके अलावा, जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) अधिक समृद्ध सिमेंटिक म्यूटेंट्स उत्पन्न कर सकते हैं, पिछले कार्यों ने MRs के डिज़ाइन से LLM स्रोत विविधता (source diversity) के योगदान को अलग-थलग नहीं किया है।

2. कार्यप्रणाली

2.1 सिमेंटिक म्यूटेशन स्कोर (SMS)

लेखक सिमेंटिक म्यूटेशन स्कोर (SMS) प्रस्तावित करते हैं, जो शास्त्रीय MS का एक सख्त सामान्यीकरण (generalization) है। SMS एक तीन-स्तरीय ढांचे पर आधारित है:

लेयर 1 (परिभाषिक - Definitional): एक म्यूटेंट को "सिमेंटिक" तब परिभाषित किया जाता है जब वह तीन आवश्यक शर्तों में से कम से कम एक को पूरा करता है:
1. क्रॉस-बाउंड्री (Cross-boundary): यह एक फंक्शन-कॉल या मॉड्यूल-इंपोर्ट बाउंड्री को पार करता है।
2. डोमेन-नॉलेज डिपेंडेंट (Domain-knowledge dependent): इसकी वैधता गणितीय, भौतिक या सांख्यिकीय ज्ञान पर निर्भर करती है (न कि केवल टाइप प्रिजर्वेशन पर)।
3. एल्गोरिदमिक क्लास चेंज (Algorithmic class change): यह कार्यान्वयन के एल्गोरिदमिक क्लास को बदल देता है।
  इनके आधार पर, पांच मेटा-ऑपरेटर क्लासेस को परिभाषित किया गया है:
- कंजर्वेशन इरोशन (Conservation Erosion - CE): संरक्षण नियमों को तोड़ना।
- ऑपरेटर सब्स्टीट्यूशन (Operator Substitution - OS): ऑपरेटरों को सिमेंटिक रूप से भिन्न विकल्पों से बदलना (जैसे, det बनाम sum(diag))।
- हाइपरपैरामीटर (Hyperparameter - HP): विशिष्ट डोमेन सेमेंटिक्स (जैसे, नॉइज़ लेवल, लर्निंग रेट) के साथ पैरामीटर्स को संशोधित करना।
- ट्रैजेक्टरी फ्लिप (Trajectory Flip - TF): संख्यात्मक प्रक्षेपवक्रों या इंटीग्रेशन ऑर्डर्स को विकृत करना।
- स्ट्रक्चरल इंजेक्शन (Structural Injection - SI): फिडेलिटी या ऑर्डर को प्रभावित करने वाले संरचनात्मक परिवर्तनों को इंजेक्ट करना।
लेयर 2 (परिचालन - Operational): एक इक्विवेलेंस जजमेंट ( $E_1 \land E_2$ ) यह निर्धारित करता है कि क्या एक म्यूटेंट मूल के समान है।
- $E_1$ (AVP-कोहेरेंट): म्यूटेंट सभी MRs के लिए ऑटोमेटेड वेरिफिकेशन पाइपलाइन (AVP) को पास करता है।
1. $E_2$ (आउटपुट-इक्विवेलेंट): म्यूटेंट $K_{eq}=1000$ सैंपल्स पर आउटपुट को एक टॉलरेंस $\epsilon_{eq}$ के भीतर उत्पन्न करता है।
- एक म्यूटेंट "किल" (kill) माना जाता है यदि वह कम से कम एक MR के लिए AVP को विफल कर देता है।
लेयर 3 (अनुप्रयोग - Applied): AST-सामान्यीकृत स्तर पर cosmic-ray टूल का उपयोग करके LLM-जनरेटेड म्यूटेंट्स की सिंथेटिक म्यूटेंट्स के साथ एम्पिरिकल ट्रेसबिलिटी।

2.2 प्रयोगात्मक डिज़ाइन

विषय (Subjects): चार प्रकार के सिंगल-आउटपुट वैज्ञानिक कर्नेल ( $float \to float$ ) का प्रतिनिधित्व करने वाले 12 प्रोग्राम्स अंडर टेस्ट (PUTs): न्यूमेरिक (A), प्रोबेबिलिस्टिक (B), सरोगेट (C), और मशीन लर्निंग (D)। प्रत्येक PUT 2 KB से कम का है।
डिज़ाइन: एक $12 \text{ PUTs} \times 5 \text{ ऑपरेटर्स} \times 5 \text{ मेटामॉर्फिक पैटर्न्स}$ मैट्रिक्स, जिसके परिणामस्वरूप 60 प्रयोगात्मक सेल बनते हैं।
LLM प्रोटोकॉल:
- v3 (सेम-सोर्स): एक ही LLM (Claude Opus) द्वारा जनरेट किए गए म्यूटेंट्स।
- v4 (क्रॉस-सोर्स): LLM स्रोत विविधता के प्रभाव को अलग करने के लिए तीन LLMs (Claude, GPT-5.4, DeepSeek) द्वारा एक समान प्रॉम्प्ट के तहत जनरेट किए गए म्यूटेंट्स।
एट्रिब्यूशन (LRCA): एक तीन-स्तरीय क्लासिफायर (Likely Root Cause Attribution) किल्ड म्यूटेंट्स को वर्गीकृत करता है:
- C1: ट्रू सिमेंटिक फेलियर।
- C2–C5: न्यूमेरिकल टॉलरेंस, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD), सांख्यिकीय उल्लंघन, या म्यूटेटर आर्टिफैक्ट्स।
- मेट्रिक्स में $C1\_share$ (ट्रू सिमेंटिक फेलियर्स का अनुपात) और $suspect\_share$ शामिल हैं।

2.3 बैकवर्ड कम्पैटिबिलिटी

यह पेपर सिद्ध करता है कि एक डेजेनरेट लिमिट ( $L$ ) के तहत जहाँ ऑपरेटर्स नियम-आधारित सिंथेटिक बन जाते हैं, इक्विवेलेंस बिटवाइज़ हो जाती है, और प्रोग्राम्स डिटर्मिनिस्टिक इम्परेटिव होते हैं, SMS लगभग हर जगह शास्त्रीय म्यूटेशन स्कोर (थ्योरम 9.1) में बदल जाता है। यह मौजूदा म्यूटेशन टेस्टिंग साहित्य के साथ संरचनात्मक निरंतरता सुनिश्चित करता है।

3. मुख्य परिणाम

3.1 सिमेंटिक रीचेबिलिटी बनाम सिंथेटिक टूल्स

AST ओवरलैप: 12 PUTs में LLM-जनरेटेड म्यूटेंट्स और डिफॉल्ट cosmic-ray सिंथेटिक म्यूटेंट्स के बीच केवल 5.14% AST ओवरलैप है।
अनरीचेबिलिटी (Unreachability): तीन ऑपरेटर क्लासेस—हाइपरपैरामीटर (HP), स्ट्रक्चरल इंजेक्शन (SI), और ट्रैजेक्टरी फ्लिप (TF)—डिफ़ॉल्ट फर्स्ट-ऑर्डर सिंथेटिक टूल्स द्वारा 0% रीचेबल हैं (0/72, 0/33, और 0/54 ओवरलैप्स)। ये LLM म्यूटेंट पूल का 54.5% हिस्सा हैं।
निष्कर्ष: डिफॉल्ट सिंथेटिक टूल्स (भले ही वे हायर-ऑर्डर कंपोजिशन का उपयोग करें, हालांकि प्रयोगात्मक रूप से परीक्षण नहीं किया गया है) इन डोमेन-विशिष्ट दोषों को व्यवस्थित रूप से उत्पन्न नहीं कर सकते।

3.2 इफेक्ट साइज और LLM सोर्स डायवर्सिटी

क्लिफ्स डेल्टा ( $\delta$ ): अध्ययन "अलाइन्ड" स्लाइस (ऑपरेटर MR पैटर्न से मेल खाता है) बनाम "क्रॉस" स्लाइस (मिसमैच होता है) की तुलना करता है।
- v3 (सेम-सोर्स): $\delta = 0.323$ (95% CI [0.017, 0.622])।
- vv4 (क्रॉस-सोर्स): $\delta = 0.314$ (95% CI [0.014, 0.622])।
हाइपोथीसिस H2: पूर्व-पंजीकृत बड़े-इफेक्ट थ्रेशोल्ड ( $\delta \ge 0.474$ ) को प्राप्त नहीं किया गया। देखा गया प्रभाव मीडियम-इफेक्ट रेंज में है।
सोर्स डायवर्सिटी: एक समान प्रॉम्प्ट के तहत सिंगल-सोर्स से क्रॉस-सोर्स पूल में स्विच करने से $\delta$ में केवल -0.009 का बदलाव आया (CI शून्य को कवर करता है)। यह इंगित करता है कि इस डिज़ाइन में अलाइन्ड-बनाम-क्रॉस इफेक्ट साइज के लिए LLM पहचान प्राथमिक लीवर नहीं है।

3.3 म्यूटेंट क्वालिटी और LRCA

क्वालिटी इम्प्रूवमेंट: क्रॉस-सोर्स पूलिंग ने औसत $C1\_share$ (ट्रू सिमेंटिक फेलियर्स) को 16.4% से बढ़ाकर 20.9% (+27%) कर दिया।
हाइपोथीसिस H4: पूर्व-पंजीकृत थ्रेशोल्ड $mean \text{ } suspect\_share \le 0.20$ (अर्थात $C1\_share \ge 0.80$ ) को प्राप्त नहीं किया गया। देखा गया औसत $C1\_share$ 0.209 था, जिसका अर्थ है कि 79.1% किल्स गैर-सिमेंटिक कारणों (टॉलरेंस, OOD, आदि) के कारण थे।
डिकपलिंग (Decoupling): सिमेंटिक फिएसिबिलिटी ( $R_{sem}$ ) और किल रेट ( $R_{kill}$ ) के बीच एक तीव्र डिकपलिंग देखी गई। कई म्यूटेंट्स सिंथेटिक रूप से वैध और सिमेंटिक रूप से इच्छित ( $R_{sem} \approx 1.0$ ) थे, लेकिन प्राथमिक MRs द्वारा किल्ड नहीं किए जा सके ( $R_{kill} = 0$ ), जो सुझाव देता है कि MR डिज़ाइन की पर्याप्तता, न कि केवल म्यूटेंट जनरेशन, SMS को सीमित करता है।

3.4 सांख्यिकीय शक्ति (Statistical Power)

पावर एनालिसिस: अध्ययन सैंपल साइज ( $N=12$ PUTs, 60 सेल्स) के कारण कम सांख्यिकीय शक्ति को स्वीकार करता है। एक बड़े प्रभाव ( $\delta \ge 0.474$ ) को पकड़ने की निर्धारित शक्ति केवल 49.1% थी। लेखक "प्राप्त नहीं हुआ" के निर्णय को पॉइंट एस्टीमेट के थ्रेशोल्ड को विफल करने के रूप में फ्रेम करते हैं, न कि यह दावा करने के रूप में कि प्रभाव छोटा है।

4. महत्व और दावे

पेपर निम्नलिखित योगदानों का दावा करता है:

फॉर्मल मेट्रिक: यह SMS पेश करता है, जो वैज्ञानिक कंप्यूटिंग कर्नेल के लिए MR पर्याप्तता के लिए पहला डोमेन-विशिष्ट सिमेंटिक म्यूटेशन स्कोर है, जिसमें शास्त्रीय MS में बैकवर्ड-कम्पैटिबल रिडक्शन सिद्ध है।
ऑपरेटर फ्रेमवर्क: यह पांच सिमेंटिक म्यूटेशन ऑपरेटर्स (CE, OS, HP, TF, SI) को परिभाषित और लागू करता है जो डिफॉल्ट सिंथेटिक टूल्स द्वारा अप्राप्य दोषों को लक्षित करते हैं।
अनरीचेबिलिटी का एम्पिरिकल प्रमाण: यह प्रमाण प्रदान करता है कि डिफॉल्ट फर्स्ट-ऑर्डर सिंथेटिक टूल्स HP, SI, और TF म्यूटेंट्स उत्पन्न नहीं कर सकते, जो सिमेंटिक ऑपरेटर्स की आवश्यकता को मान्य करता है।
LLM सोर्स डायवर्सिटी निष्कर्ष: यह दर्शाता है कि एक समान प्रॉम्प्ट के तहत, LLM सोर्स डायवर्सिटी अलाइन्ड-बनाम-क्रॉस MR पर्याप्तता (क्लिफ्स डेल्टा) को महत्वपूर्ण रूप से नहीं बदलती है, हालांकि यह गुणवत्ता ( $C1\_share$ ) में सुधार करती है।
मेथोडोलॉजिकल फ्रेमवर्क: यह सिमेंटिक म्यूटेशन के मूल्यांकन के लिए एक तीन-स्तरीय ढांचा (डेफिनिशनल, ऑपरेशनल, एप्लाइड) स्थापित करता है, जिसमें एक रूढ़िवादी इक्विवेलेंस जजमेंट ( $E_1 \land E_2$ ) और एक इंजीनियरिंग एट्रिब्यूशन लेयर (LRCA) शामिल है।

सीमाएं और विनम्रता:
लेखक स्पष्ट रूप से कहते हैं कि यह अध्ययन एक लो-पावर एक्सप्लोरेटरी योगदान है। H2 के लिए "प्राप्त नहीं हुआ" के निर्णय को पॉइंट एस्टीमेट के थ्रेशोल्ड को विफल करने के रूप में बताया गया है, जिसमें बड़े सैंपल साइज (P4) द्वारा अलग प्रभाव आकार दिखने की संभावना है। वे यह दावा नहीं करते कि LLMs टेस्ट जनरेशन के लिए अंतिम समाधान हैं, और न ही वे दावा करते हैं कि SMS औद्योगिक प्रमाणन (जैसे, IEC 60880, DO-178C) के लिए तैयार है। यह कार्य एक पांच-पेपर रोडमैप के पहले चरण (P2) के रूप में स्थित है, जिसमें औपचारिक प्रमेय और औद्योगिक ट्रांसफर साथी पेपर्स (P4, P5) के लिए आरक्षित हैं।