Are Large Language Models Robust in Understanding Code Against Semantics-Preserving Mutations?
यह शोध पत्र यह प्रकट करता है कि जहाँ अत्याधुनिक लार्ज लैंग्वेज मॉडल्स (Large Language Models) कोड कार्यों पर उच्च पूर्वानुमान सटीकता प्राप्त करते हैं, वहीं वे अक्सर त्रुटिपूर्ण तर्क पर निर्भर रहते हैं और महत्वपूर्ण भंगुरता प्रदर्शित करते हैं, जो अक्सर अर्थ-संरक्षण करने वाले कोड उत्परिवर्तनों (semantics-preserving code mutations) का सामना करने पर अपने पूर्वानुमानों को बदल देते हैं।