Reliability of Large Language Models for Design Synthesis: An Empirical Study of Variance, Prompt Sensitivity, and Method Scaffolding
यह अनुभवजन्य अध्ययन प्राकृतिक भाषा से ऑब्जेक्ट-ओरिएंटेड UML डिज़ाइनों को संश्लेषित करने में तीन लार्ज लैंग्वेज मॉडल्स की विश्वसनीयता का मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि प्राथमिकता-आधारित प्रॉम्प्टिंग डिज़ाइन सिद्धांतों के पालन में सुधार करती है, लेकिन यह गैर-नियतता (non-determinism) को पूरी तरह से समाप्त नहीं कर सकती या डिज़ाइन गुणवत्ता में महत्वपूर्ण मॉडल-निर्भर विविधताओं को दूर नहीं कर सकती।