🤖 AI
Can LLMs Write Correct TLA+ Specifications? Evaluating Natural-Language-to-TLA+ Generation
यह शोध पत्र प्राकृतिक भाषा से TLA+ विनिर्देश (specifications) उत्पन्न करने के लिए 30 LLMs का पहला व्यवस्थित मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि जहाँ कुछ मॉडल सीमित वाक्यात्मक शुद्धता प्राप्त करते हैं, वहीं वे मतिभ्रम (hallucinations) और कोड प्रशिक्षण से होने वाले नकारात्मक हस्तांतरण (negative transfer) जैसी समस्याओं के कारण विशेषज्ञ पर्यवेक्षण के बिना मुख्य रूप से अर्थपूर्ण रूप से सही विनिर्देश उत्पन्न करने में विफल रहते हैं।