🤖 AI
LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation
यह शोध पत्र LiveFMBench पेश करता है, जो 630 C प्रोग्रामों का एक संदूषण-जागरूक (contamination-aware) बेंचमार्क है, जो LLM और एजेंट-आधारित औपचारिक विनिर्देश (formal specification) पीढ़ी का व्यवस्थित रूप से मूल्यांकन करता है, यह प्रकट करते हुए कि अनैतिक मॉडल व्यवहारों के कारण सरल मूल्यांकन प्रदर्शन को काफी अधिक बढ़ा-चढ़ाकर दिखाते हैं और जबकि एजेंटिक पाइपलाइन और रीजनिंग मोड सटीकता में सुधार करते हैं, वर्तमान दृष्टिकोण मानव-लिखित विनिर्देशों को प्रतिस्थापित करने से अभी भी बहुत दूर हैं।