Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks
यह शोधपत्र Delulu को प्रस्तुत करता है, जो 1,951 प्रतिकूल रूप से क्यूरेट किए गए नमूनों से बना एक कठोरता से सत्यापित बहुभाषी बेंचमार्क है, जो फिल-इन-द-मिडल (Fill-in-the-Middle) कार्यों में विश्वसनीय किंतु त्रुटिपूर्ण मतिभ्रम (hallucinations) उत्पन्न करने के प्रति अत्याधुनिक कोड जनरेशन मॉडलों की निरंतर भेद्यता को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अति-आत्मविश्वासी, जूनियर प्रोग्रामर को कोड लिखने में मदद करने के लिए काम पर रख रहे हैं। यह प्रोग्रामर वाक्य में आगे क्या आने वाला है, इसका अनुमान लगाने में बहुत अच्छा है, लेकिन कभी-कभी, जब उसे उत्तर नहीं पता होता, तो वह कुछ ऐसा बना देता है जो सुनने में बिल्कुल सटीक लगता है।
यह पेपर एक नया "परीक्षा" पेश करता है जिसे DELULU कहा जाता है, जिसे इन मनगढ़ंत उत्तरों (जिन्हें hallucinations या भ्रम कहा जाता है) को पकड़ने के लिए डिज़ाइन किया गया है, विशेष रूप से तब जब प्रोग्रामर कोड के एक टुकड़े के बीच के हिस्से को भर रहा हो (एक कार्य जिसे "Fill-in-the-Middle" कहा जाता है)।
यहाँ सरल उपमाओं का उपयोग करके पेपर का विवरण दिया गया है:
1. समस्या: "आत्मविश्वासी झूठा" (The "Confident Liar")
कोडिंग AI की दुनिया में, मॉडल्स का परीक्षण अक्सर इस बात पर किया जाता है कि क्या वे शून्य से एक पूरा फंक्शन लिख सकते हैं। लेकिन वास्तविक दुनिया में, AI असिस्टेंट (जैसे GitHub Copilot) ज्यादातर कोड के पहले और बाद के हिस्से को देखकर बीच के खाली हिस्से को भरने का काम करते हैं।
समस्या यह है कि ये AI आत्मविश्वासी झूठ बोलने वाले की तरह होते हैं। वे एक ऐसी लाइब्रेरी का आविष्कार कर सकते हैं जो अस्तित्व में ही नहीं है, एक ऐसा फंक्शन कॉल कर सकते हैं जो असली नहीं है, या एक ऐसा वेरिएबल नाम इस्तेमाल कर सकते हैं जो परिभाषित (defined) ही नहीं किया गया है।
- जाल (The Trap): कोड मानवीय दृष्टि में एकदम सही दिखता है (यह व्याकरण की दृष्टि से सही है)। यह एक सामान्य वाक्य की तरह पढ़ता है। लेकिन जब आप इसे चलाने की कोशिश करते हैं, तो यह क्रैश हो जाता है क्योंकि AI ने एक तथ्य मनगढ़ंत बनाया था।
- लक्ष्य: लेखकों ने जानना चाहा: क्या वर्तमान AI मॉडल्स विश्वसनीय रूप से इन झूठों से बच सकते हैं? और यदि वे झूठ बोलते हैं, तो क्या अन्य AI मॉडल्स उस झूठ को पकड़ सकते हैं?
2. समाधान: "DELULU" परीक्षा
लेखकों ने एक बेंचमार्क (एक टेस्ट सेट) बनाया जिसे DELULU कहा जाता है। नाम इंटरनेट स्लैंग "delusional" (भ्रमित/वहम में रहने वाला) का एक खेल है, क्योंकि ये AI भ्रम अक्सर बहुत विश्वसनीय होते हैं।
DELULU को एक AI मॉडल के लिए एक विशाल, स्वचालित जाल के रूप में समझें।
- सेटअप: उन्होंने इंटरनेट से वास्तविक कोड लिया और 1,951 "जाल" बनाए।
- जाल: हर सही कोड (जिसे "Golden" उत्तर कहा जाता है) के लिए, उन्होंने एक सुपर-स्मार्ट AI का उपयोग करके एक "Hallucinated" (भ्रमित) संस्करण बनाया। इस नकली संस्करण ने गलत होने के लिए केवल एक छोटी सी चीज़ बदली, लेकिन इसे विश्वसनीय बनाए रखा।
- उदाहरण: एक वास्तविक इम्पोर्ट
from pandas import read_csvको एक नकली इम्पोर्टfrom pandas import read_csvsमें बदल देना।
- उदाहरण: एक वास्तविक इम्पोर्ट
- 4 प्रकार के झूठ: यह परीक्षा चार विशिष्ट तरीकों पर ध्यान केंद्रित करती है जिनसे AI गलत होता है:
- Method (विधि): एक फंक्शन का नाम बनाना (जैसे,
df.remove_nulls()जब वह फंक्शन मौजूद ही नहीं है)। - Parameter (पैरामीटर): एक ऐसी सेटिंग जोड़ना जो मौजूद नहीं है (जैसे,
print(text, color="blue")जब फंक्शन रंगों को स्वीकार नहीं करता है)। - Undefined Variable (अपरिभाषित वेरिएबल): एक ऐसा नाम उपयोग करना जो कभी बनाया ही नहीं गया।
- Import (इम्पोर्ट): एक ऐसा सॉफ्टवेयर पैकेज लोड करने की कोशिश करना जो मौजूद नहीं है।
- Method (विधि): एक फंक्शन का नाम बनाना (जैसे,
3. उन्होंने परीक्षा कैसे बनाई (The "Adversarial Pipeline")
उन्होंने केवल सवाल नहीं गेसे; उन्होंने एक कठोर फैक्ट्री बनाई ताकि यह सुनिश्चित हो सके कि सवाल कठिन हों और उत्तर वास्तविक हों।
- Generation (निर्माण): एक AI ने नकली, झूठ बोलने वाला कोड बनाया।
- "Judge" पैनल: चार अलग-अलग सुपर-AI शिक्षकों के रूप में नकली कोड को ग्रेड करने के लिए काम करते थे। यदि एक शिक्षक झूठ और सच के बीच अंतर नहीं कर पाया, तो सवाल को रखा गया। यदि शिक्षक ने झूठ को आसानी से पकड़ लिया, तो सवाल को बाहर कर दिया गया।
- "Reality Check" (Docker): यह सबसे महत्वपूर्ण हिस्सा है। उन्होंने केवल शिक्षकों पर भरोसा नहीं किया। उन्होंने प्रत्येक कोड स्निपेट को एक वर्चुअल सैंडबॉक्स (एक Docker कंटेनर) में डाला और उसे चलाने की कोशिश की।
- यदि "Golden" कोड सफलतापूर्वक चला, तो उसे रखा गया।
- यदि "Hallucinated" कोड ठीक उसी त्रुटि (error) के साथ क्रैश हो गया जिसकी परीक्षा ली जा रही थी (जैसे "File not found" या "Variable not defined"), तो उसे रखा गया।
- यदि नकली कोड वास्तव में क्रैश नहीं हुआ, तो उसे बाहर कर दिया गया।
- Human Review (मानवीय समीक्षा): अंत में, मानव विशेषज्ञों ने शेष प्रश्नों को देखा ताकि यह सुनिश्चित हो सके कि वे बहुत आसान या पक्षपाती नहीं थे।
4. परिणाम: AI अभी भी संघर्ष कर रहा है
लेखकों ने इस परीक्षा पर 11 अलग-अलग AI मॉडल्स (छोटे से लेकर बहुत बड़े तक) का परीक्षण किया।
- स्कोर: सबसे अच्छा AI मॉडल भी केवल लगभग 84.5% उत्तर सही दे पाया। इसका मतलब है कि वह अभी भी हर 6 में से लगभग 1 सवाल में जाल में फंस जाता है।
- सबसे कठिन जाल: "Import" वाले झूठ (नकली सॉफ्टवेयर पैकेज बनाना) सबसे कठिन थे जिन्हें AI टाल सका। यह उनसे हर सॉफ्टवेयर लाइब्रेरी की फोन बुक याद रखने जैसा है; वे ऐसे नाम गेस करते रहते हैं जो असली लगते हैं लेकिन नहीं होते।
- डिटेक्शन की समस्या: उन्होंने यह भी पूछा: "क्या एक AI कोड रिव्यूअर के रूप में इन झूठों को पकड़ सकता है?" यहाँ तक कि सबसे स्मार्ट AI रिव्यूअर्स भी झूठ को केवल 92% बार ही पकड़ पाए। इसका मतलब है कि अभी भी एक अंतर बाकी है जहाँ एक झूठ निकल सकता है।
5. यह क्यों महत्वपूर्ण है
पेपर निष्कर्ष निकालता है कि यह एक मौलिक समस्या है, न कि केवल किसी एक विशिष्ट AI मॉडल का बग।
- यह केवल आकार के बारे में नहीं है: AI को बड़ा बनाने से मदद मिलती है, लेकिन यह समस्या को पूरी तरह से हल नहीं करता है।
- यह केवल ट्रेनिंग के बारे में नहीं है: AI मॉडल्स के विभिन्न परिवार भी एक ही प्रकार के झूठ के साथ संघर्ष कर रहे थे।
- निष्कर्ष: हम AI पर कोड लिखने के लिए भरोसा नहीं कर सकते बिना उसकी जाँच किए, क्योंकि सबसे अच्छे AI भी अभी भी उन तथ्यों को गढ़ने के लिए "delusional" (भ्रमित) हैं जो आपके प्रोग्राम को क्रैश कर देते हैं।
संक्षेप में: DELULU एक कठोर, बहु-भाषा परीक्षण है जो साबित करता है कि वर्तमान AI कोड असिस्टेंट अभी भी ऐसे तथ्य बनाने के प्रति प्रवृत्त हैं जो वास्तविक दिखते हैं लेकिन जब आप उन्हें चलाने की कोशिश करते हैं तो टूट जाते हैं। यह पेपर डेवलपर्स को इस विशिष्ट कमजोरी को मापने और सुधारने के लिए उपकरण (परीक्षण और "सैंडबॉक्स" कंटेनर) प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।