EVALOOOP: A Self-Consistency-Centered Framework for Assessing Large Language Model Robustness in Programming
यह शोधपत्र EVALOOOP प्रस्तुत करता है, जो एक नवीन ढांचा है जो कार्यात्मक कोड-प्राकृतिक भाषा रूपांतरणों के औसत सतत लूप (ASL) को मापकर प्रोग्रामिंग में लार्ज लैंग्वेज मॉडल की मजबूती का आकलन करता है, जिससे यह पता चलता है कि बेहतर प्रारंभिक प्रदर्शन वाले मॉडल अनिवार्य रूप से स्व-संदर्भित पुनरावृत्ति कार्यों के तहत अधिक अंतर्निहित स्थिरता प्रदर्शित नहीं करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए कर्मचारी को काम पर रख रहे हैं जिसे एक उच्च-जोखिम वाले कारखाने में काम करना है जहाँ उसे एक मशीन बनानी है, उसके लिए एक मैनुअल लिखना है, और फिर उस मैनुअल का उपयोग करके उसी मशीन को बार-बार बनाना है, बिना कभी रुके।
आजकल की अधिकांश कंपनियाँ अपने कर्मचारियों का परीक्षण करने के लिए उन पर अजीबोगरीब "जाल" (traps) फेंकती हैं—जैसे निर्देशों में फॉन्ट बदल देना या भ्रमित करने वाले अतिरिक्त शब्द जोड़ देना—यह देखने के लिए कि क्या वे भ्रमित होते हैं। इसे एडवर्सरियल टेस्टिंग (Adversarial Testing) कहा जाता है।
लेकिन इस पेपर के लेखक, EvaLooop, कहते हैं: "वह वास्तविक परीक्षण नहीं है।"
उनका तर्क है कि AI कोडिंग की वास्तविक दुनिया में, AI केवल किसी इंसान की अजीब चालों पर प्रतिक्रिया नहीं दे रहा है। यह अक्सर एक लूप (loop) में काम करता है जहाँ यह खुद से बात करता है। यह कोड लिखता है, यह समझने के लिए कि इसने क्या किया अपने ही कोड को पढ़ता है, और फिर उस समझ के आधार पर फिर से कोड लिखने की कोशिश करता है। यदि यह अपने ही शब्दों से भ्रमित हो जाता है, तो पूरा सिस्टम क्रैश हो जाता है।
यहाँ उनके नए विचार, EvaLooop का सरल उपमाओं (analogies) का विवरण दिया गया है:
1. समस्या: "जाल" बनाम "इको चैंबर" (The "Trap" vs. The "Echo Chamber")
- पुराना तरीका (Adversarial Attacks): कल्पना कीजिए कि एक शिक्षक एक छात्र का परीक्षण करने के लिए उसे अजीब लहजे में निर्देश दे रहा है या अदृश्य स्याही में लिख रहा है। यदि छात्र विफल हो जाता है, तो शिक्षक कहता है, "आप मजबूत (robust) नहीं हैं!" लेकिन छात्र सामान्य काम में बहुत अच्छा हो सकता है; उसे बस अदृश्य स्याही पसंद नहीं है। बदतर यह है कि एक छात्र को अदृश्य स्याही से नफरत हो सकती है लेकिन चिल्लाने से नहीं, जबकि दूसरे को चिल्लाने से नफरत हो सकती है लेकिन अदृश्य स्याही से नहीं। आप उनकी निष्पक्ष तुलना नहीं कर सकते क्योंकि परीक्षण स्वयं पक्षपाती है।
- नया तरीका (EvaLooop): जाल बिछाने के बजाय, शिक्षक छात्र को खुद के साथ "टेलीफोन" (Telephone) का खेल खेलने के लिए कहता है।
- छात्र एक कहानी लिखता है (कोड)।
- छात्र अपनी कहानी पढ़ता है और उसे वापस एक प्रॉम्प्ट (प्राकृतिक भाषा) के रूप में सारांशित करता है।
- छात्र उस सारांश का उपयोग करके फिर से कहानी लिखता है।
- वह इस चक्र को तब तक दोहराता है जब तक कि कहानी समझ से बाहर न हो जाए या कोड टूट न जाए।
2. मुख्य अवधारणा: "स्व-संगति लूप" (The "Self-Consistency Loop")
AI को एक अनुवादक के रूप में सोचें जो एक लेखक भी है।
- चरण 1: AI एक पायथन फंक्शन लिखता है (कोड)।
- चरण 2: AI उस कोड को पढ़ता है और यह बताता है कि वह क्या करता है, इसका एक साधारण अंग्रेजी विवरण लिखता है (सारांश)।
- चरण 3: AI उस अंग्रेजी विवरण को लेता है और फिर से पायथन कोड लिखने की कोशिश करता है।
- चरण 4: यह चलता रहता है: कोड → सारांश → कोड → सारांश...
यदि AI वास्तव में "मजबूत" (robust) है, तो वह बिना पटरी से उतरे इस लूप को कई बार कर सकता है। यदि यह नाजुक है, तो हो सकता है कि यह पहली बार में कोड सही लिख दे, लेकिन दूसरी या तीसरी बार जब यह अपने काम का सारांश लिखता है, तो यह एक महत्वपूर्ण विवरण भूल जाता है, और कोड टूट जाता है।
3. स्कोर: "औसत टिकाऊ लूप" (Average Sustainable Loops - ASL)
केवल "पास" या "फेल" कहने के बजाय, EvaLooop एक स्कोर देता है कि AI इस खेल को कितनी देर तक जारी रख सकता है।
- कम स्कोर: AI 2 लूप के बाद टूट जाता है। यह एक ऐसे व्यक्ति की तरह है जो एक बार चुटकुला सुना सकता है, लेकिन यदि आप उन्हें इसे फिर से सुनाने के लिए कहते हैं, तो वे पंचलाइन भूल जाते हैं।
- उच्च स्कोर: AI 10 लूप तक निरंतरता बनाए रखता है। यह एक मास्टर स्टोरीटेलर की तरह है जो एक जटिल कहानी को दर्जनों बार बिना अंत बदले सुना सकता है।
4. बड़ी हैरानी: "बड़ा दिमाग" हमेशा "स्थिर दिमाग" नहीं होता
शोधकर्ताओं ने 96 अलग-अलग AI मॉडल का परीक्षण किया, छोटे से लेकर विशाल सुपर-कंप्यूटर तक। उन्होंने कुछ चौंकाने वाला पाया:
- "सबसे स्मार्ट" हमेशा "सबसे मजबूत" नहीं होता: कुछ मॉडल जो पहली बार में कोड लिखने में अद्भुत हैं (उच्च प्रारंभिक प्रदर्शन), वे लूप करने के लिए कहे जाने पर जल्दी बिखर जाते हैं। वे एक धावक की तरह हैं जो तेज़ दौड़ते हैं लेकिन 10 सेकंड के बाद अपने ही जूतों के फीतों में उलझकर गिर जाते हैं।
- "अंडरडॉग्स" आश्चर्यजनक रूप से कठिन होते हैं: कुछ छोटे या कम प्रसिद्ध मॉडल लूप में बहुत बेहतर प्रदर्शन करते हैं। वे शायद सबसे तेज़ धावक न हों, लेकिन उनमें जबरदस्त सहनशक्ति होती है और वे अपने ही शब्दों में नहीं उलझते।
5. यह क्यों मायने रखता है
भविष्य में, हम केवल AI से एक कोड लिखने के लिए नहीं कहेंगे। हम AI से पूरे सॉफ़्टवेयर सिस्टम बनाने के लिए कहेंगे जहाँ एक AI का आउटपुट दूसरे AI का इनपुट बनेगा।
- यदि आप एक ऐसा मॉडल उपयोग करते हैं जो "नाजुक" (fragile) है, तो चरण 1 में एक छोटी सी गलतफहमी चरण 2, चरण 3 और चरण 4 में बढ़ जाएगी, जब तक कि पूरा सिस्टम बेकार न हो जाए।
- EvaLooop डेवलपर्स को वह AI चुनने में मदद करता है जो लंबे और जटिल काम के दौरान अपने ही जूतों के फीतों में नहीं उलझेगा।
सारांश उपमा
कल्पना कीजिए कि आप ब्लॉक्स (blocks) से एक मीनार बना रहे हैं।
- पुराना टेस्ट: कोई मीनार को फूँक मारकर गिराने की कोशिश करता है (Adversarial Attack)।
- EvaLooop टेस्ट: आप निर्माता से मीनार बनाने, उसका वर्णन करने और फिर केवल उनके वर्णन का उपयोग करके उसे फिर से बनाने के लिए कहते हैं, और इस प्रक्रिया को 10 बार दोहराते हैं।
- परिणाम: कुछ निर्माता एक बार में मीनार बना सकते हैं, लेकिन 5वीं बार जब वे अपने ही नोट्स से उसे फिर से बनाने की कोशिश करते हैं, तो मीनार ढह जाती है। EvaLooop उन निर्माताओं को खोजता है जो लूप, लूप के बाद मीनार को खड़ा रख सकते हैं।
यह फ्रेमवर्क अब एक लीडरबोर्ड के रूप में लाइव है, जो डेवलपर्स को एक त्वरित कार्य के लिए सबसे चमकदार मॉडल के बजाय, लंबे समय तक चलने वाले काम के लिए सबसे विश्वसनीय AI चुनने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।