Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation
यह शोध पत्र "सिमेंटिक ट्राइएंगुलेशन" (semantic triangulation) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो विच्छेदी समस्या वेरिएंट्स (dissociative problem variants) के समाधान उत्पन्न करके और उनका क्रॉस-वेरिफिकेशन करके LLM कोड मतिभ्रम (hallucinations) को कम करता है, जिससे मौजूदा प्रॉक्सी-आधारित तरीकों की तुलना में कई बेंचमार्क और मॉडलों में सही प्रोग्रामों के चयन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक अपराध को सुलझाने की कोशिश कर रहे हैं। आपके पास संदिग्धों की एक लाइनअप है (ये AI-जनरेटेड कोड स्निपेट्स हैं)। आपका लक्ष्य झूठ बोलने वालों की भीड़ (बग्गी कोड) के बीच में से एक निर्दोष व्यक्ति (सही कोड) को खोजना है।
समस्या: "मिलीभगत वाला बहाना" (The Colluded Alibi)
आमतौर पर, जब हम AI से कोड लिखने के लिए कहते हैं, तो वह गलतियाँ कर सकता है। ये गलतियाँ रैंडम नहीं होतीं; ये अक्सर हैलुसिनेशन (Hallucinations) होती हैं—AI आत्मविश्वास के साथ कुछ ऐसा आविष्कार करता है जो सुनने में सही लगता है लेकिन वास्तव में गलत होता है।
यदि आप AI को एक ही कोड 10 बार लिखने के लिए कहते हैं, तो हो सकता है कि वह 10 में से 9 बार बिल्कुल एक ही गलती करे।
- पुरानी विधि (बहुमत मतदान/Plurality Voting): आप सभी 10 वर्ज़न से पूछते हैं, "कौन निर्दोष है?" यदि 9 उनमें से कहते हैं, "मैंने इसे इस तरह किया," और केवल 1 कहता है, "मैंने इसे उस तरह किया," तो आप 9 वाले समूह को चुन लेते हैं।
- खामी: यह वैसा ही है जैसे संदिग्धों के एक समूह से पूछना, जो पहले से ही एक बैक रूम में मिलकर एक फर्जी बहाना (alibi) बनाने के लिए मिल चुके हैं, कि वे एक दूसरे का समर्थन करें। वे सब एक ही झूठ बोलते हैं, इसलिए "बहुमत" का वोट सच को नहीं, बल्कि झूठे को चुन लेता है।
अन्य विधियाँ AI से अपने स्वयं के टेस्ट केस या नियम लिखने के लिए कहकर कोड की जाँच करने की कोशिश करती हैं। लेकिन चूंकि AI ने ही नियम और कोड दोनों लिखे हैं, इसलिए यह अपने ही गवाह बयान लिखने वाले संदिग्ध जैसा है। वे बस एक ऐसी कहानी लिखेंगे जिससे उनका झूठ सच दिखाई दे।
समाधान: सिमेंटिक ट्रायंगुलेशन (Semantic Triangulation)
इस पेपर के लेखक एक नई रणनीति पेश करते हैं जिसे सिमेंटिक ट्रायंगुलेशन कहा जाता है। इसे एक ऐसे जासूस के रूप में सोचें जो संदिग्धों से केवल उनकी कहानी नहीं पूछता, बल्कि झूठ को उजागर करने के लिए पूरा खेल ही बदल देता है।
यह कैसे काम करता है, एक सरल उदाहरण के माध्यम से यहाँ दिया गया है:
1. "डिसोसिएटिव" ट्रांसफॉर्मेशन (कोण बदलना)
AI से सीधे समस्या को हल करने के लिए कहने के बजाय, सिस्टम उसे उसी समस्या का एक बिल्कुल अलग संस्करण हल करने के लिए कहता है।
- मूल कार्य: "यहाँ एक रेसिपी (इनपुट) है; कृपया केक (आउटपुट) बनाएँ।"
- ट्विस्ट: "यहाँ एक केक (आउटपुट) है; कृपया वह रेसिपी लिखें जिससे यह बना है (इनवर्स/उल्टा)।"
ऐसा क्यों करना है? क्योंकि AI को इनवर्स समस्या को हल करने के लिए अपने दिमाग के एक अलग हिस्से का उपयोग करना पड़ता है।
- यदि AI (पहले कार्य के लिए) हैलुसिनेट करता है (एक फर्जी रेसिपी बनाता है), तो इसकी संभावना कम है कि वह रिवर्स-इंजीनियरिंग करते समय गलती से ठीक वही फर्जी रेसिपी दोबारा बनाएगा।
- "झूठ बोलने वाले" (बग्स) भ्रमित हो जाते हैं क्योंकि हमला करने का कोण पूरी तरह से अलग होता है।
2. "बाइजेक्शन" (एक सटीक मिलान)
सिस्टम यह सुनिश्चित करता है कि हर सही केक के लिए, ठीक एक सही रेसिपी हो, और इसके विपरीत भी। यह एक-से-एक (one-to-one) मिलान है।
- यदि AI केक को सही बनाता है, तो उसे रेसिपी को भी सही बनाना ही होगा ताकि वे मेल खा सकें।
- यदि AI केक को गलत बनाता है, तो उसके द्वारा बनाई गई रेसिपी उस केक से मेल नहीं खाएगी।
3. "क्रॉस-चेक" (त्रिकोणीयकरण/Triangulation)
सिस्टम जनरेट करता है:
- मूल समस्या का एक समाधान (केक)।
- इनवर्स समस्या का एक समाधान (रेसिपी)।
- यह चेक करता है: क्या यह रेसिपी वास्तव में यह केक बनाती है?
- यदि वे मेल खाते हैं: तो यह एक मजबूत संकेत है कि दोनों ही संभवतः सही हैं। AI ने केवल अनुमान नहीं लगाया; उसने दोनों के बीच के संबंध को समझा है।
- यदि वे मेल नहीं खाते: तो AI हैलुसिनेट कर रहा है। सिस्टम उस कोड को खारिज कर देता है।
यह एक बड़ी बात क्यों है
पेपर ने इसका परीक्षण उपलब्ध सबसे कठिन कोडिंग पहेलियों पर किया।
- "लो प्रोबेबिलिटी" जीत: कभी-कभी, एक AI केवल 7% बार सही उत्तर देता है। पुरानी विधियाँ हार मान लेती हैं या गलत उत्तर चुन लेती हैं। यह नई विधि उन दुर्लभ मामलों में सही उत्तर ढूंढ लेती है क्योंकि यह इनवर्स समस्या के साथ क्रॉस-चेक करती है।
- "इनएक्सैक्ट" जीत: कुछ समस्याओं के कई सही उत्तर हो सकते हैं (जैसे, "एक लिस्ट को सॉर्ट करने के लिए स्क्रिप्ट लिखें" के कई तरीके हो सकते हैं)। पुरानी विधियाँ यहाँ भ्रमित हो जाती हैं। यह विधि उन्हें पूरी तरह से संभालती है क्योंकि यह केवल विशिष्ट आउटपुट को नहीं, बल्कि संबंध के लॉजिक (तर्क) को चेक करती है।
सार (The Bottom Line)
सिमेंटिक ट्रायंगुलेशन एक ऐसे जासूस की तरह है जो संदिग्धों से उनकी कहानियाँ पूछना बंद कर देता है और इसके बजाय उन्हें एक ऐसी पहेली हल करने के लिए कहता है जिसमें पूरी तरह से अलग कौशल की आवश्यकता होती है। यदि संदिग्ध पहेली को हल कर सकता है और उसकी कहानी समाधान से मेल खाती है, तो वे शायद सच बोल रहे हैं। यदि वे नहीं कर पाते, तो वे झूठ में पकड़े जाते हैं।
यह हमें AI-जनरेटेड कोड पर बहुत अधिक भरोसा करने की अनुमति देता है, भले ही AI संघर्ष कर रहा हो, क्योंकि यह उसे एक अलग, अप्रत्याशित कोण से अपना काम साबित करने के लिए मजबूर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।