Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation
यह शोध पत्र फ्रंटियर मॉडल्स का उपयोग करके कठिन नेगेटिव उदाहरणों को संश्लेषित करने के माध्यम से छोटे कोड मॉडल्स में 'फिल-इन-द-मिडल' (Fill-in-the-Middle) मतिभ्रम (hallucinations) को कम करने के लिए एक निष्पादन-मुक्त (execution-free) दृष्टिकोण प्रस्तावित करता है, जो मानव लेबल या निष्पादन सैंडबॉक्स की आवश्यकता के बिना, सुपरवाइज्ड फाइन-ट्यूनिंग के लिए उपयोग किए जाने पर, कई भाषाओं और बेंचमार्क में प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: "आत्मविश्वासी लेकिन गलत" ऑटोकम्प्लीट
कल्पना कीजिए कि आप एक टेक्स्ट एडिटर में कोड टाइप कर रहे हैं, और एक AI असिस्टेंट आपके वाक्य को पूरा करने की कोशिश करता है। कभी-कभी, यह AI उस छात्र की तरह होता है जिसने किसी पाठ्यपुस्तक की शैली (style) तो रट ली है, लेकिन उसने अभी तक उस विशिष्ट अध्याय को नहीं पढ़ा है जिस पर आप काम कर रहे हैं।
यह एक ऐसा फंक्शन नाम सुझा सकता है जो सुनने में असली लगता है, या एक ऐसा वेरिएबल जो व्याकरण के हिसाब से बिल्कुल सही बैठता है, लेकिन वह वास्तव में आपके प्रोजेक्ट में मौजूद ही नहीं है। इसे हैलुसिनेशन (hallucination) कहा जाता है। कोडिंग की दुनिया में, यह खतरनाक है क्योंकि कोड देखने में सही लगता है लेकिन जैसे ही आप इसे चलाने की कोशिश करते हैं, यह क्रैश हो जाता है।
इसे ठीक करने के वर्तमान समाधान बोझिल हैं:
- "सैंडबॉक्स" विधि: हर सुझाव को यह देखने के लिए चलाना कि क्या वह काम करता है। यह रियल-टाइम टाइपिंग के लिए बहुत धीमा है (आप सुझाव के लिए 5 सेकंड इंतजार नहीं कर सकते)।
- "मानव शिक्षक" विधि: हजारों उदाहरणों को "अच्छे" बनाम "बुरे" कोड के रूप में लेबल करने के लिए मनुष्यों को नियुक्त करना। यह महंगा और धीमा है।
समाधान: "छली" शिक्षक (The "Trickster" Teacher)
लेखक इन छोटे, तेज़ AI मॉडल्स को प्रशिक्षित करने का एक चतुर नया तरीका प्रस्तावित करते हैं, जिसमें कोड चलाने या सेना जैसी बड़ी मानव टीमों की आवश्यकता नहीं है। वे इसे "सिंथेटिक हैलुसिनेशन, रियल गेन्स" (Synthetic Hallucinations, Real Gains) कहते हैं।
इसे एक सुरक्षा गार्ड को जालसाजी पहचानने के लिए प्रशिक्षित करने जैसा समझें। गार्ड को केवल असली नोट दिखाने के बजाय, आप विशेषज्ञ जालसाजों (Frontier Models) की एक टीम को नकली नोट बनाने के लिए काम पर रखते हैं जो लगभग एकदम असली दिखते हों।
यहाँ उनके पाइपलाइन का कार्यप्रवाह (workflow) दिया गया है:
- सेटअप: वे सार्वजनिक प्रोजेक्ट्स (जैसे GitHub) से वास्तविक कोड लेते हैं और उसके बीच के हिस्से को काट देते हैं, जिससे एक "खाली जगह" (hole) बन जाती है जहाँ AI को खाली स्थान भरना होता है।
- छली (The Tricksters): वे तीन बहुत बुद्धिमान, शक्तिशाली AI मॉडल्स से उस खाली जगह को भरने के लिए कहते हैं, लेकिन उन्हें निर्देश देते हैं कि वे एक गलती करें। विशेष रूप से, वे छली मॉडल्स को नकली फंक्शन नाम, नकली वेरिएबल्स, या नकली इम्पोट्स (imports) बनाने के लिए कहते हैं जो विश्वसनीय लगें लेकिन गलत हों।
- "हार्ड नेगेटिव" (The Hard Negative): ये नकली सुझाव "हार्ड नेगेटिव्स" कहलाते हैं। ये प्रशिक्षण के लिए एकदम सही उपकरण हैं क्योंकि ये इतने चालाकी भरे होते हैं कि एक इंसान (या एक कमजोर AI) को भी धोखा दे सकते हैं, लेकिन वे निश्चित रूप से गलत होते हैं।
- सबक: वे छोटे AI मॉडल को वह खाली जगह, वास्तविक सही उत्तर (मूल कोड से), और नकली गलत उत्तर दिखाते हैं। वे छोटे मॉडल को सिखाते हैं: "यह सही उत्तर है। वह नकली वाला अच्छा दिखता है, लेकिन वह एक जाल है। इस जाल को पहचानना सीखो।"
परिणाम: एक स्मार्ट, तेज़ असिस्टेंट
उन्होंने इन छोटे कोडिंग मॉडल्स (3 बिलियन और 7 बिलियन पैरामीटर्स) पर इस पद्धति का परीक्षण किया। यहाँ क्या हुआ:
- "जादुई" सुधार: जब उन्होंने इस पद्धति का उपयोग करके 7-बिलियन-पैरामीटर वाले मॉडल को प्रशिक्षित किया, तो हैलुसिनेशन से बचने की उसकी क्षमता लगभग 19 अंक बढ़ गई। यह एक बहुत बड़ी छलांग है।
- बड़े मॉडल्स को पछाड़ना: दिलचस्प बात यह है कि इस पद्धति से प्रशिक्षित छोटा मॉडल (3B साइज) एक बहुत बड़े, अप्रशिक्षित मॉडल (7B साइज) की तुलना में इन विशिष्ट गलतियों से बचने में बेहतर हो गया। यहाँ ट्रेनिंग डेटा मस्तिष्क के साइज से अधिक महत्वपूर्ण था।
- रुकना सीखना: एक छिपा हुआ बोनस यह था कि मॉडल्स ने ठीक से सीखना कि उन्हें कब टाइप करना बंद करना है। अक्सर, AI मॉडल्स वाक्य खत्म करने के बाद भी फालतू चीजें लिखते रहते हैं। इस प्रशिक्षण ने उन्हें ठीक फिनिश लाइन पर रुकना सिखाया।
"सीक्रेट सॉस" (यह कैसे काम कर गया)
लेखकों ने यह पता लगाने के लिए कई प्रयोग किए कि यह इतना अच्छा क्यों काम कर रहा है। उन्होंने कुछ प्रमुख नियम पाए:
- मात्रा मायने रखती है (लेकिन एक सीमा तक): सर्वोत्तम परिणाम प्राप्त करने के लिए उन्हें लगभग 50,000 से 100,000 उदाहरणों की आवश्यकता थी। उसके बाद अधिक जोड़ने से कोई खास मदद नहीं मिली।
- विविधता ही कुंजी है: उन्हें कई अलग-अलग प्रोग्रामिंग भाषाओं (Python, Java, C#, आदि) से उदाहरणों का उपयोग करना था। यदि वे केवल Python का उपयोग करते, तो मॉडल भ्रमित हो जाता। पाँच या अधिक भाषाओं का उपयोग करने से मॉडल को झूठ बोलने के पैटर्न को समझने में मदद मिली, न कि केवल विशिष्ट शब्दों को।
- "ट्रिक" का स्तर: नकली उदाहरणों को चालाकी भरा होना चाहिए था। यदि नकली कोड स्पष्ट रूप से गलत था (जैसे
do_fake_stuffनाम का फंक्शन), तो मॉडल ने कुछ नहीं सीखा। सबसे अच्छा प्रशिक्षण "मध्यम" उदाहरणों से आया—ऐसे नकली उदाहरण जो इतने अच्छे थे कि वे जजों को भी लगभग धोखा दे सकें। - यह विभिन्न मॉडल्स पर काम करता है: यह विधि तीन अलग-अलग प्रकार के बेस AI मॉडल्स पर काम करती है, जो यह साबित करती है कि यह एक सार्वभौमिक रेसिपी है, न कि किसी एक मॉडल के लिए विशिष्ट ट्रिक।
ट्रेड-ऑफ: आकार मायने रखता है
यहाँ एक पेच था। जब उन्होंने इसे बहुत छोटे मॉडल (3 बिलियन पैरामीटर्स) पर आजमाया, तो यह हैलुसिनेशन रोकने में तो बहुत अच्छा रहा लेकिन कभी-कभी लंबे, जटिल कोड को सही ढंग से लिखना भूल गया। यह एक ऐसे छात्र की तरह था जिसने टाइपो (typos) को पहचानना तो पूरी तरह सीख लिया, लेकिन लंबे निबंध लिखना भूल गया। लेखकों का सुझाव है कि यह विधि उन मॉडल्स के लिए सबसे अच्छी है जो कम से कम 7 बिलियन पैरामीटर्स के आकार के हों।
निष्कर्ष
यह पेपर दिखाता है कि AI हैलुसिनेशन को ठीक करने के लिए आपको कोड चलाने या मनुष्यों को काम पर रखने की आवश्यकता नहीं है। इसके बजाय, आप एक "स्मार्ट ट्रिकस्टर" का उपयोग करके नकली, चुनौतीपूर्ण गलतियाँ उत्पन्न कर सकते हैं, और AI को उन्हें पहचानने के लिए सिखा सकते हैं। यह एक तेज़, अधिक विश्वसनीय कोडिंग असिस्टेंट बनाता है जो जानता है कि कब रुकना है और कब कहना है, "मुझे वह फंक्शन नहीं पता।"
लेखकों ने इस पूरी प्रक्रिया का कोड जारी कर दिया है, इसलिए जिसके पास भी सार्वजनिक कोड और एक शक्तिशाली AI मॉडल तक पहुंच है, वह इन परिणामों को दोहरा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।