When Correct Isn't Usable: Improving Structured Output Reliability in Small Language Models
यह शोध पत्र एक महत्वपूर्ण विश्वसनीयता अंतराल की पहचान करता है जहाँ छोटे भाषा मॉडल मानक प्रॉम्प्टिंग के तहत गणितीय रूप से सही और प्रारूप-अनुपालक (format-compliant) दोनों प्रकार के आउटपुट उत्पन्न करने में विफल रहते हैं, और AloLab का प्रस्ताव करता है, जो एक पुनरावृत्ति मेटा-एजेंट प्रणाली है जो फाइन-ट्यूनिंग या बाधित डिकोडिंग की आवश्यकता के बिना उच्च आउटपुट सटीकता के साथ लगभग मूल-नेटिव लेटेंसी प्राप्त करने के लिए सिस्टम प्रॉम्प्ट्स को अनुकूलित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन थोड़े अराजक स्वभाव का सहायक (एक "स्मॉल लैंग्वेज मॉडल") है जो जटिल गणितीय पहेलियों को हल करने में अविश्वसनीय रूप से कुशल है। यदि आप उससे पूछते हैं, "2 प्लस 2 क्या है?", तो वह खुशी-खुशी कहेगा, "खैर, मैंने उन्हें जोड़ दिया है, और उत्तर 4 है।"
लेकिन कंप्यूटर की वास्तविक दुनिया में, इतना काफी नहीं है। जो सिस्टम उत्तर की प्रतीक्षा कर रहा है, उसे एक वाक्य नहीं चाहिए; उसे एक विशिष्ट, कठोर प्रारूप चाहिए, जैसे कि दो लेबल वाली खिड़कियों वाला एक डिजिटल लिफाफा: एक "रीज़निंग" (तर्क) के लिए और एक "आंसर" (उत्तर) के लिए। यदि सहायक अपना उत्तर एक पैराग्राफ में लिख देता है, या उसे किसी फैंसी बॉक्स में लपेट देता है, या उसे लिफाफे में डालने से भूल जाता है, तो कंप्यूटर उसे अस्वीकार कर देता है। कंप्यूटर के लिए, गलत प्रारूप में दिया गया एक सटीक उत्तर भी गलत उत्तर के समान ही है।
यह शोध पत्र, जिसका शीर्षक "जब सही होना भी उपयोगी नहीं होता" (When Correct Isn't Usable) है, इस बात की जांच करता है कि ये स्मार्ट सहायक इन सरल फॉर्मेटिंग नियमों का पालन करने में बार-बार क्यों विफल रहते हैं और लेखकों ने इसे कैसे ठीक किया।
समस्या: "सही उत्तर, गलत लिफाफा" का अंतर
शोधकर्ताओं ने गणित की समस्याओं पर तीन लोकप्रिय, छोटे AI मॉडलों का परीक्षण किया। उन्होंने एक अजीब घटना देखी:
- गणित: मॉडल समस्याओं को हल करने में बेहतरीन थे (77-85% गणित सही कर रहे थे)।
- फॉर्मेट: वे नियमों का पालन करने में बहुत खराब थे (0% उत्तर सही JSON प्रारूप में थे)।
यह एक ऐसे शेफ की तरह है जो एक बेहतरीन स्टेक बना सकता है लेकिन उसे कागज की प्लेट पर परोसता रहता है जो बिखर जाती है। स्टेक स्वादिष्ट है, लेकिन आप उसे खा नहीं सकते।
उन्होंने दो सामान्य सुधारों की कोशिश की, और दोनों विफल रहे:
- सिर्फ विनम्रता से पूछना (Naive/Reference): मॉडल को यह कहना कि, "कृपया मुझे एक बॉक्स में उत्तर दें," काम नहीं आया। मॉडल निर्देशों को अनदेखा करते रहे या बॉक्स को अतिरिक्त सजावट (जैसे मार्कडाउन फेंस) के साथ लपेटते रहे, जिससे कंप्यूटर का पार्सर टूट गया।
- नियमों को जबरदस्ती थोपना (Constrained Decoding): यह मॉडल को एक ऐसी स्थिति में रखने जैसा है जहाँ वह शारीरिक रूप से कुछ भी ऐसा टाइप नहीं कर सकता जो वैध JSON न हो। इसने प्रारूप के लिए तो काम किया, लेकिन इसने मॉडल को धीमा (3 से 8 गुना धीमा) कर दिया और कभी-कभी भ्रमित भी कर दिया, जिससे गणित की गुणवत्ता गिर गई।
समाधान: AloLab (द "प्रॉम्प्ट कोच")
लेखकों ने AloLab नामक एक प्रणाली बनाई। AloLab को एक विशेष कोच के रूप में समझें जो मॉडल को समस्या सुलझाने की कोशिश करते हुए देखता है, देखता है कि वह कहाँ विफल होता है, और उन विशिष्ट गलतियों को ठीक करने के लिए निर्देशों (सिस्टम प्रॉम्प्ट) को फिर से लिखता है।
यहाँ बताया गया है कि कोच कैसे काम करता है:
- देखना (Watch): कोच (एक बहुत ही स्मार्ट AI, क्लॉड सोनेट 4.5 का उपयोग करके) मॉडल को प्रश्नों के उत्तर देने की कोशिश करते हुए देखता है।
- त्रुटि पहचानना (Spot the Error): यदि मॉडल उत्तर को "मार्कडाउन फेंस" (एक अजीब प्रतीक जो प्रारूप को तोड़ देता है) में लपेटता रहता है, तो कोच इस पैटर्न को पहचान लेता है।
- नियमों को फिर से लिखना (Rewrite the Rules): कोच निर्देश पुस्तिका को अपडेट करता है, जैसे कि "मार्कडाउन फेंस का उपयोग न करें," या "उत्तर को 'reasoning' क्षेत्र के बजाय 'answer' क्षेत्र में रखें।"
- दोहराना (Repeat): यह कुछ राउंड तक चलता रहता है जब तक कि मॉडल सही ढंग से न कर ले।
परिणाम:
- गति (Speed): "स्ट्रैप्टजैकट" (कठोर नियंत्रण) पद्धति के विपरीत, AloLab मॉडल को धीमा नहीं करता है। वास्तव में, क्योंकि निर्देश अधिक स्पष्ट हो जाते हैं, मॉडल कभी-कभी तेजी से उत्तर देता है।
- सफलता (Success): गणित के परीक्षणों पर, AloLab ने छोटे मॉडलों के लिए "उपयोगी" उत्तर दर को 0% से बढ़ाकर 84-87% कर दिया।
- बड़े मॉडलों के लिए भी: उन्होंने एक विशाल, महंगे मॉडल (GPT-4o) पर भी इसका परीक्षण किया। वह मॉडल भी प्रारूप का पालन करने में विफल (0% सफलता) था, जब तक कि AloLab ने उसे कोचिंग नहीं दी, जिसके बाद वह 95% सफलता तक पहुँच गया।
पेपर से मुख्य निष्कर्ष
- "मेटा-एजेंट" महत्वपूर्ण है: कोच को स्मार्ट होना चाहिए। जब उन्होंने स्मार्ट कोच (Sonnet 4.5) को एक सस्ते, कम बुद्धिमान कोच (Haiku) से बदला, तो परिणाम सिक्का उछालने जैसा (अनिश्चित) हो गया। कभी यह काम करता था, कभी पूरी तरह विफल। निरंतर परिणाम प्राप्त करने के लिए आपको एक सक्षम कोच की आवश्यकता होती है।
- "इनसाइड एक्सेस" की आवश्यकता नहीं: AloLab एक ब्लैक बॉक्स की तरह काम करता है। इसे मॉडल के आंतरिक कोड या वेट्स (weights) को देखने की आवश्यकता नहीं है; यह बस जो बाहर आता है उसे देखता है और निर्देशों को समायोजित करता है।
- "रीज़निंग बनाम आंसर" ग्लिच: AloLab के साथ भी, एक छोटी समस्या बनी रहती है। कभी-कभी मॉडल अपने "रीज़निंग" अनुभाग में गणित सही करता है लेकिन गलती से अंतिम "आंसर" बॉक्स में गलत संख्या लिख देता है। यह ऐसा है जैसे मॉडल को उत्तर पता है लेकिन लिखते समय उससे टाइपो (लिखने की गलती) हो जाता है। यह लगभग 1.5% से 1.8% मामलों में होता है।
सारांश
यह पेपर तर्क देता है कि छोटे AI मॉडलों के लिए, सबसे बड़ी बाधा बुद्धिमत्ता नहीं, बल्कि संचार (Communication) है। वे उत्तर जानते हैं, लेकिन वे इसे कंप्यूटर के लिए सही ढंग से फॉर्मेट नहीं कर पाते हैं। लेखकों ने पाया कि मॉडल को धीरे चलने के लिए मजबूर करने (कन्स्ट्रेंड डिकोडिंग) के बजाय, एक स्मार्ट कोच (AloLab) द्वारा निर्देशों को तब तक फिर से लिखवाना बेहतर है जब तक कि मॉडल कंप्यूटर की भाषा को पूरी तरह से बोलना न सीख जाए। यह AI को तेज़ और बहुत अधिक विश्वसनीय बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।