Self-Healing JSON Generation in Small Language Models: A Systematic Evaluation of Syntax Repair, Schema Coercion, and Validator Feedback
यह शोध पत्र छोटे भाषा मॉडलों (small language models) के लिए एक स्व-उपचार ढांचे (self-healing framework) को प्रस्तुत करता है जो सिंटैक्स रिपेयर (syntax repair), स्कीमा-निर्देशित रूपांतरण (schema-guided conversion) और वैलिडेटर फीडबैक (validator feedback) को जोड़कर मॉडल के भार (weights) को संशोधित किए बिना JSON वैधता को 16.7% से बढ़ाकर 78.1% तक महत्वपूर्ण रूप से सुधारता है, जबकि यह भी प्रकट करता है कि ऐसे सिंटैक्टिक सुधारों से अर्थ संबंधी सटीकता (semantic accuracy) की गारंटी नहीं मिलती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर एक बिखरे हुए हस्तलिखित नोट, एक अनौपचारिक ईमेल, या एक सुनाई गई कहानी को पढ़ सकते हैं और तुरंत मुख्य तथ्यों को निकालकर एक व्यवस्थित, सुव्यवस्थित फॉर्म में भर सकते हैं। यह मुक्त-प्रवाह वाली भाषा को संरचित डेटा (structured data) में बदलने का वादा है, एक ऐसा कार्य जो डिजिटल कैलेंडर से लेकर इन्वेंट्री सिस्टम तक सब कुछ संचालित करता है। इसे करने के लिए, कंप्यूटर अक्सर कृत्रिम बुद्धिमत्ता (AI) के छोटे, कुशल संस्करणों का उपयोग करते हैं जो बिना विशाल सर्वरों की आवश्यकता के साधारण उपकरणों पर चल सकते हैं। ये छोटे मॉडल सस्ते और निजी होते हैं, लेकिन उनमें एक दोष है: जब उन्हें JSON नामक एक सख्त प्रारूप में अपना उत्तर लिखने के लिए कहा जाता है, तो वे अक्सर गलतियाँ करते हैं। वे एक कॉमा भूल सकते हैं, उत्तर को अतिरिक्त प्रतीकों में लपेट सकते हैं, या एक ऐसा फोन नंबर बना सकते हैं जो मौजूद ही नहीं है। यदि कोई कंप्यूटर प्रोग्राम इस टूटे हुए उत्तर को पढ़ने की कोशिश करता है, तो वह क्रैश हो जाता है। वर्षों तक, समाधान यह था कि कंप्यूटर को लिखते समय बहुत ही कठोर तरीके से सोचने के लिए मजबूर किया जाए, लेकिन यह सेटअप करना कठिन है और कभी-कभी यह कंप्यूटर को कम बुद्धिमान भी बना सकता है। एक नया अध्ययन एक सरल प्रश्न पूछता है: क्या होगा यदि हम कंप्यूटर को अपना उत्तर स्वतंत्र रूप से लिखने दें, और फिर हम बाद में गलतियों को धीरे से ठीक कर दें?
शोधकर्ताओं ने एक तीन-चरणीय प्रक्रिया का परीक्षण करने के लिए हाथ बढ़ाया जो इन डिजिटल उत्तरों के लिए एक 'रिपेयर क्रू' (मरम्मत दल) की तरह काम करती है। उन्होंने तीन अलग-अलग छोटे कृत्रिम बुद्धिमत्ता मॉडलों को लिया और उनसे 120 विभिन्न पाठ विवरणों को संपर्क विवरण या कार्यक्रम संबंधी शेड्यूल्स जैसे संरचित रिकॉर्ड में बदलने के लिए कहा। उनके रिपेयर क्रू का पहला चरण एक 'सिंटैक्स फिक्सर' (syntax fixer) था। इस टूल ने कच्चे टेक्स्ट को देखा और सामान्य फॉर्मेटिंग त्रुटियों, जैसे अतिरिक्त उद्धरण चिह्नों या छूटे हुए ब्रैकेट को हटाया, जिसमें कंप्यूटर को दोबारा सोचने के लिए कहने की आवश्यकता नहीं पड़ी। दूसरा चरण एक 'स्कीमा गाइड' (schema guide) था। इस टूल ने सामग्री की जाँच नियमों के विरुद्ध की। यदि कंप्यूटर ने एक तारीख को "October 8, 2025" के रूप में लिखा लेकिन फॉर्म को "2025-10-08" की आवश्यकता थी, तो गाइड ने इसे परिवर्तित कर दिया। यदि कंप्यूटर ने "true" के बजाय "yes" लिखा, तो गाइड ने इसे बदल दिया। महत्वपूर्ण रूप से, इस चरण ने कभी भी नई जानकारी का आविष्कार नहीं किया; इसने केवल वही किया जो पहले से मौजूद था, उसे नया रूप दिया। तीसरा चरण एक 'फीडबैक लूप' (feedback loop) था। यदि उत्तर अभी भी नियमों में फिट नहीं बैठता था, तो सिस्टम ने कंप्यूटर को विशिष्ट त्रुटियाँ दिखाईं और उसे फिर से प्रयास करने के लिए कहा।
परिणामों ने दिखाया कि पहले दो चरणों ने सबसे अधिक काम किया। मरम्मत से पहले, मॉडलों के लगभग छह में से केवल एक उत्तर वास्तव में उपयोगी था। सिंटैक्स फिक्सर और स्कीमा गाइड के अपने काम करने के बाद, उपयोगी उत्तरों की संख्या बढ़कर तीन में से लगभग दो हो गई, और यह सब बिना कंप्यूटर को एक भी नया उत्तर उत्पन्न करने के लिए कहे किया गया। अध्ययन के सबसे सक्षम मॉडल के लिए, इस सरल सफाई ने लगभग हर उत्तर को सटीक बना दिया। शोधकर्ताओं ने पाया कि कंप्यूटर की सबसे बड़ी समस्या अक्सर अपने उत्तरों को कोड प्रतीकों, जैसे कि ट्रिपल-बैकटिक फेंस (triple-backtick fence) में लपेटने की आदत थी, जिसने सख्त पार्सर्स को भ्रमित कर दिया, लेकिन इसे रिपेयर टूल द्वारा आसानी से हटाया जा सका। सबसे छोटे, कम सक्षम मॉडल के लिए, समस्या अधिक गहरी थी। वह अक्सर अनुरोध की संरचना को गलत समझ लेता था या डेटा के बजाय फॉर्म के नियमों की ही नकल कर लेता था। ऐसे मामलों में, अपनी त्रुटियों को देखने के बाद कंप्यूटर को फिर से प्रयास करने के लिए कहना मदद करता था, लेकिन केवल तभी जब मरम्मत उपकरणों ने पहले ही बुनियादी फॉर्मेटिंग को साफ कर दिया हो।
हालाँकि, अध्ययन ने एक आश्चर्यजनक और महत्वपूर्ण सत्य को उजागर किया: केवल इसलिए कि एक उत्तर सही ढंग से फॉर्मेट किया गया है, इसका मतलब यह नहीं है कि वह सत्य है। यहाँ तक कि जब रिपेयर क्रू ने सिंटैक्स और संरचना को ठीक कर दिया, तब भी लगभग आधे वैध उत्तरों में गलत जानकारी थी। मॉडल कभी-कभी एक फ़ील्ड को खाली छोड़ देते थे, एक विश्वसनीय दिखने वाला फोन नंबर बना लेते थे, या बिना यह जांचे कि क्या वह सही है, विकल्पों की सूची में से पहला विकल्प चुन लेते थे। यह तब भी हुआ जब कंप्यूटर को फिर से प्रयास करने के लिए कहा गया था। शोधकर्ताओं ने देखा कि कंप्यूटर नियमों को पूरी तरह से संतुष्ट कर सकता था जबकि वह सच बताने के कार्य में विफल रहा। उदाहरण के लिए, एक मॉडल एक संपर्क कार्ड को सही ढंग से फॉर्मेट कर सकता था लेकिन फोन नंबर को "123-456-7890" जैसे प्लेसहोल्डर से भर सकता था क्योंकि उसे वास्तविक नंबर का पता नहीं था।
अध्ययन सुझाव देता है कि केवल इस बात पर भरोसा करना कि एक उत्तर एक प्रारूप में फिट बैठता है, पर्याप्त नहीं है। इन छोटे मॉडलों पर वास्तव में भरोसा करने के लिए, सिस्टम को यह जांचने की आवश्यकता है कि क्या उत्तर के भीतर की जानकारी मूल टेक्स्ट से मेल खाती है। शोधकर्ताओं ने निष्कर्ष निकाला कि सबसे अच्छा दृष्टिकोण यह है कि पहले फॉर्मेटिंग और संरचना को ठीक करने के लिए सरल, स्वचालित उपकरणों का उपयोग किया जाए, क्योंकि यह अधिकांश समस्याओं को मुफ्त में हल कर देता है। उसके बाद ही सिस्टम को कंप्यूटर से फिर से प्रयास करने के लिए कहना चाहिए, और तब भी, इसे सत्यापित करना चाहिए कि नया उत्तर वास्तविक तथ्यों को समाहित करता है, न कि केवल एक आदर्श दिखने वाला बाहरी ढांचा। यह कार्य दिखाता है कि जबकि छोटे मॉडलों को थोड़े से पोस्ट-प्रोसेसिंग के साथ बहुत अधिक विश्वसनीय बनाया जा सकता है, सटीक जानकारी निकालने का लक्ष्य एक चुनौती बना हुआ है जिसके लिए केवल आकार (shape) की नहीं, बल्कि सामग्री (content) की जांच करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।