Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models
यह शोध पत्र "आंसर इंजीनियरिंग" (Answer Engineering) को प्रस्तुत करता है, जो एक नियतात्मक रनटाइम लेयर (deterministic runtime layer) है जो जनरेशन के दौरान रीजनिंग ट्रेजेक्टरीज (reasoning trajectories) पर स्थानीयकृत, नियम-निर्देशित हस्तक्षेपों को लागू करके लार्ज लैंग्वेज मॉडल्स में प्रोटोकॉल अनुपालन में सुधार करता है, जिससे बिना मॉडल रिट्रेनिंग के अचानक सेंसरिन्यूरल सुनने की शक्ति की हानि (sudden sensorineural hearing loss) के नैदानिक निर्णय लेने में महत्वपूर्ण सटीकता लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: "आत्मविश्वासी लेकिन गलत" AI
कल्पना कीजिए कि आपने एक मेडिकल रिपोर्ट लिखने के लिए एक बहुत ही बुद्धिमान और स्पष्ट बोलने वाले इंटर्न को काम पर रखा है। आपने उसे एक सख्त चेकलिस्ट (एक प्रोटोकॉल) दी है जिसका पालन करना सुरक्षा के लिए अनिवार्य है।
- समस्या: भले ही आप इंटर्न से कहें, "कृपया चेकलिस्ट का चरण-दर-चरण पालन करें," वे अक्सर आत्मविश्वासी हो जाते हैं और एक ऐसी रिपोर्ट लिखते हैं जो देखने में तो तार्किक लगती है, लेकिन गुप्त रूप से एक महत्वपूर्ण सुरक्षा कदम को छोड़ देती है या बहुत जल्दी किसी निष्कर्ष पर पहुँच जाती है। वे सही उत्तर खोजने के लिए नियमों का पालन करने के बजाय, एक गलत उत्तर को सही ठहराने के लिए एक सुंदर स्पष्टीकरण लिख सकते हैं।
- पेपर का निष्कर्ष: केवल AI को "चरण-दर-चरण सोचने" (think step-by-step) के लिए कहना इस समस्या को ठीक नहीं कर पाया। वास्तव में, उनके परीक्षण में, इसने AI को उस विशिष्ट स्थिति (Sudden Hearing Loss) के लिए नियमों का पालन करने में और भी खराब बना दिया, जिससे सफलता दर 54% से गिरकर 25% रह गई।
समाधान: "Answer Engineering" (रियल-टाइम एडिटर)
लेखक Answer Engineering नामक एक नई विधि का प्रस्ताव करते हैं। AI को फिर से प्रशिक्षित (retrain) करने के (जो महंगा और धीमा है) या केवल इस उम्मीद में रहने के (कि वह सही करेगा) के बजाय, उन्होंने एक रियल-टाइम एडिटर बनाया है जो AI और अंतिम उत्तर के बीच बैठता है।
AI की सोचने की प्रक्रिया को एक ट्रैक पर चलती ट्रेन के रूप में सोचें।
- मानक AI: ट्रेन बस आगे बढ़ती रहती है। यदि वह गलत मोड़ ले लेती है, तो वह तब तक चलती रहती है जब तक कि वह किसी डेड एंड (बंद रास्ते) पर न पहुँच जाए या गलत स्टेशन पर न पहुँच जाए।
- Answer Engineering: यह एक ट्रैफिक कंट्रोलर की तरह है जो रिमोट कंट्रोल के साथ पटरियों पर खड़ा है। जैसे-जैसे ट्रेन चलती है, कंट्रोलर हर कदम पर नज़र रखता है।
- यदि ट्रेन एक अनिवार्य स्टॉप (प्रोटोकॉल नियम) को छोड़ने की कोशिश करती है, तो कंट्रोलर ब्रेक लगा देता है।
- कंट्रोलर फिर ट्रेन को पिछले सुरक्षित स्थान तक थोड़ा पीछे (rewind) ले जाता है।
- यह ट्रेन को एक अलग रास्ता लेने के लिए मजबूर करता है या उस आवश्यक संकेत (signpost) को डाल देता है जिसे AI ने छोड़ दिया था।
- फिर, ट्रेन उस सुधारे गए स्थान से आगे बढ़ती है।
यह कैसे काम करता है (तीन चालें)
पेपर बताता है कि यह "ट्रैफिक कंट्रोलर" AI को लिखते समय तीन विशिष्ट तरीकों से कैसे ठीक करता है:
- अतीत को संपादित करना (The "Undo" Button): यदि AI एक ऐसा वाक्य लिखता है जो नियम का उल्लंघन करता है (जैसे, लक्षणों की जाँच करने से पहले ही लिखना "यह निश्चित रूप से हार्ट अटैक है"), तो कंट्रोलर उस वाक्य को हटा देता है और उसे एक सुरक्षित, नियम-अनुपालन वाले संस्करण से बदल देता है।
- पीछे मुड़ना और फिर से प्रयास करना (The "Detour"): यदि AI गलत दिशा में जाने लगता है, तो कंट्रोलर उसे पिछले चौराहे पर वापस भेज देता है और पूछता है, "एक अलग दिशा में प्रयास करें।" यह कुछ विकल्पों का परीक्षण करता है और उस विकल्प को चुनता है जो नियमों का पालन करता है।
- भविष्य को मजबूर करना (The "Mandatory Signpost"): यदि नियम कहते हैं कि AI को एक विशिष्ट चेतावनी (जैसे, "यह एक आपात स्थिति है") का उल्लेख करना अनिवार्य है, तो कंट्रोलर AI के आगे बढ़ने से पहले उस वाक्यांश को टेक्स्ट में डाल देता है, जिससे यह सुनिश्चित होता है कि नियम कभी छूटा नहीं।
परिणाम: ट्रेन के ट्रैक को ठीक करना
लेखकों ने इसका परीक्षण अचानक सुनने की कमी (sudden hearing loss) से जुड़े एक चिकित्सा परिदृश्य पर किया।
- सुधार से पहले: जब AI को केवल "चरण-दर-चरण सोचने" के लिए कहा गया था, तो इसने केवल 25% बार नियमों का पालन किया।
- सुधार के बाद: "Answer Engineering" एडिटर के वास्तविक समय में पथ की निगरानी करने और सुधारने के बाद, AI ने 83.5% बार नियमों का पालन किया।
- बोनस: इसने न केवल मुख्य समस्या को ठीक किया; बल्कि इसने AI को अन्य समान लेकिन अलग मामलों (conductive hearing loss) में गलतियाँ करने से भी रोका, जिससे यह साबित हुआ कि यह केवल सही उत्तर का "अनुमान" नहीं लगा रहा था, बल्कि वास्तव में तर्क का पालन कर रहा था।
कमी (सीमाएँ)
पेपर इस दृष्टिकोण की सीमाओं के बारे में ईमानदार है:
- यह एक पैच है, पूर्ण इलाज नहीं: यह तब सबसे अच्छा काम करता है जब नियम स्पष्ट हों और गलतियाँ स्थानीय हों (जैसे, एक चरण छोड़ देना)। यदि AI का मूल "व्यक्तित्व" ही नियमों को अनदेखा करना है, तो यह सब कुछ ठीक नहीं कर सकता।
- इसमें समय लगता है: क्योंकि सिस्टम को AI की सोच को रोकने, जाँच करने और कभी-कभी पीछे (rewind) ले जाने की आवश्यकता होती है, इसलिए यह एक सामान्य AI की तुलना में लगभग 2.8 गुना धीमा चलता है।
- इसे नियम लिखने के लिए मानव की आवश्यकता होती है: आपको अभी भी एक मानव विशेषज्ञ की आवश्यकता है जो उन "ट्रैफिक कानूनों" (नियमों) को लिखे जिन्हें कंट्रोलर लागू करता है। सिस्टम स्वयं नियम नहीं बनाता; यह केवल उन्हें लागू करता है।
मुख्य निष्कर्ष
यह पेपर दिखाता है कि सुरक्षित परिणाम प्राप्त करने के लिए हमें हमेशा स्मार्ट AI दिमाग बनाने की आवश्यकता नहीं होती है। कभी-कभी, हमें बस एक स्मार्ट एडिटर की आवश्यकता होती है जो AI के काम पर नज़र रखे, उसे नियम तोड़ने पर पकड़े, और काम पूरा होने से पहले उसे धीरे से सही रास्ते पर वापस लाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।