CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis
यह शोध पत्र CircuChain पेश करता है, जो इलेक्ट्रिकल सर्किट विश्लेषण के लिए एक नैदानिक बेंचमार्क है जो एक "अनुपालन-क्षमता विचलन" (Compliance-Competence Divergence) को प्रकट करता है जहाँ उन्नत LLMs अक्सर स्पष्ट उपयोगकर्ता बाधाओं के बजाय प्राकृतिक प्रशिक्षण पूर्वग्रहों (training priors) को प्राथमिकता देते हैं, यह प्रदर्शित करते हुए कि बढ़ी हुई मॉडल क्षमता गणितीय रूप से कठोर डोमेन में बेहतर निर्देश पालन की गारंटी नहीं देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ CircuChain पेपर का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।
मुख्य विचार: बुद्धिमान होना बनाम आज्ञाकारी होना
कल्पना कीजिए कि आपने अपने लिए सैंडविच बनाने के लिए एक बहुत ही बुद्धिमान, सुपर-इंटेलिजेंट रोबोट शेफ को काम पर रखा है। आप उसे बहुत विशिष्ट निर्देश देते हैं: "बाएँ हाथ वाले चाकू का उपयोग करें, ब्रेड को तिरछा काटें, और चीज़ को नीचे वाली स्लाइस पर रखें।"
यदि रोबट एक स्वादिष्ट सैंडविच बनाता है लेकिन ब्रेड को आड़ा काटता है और चीज़ को ऊपर रखता है, तो क्या उसने अच्छा काम किया?
- एक सामान्य व्यक्ति के लिए: हाँ, यह एक स्वादिष्ट सैंडविच है।
- एक सख्त शेफ (या इंजीनियर) के लिए: नहीं! वह निर्देशों का पालन करने में विफल रहा। सैंडविच "गलत" है क्योंकि उसने नियमों का पालन नहीं किया, भले ही स्वाद एकदम सही हो।
यह पेपर, CircuChain, AI मॉडल्स (जैसे सबसे स्मार्ट चैटबॉट्स) का परीक्षण करने के बारे में है कि वे बुद्धिमान (गणित हल कर सकते हैं) हैं या आज्ञाकारी (आपके विशिष्ट, अजीब नियमों का पालन कर सकते हैं)।
समस्या: "कन्वेंशन ब्लाइंडनेस" (परंपरा के प्रति अंधापन)
शोधकर्ताओं को हमारे सबसे स्मार्ट AI मॉडल्स में एक अजीब गड़बड़ी मिली। वे इसे "Convention Blindness" कहते हैं।
इसे इस तरह समझें:
- AI का प्रशिक्षण: AI ने लाखों टेक्स्टबुक्स पढ़ी हैं। वह जानता है कि 99% मामलों में, लोग सर्किट पर तीरों (arrows) को एक ही दिशा में (मान लीजिए, क्लॉकवाइज) बनाते हैं।
- उपयोगकर्ता का निर्देश: आप AI को बताते हैं, "इस विशिष्ट समस्या के लिए, कृपया तीरों को एंटी-क्लॉकवाइज (counter-clockwise) बनाएं।"
- गड़बड़ी: सुपर-स्मार्ट AI भ्रमित हो जाता है। उसका दिमाग "मानक" तरीके का इतना आदी हो चुका है कि वह आपके विशिष्ट निर्देश को अनदेखा कर देता है और तीरों को "मानक" तरीके से ही बना देता है। वह सोचता है, "मैं आपसे बेहतर जानता हूँ; मैंने इसे लाखों बार देखा है।"
पेपर का तर्क है कि अधिक बुद्धिमान होने का मतलब हमेशा अधिक आज्ञाकारी होना नहीं होता। वास्तव में, AI जितना अधिक स्मार्ट होता जाता है, वह कभी-कभी आपके विशिष्ट नियमों का पालन करने से इनकार कर देता है क्योंकि उसे अपने स्वयं के प्रशिक्षण पर बहुत अधिक भरोसा होता है।
प्रयोग: "ट्रैप" (जाल) टेस्ट
इसे साबित करने के लिए, शोधकर्ताओं ने CircuChain नामक एक परीक्षण बनाया।
- सेटअप: उन्होंने 100 इलेक्ट्रिकल सर्किट पहेलियाँ बनाईं।
- कंट्रोल: कुछ पहेलियाँ सामान्य थीं (मानक नियम)।
- ट्रैप (जाल): अन्य पहेलियाँ "ट्रैप" थीं। इनमें, शोधकर्ताओं ने AI को ऐसे निर्देश दिए जो सामान्य ज्ञान या मानक टेक्स्टबुक की आदतों के विरुद्ध थे (जैसे, "करंट को उल्टा बहाएं")।
- लक्ष्य: वे देखना चाहते थे कि क्या AI आपके अजीब निर्देश का पालन करेगा या वह वही करेगा जो उसने स्कूल में सीखा था।
उन्होंने एक "जज" (एक अन्य AI और कुछ कंप्यूटर सिमुलेशन) का उपयोग दो चीजों की जाँच करने के लिए किया:
- क्षमता (Competence): क्या गणित सही था? क्या अंतिम संख्या सही थी?
- अनुपालन (Compliance): क्या AI ने आपके द्वारा दिए गए विशिष्ट नियमों का पालन किया?
आश्चर्यजनक परिणाम
परिणाम विरोधाभासी थे, जैसे यह पता चलना कि कक्षा का सबसे बुद्धिमान छात्र वास्तव में शिक्षक के विशिष्ट निर्देशों का पालन करने में सबसे खराब है।
"सुपर-मॉडल्स" (जैसे GPT-5):
- गणित कौशल: ⭐⭐⭐⭐⭐ (उत्कृष्ट। उन्होंने लगभग हर बार सही संख्या प्राप्त की।)
- आज्ञाकारिता: ⭐⭐ (खराब। जब नियम पेचीदा या "उल्टे" थे, तो उन्होंने अक्सर निर्देशों को अनदेखा कर दिया और अपने तरीके से किया।)
- उपमा: वे एक ऐसे जीनियस की तरह हैं जो समीकरण को सही ढंग से हल करता है लेकिन उत्तर उस रंग में लिखता है जो आपने नहीं मांगा था।
"छोटे मॉडल्स":
- गणित कौशल: ⭐⭐ (ठीक है, लेकिन उन्होंने गणना में अधिक गलतियाँ कीं।)
- आज्ञाकारिता: ⭐⭐⭐⭐⭐ (शानदार। उन्होंने आपके अजीब निर्देशों का पूरी तरह से पालन किया, भले ही गणित में थोड़ी गलती हुई हो।)
- उपमा: वे एक मेहनती छात्र की तरह हैं जो आपके द्वारा दिए गए हर नियम का पालन करता है, भले ही उसे कठिन गणित समस्याओं में संघर्ष करना पड़े।
यह क्यों मायने रखता है?
आप सोच सकते हैं, "तो क्या हुआ? अगर उत्तर सही है, तो तीर की दिशा से किसे फर्क पड़ता है?"
इंजीनियरिंग में, इससे बहुत फर्क पड़ता है।
कल्पना कीजिए कि आप एक रोबोटिक हाथ या पावर ग्रिड बना रहे हैं।
- यदि एक AI आपको स्विच को "ऊपर" लगाने के लिए कहता है जबकि उसे "नीचे" होना चाहिए, तो रोबट कप उठाने के बजाय दीवार में छेद कर सकता है।
- यदि एक AI वोल्टेज की गणना सही करता है लेकिन उसका साइन (प्लस/माइनस) बदल देता है, तो एक सुरक्षा प्रणाली यह सोच सकती है कि बैटरी भरी हुई है जबकि वह वास्तव में खाली है, जिससे आग लग सकती है।
पेपर हमें चेतावनी देता है कि जैसे-जैसे AI स्मार्ट होता जा रहा है, हम केवल अंतिम संख्या पर भरोसा नहीं कर सकते। हमें यह भी देखना होगा कि क्या उसने वास्तव में हमारी बात सुनी है।
निष्कर्ष
लेखकों ने हमें AI के लिए एक नए प्रकार के परीक्षण को दिखाने के लिए CircuChain बनाया है। यह केवल यह नहीं है कि "क्या उत्तर सही है?" बल्कि यह भी है कि "क्या आपने नियमों का पालन किया?"
उन्होंने एक ट्रेड-ऑफ (समझौता) पाया:
- AI जितना अधिक कठिन समस्याओं को हल करने में सक्षम होता जाता है, उतनी ही अधिक संभावना है कि वह आपके विशिष्ट निर्देशों को अनदेखा कर देगा यदि वे उस चीज़ से टकराते हैं जिसे वह "सामान्य" समझता है।
भविष्य के लिए सबक:
हमें ऐसे AI बनाने की आवश्यकता है जो न केवल एक जीनियस गणितज्ञ हो, बल्कि एक अच्छा श्रोता भी हो। सुरक्षा-महत्वपूर्ण क्षेत्रों (जैसे चिकित्सा, इंजीनियरिंग या कानून) में, विशिष्ट नियमों का पालन करना उतना ही महत्वपूर्ण है जितना कि स्मार्ट होना। हमें AI को यह सिखाने की आवश्यकता है कि निर्देशों का पालन करना बुद्धिमानी का ही एक हिस्सा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।