Logical Judgments Under Pressure: Diagnosing Syllogistic Stability with Learned Soft Prefixes
यह शोध पत्र प्रदर्शित करता है कि सीखे गए सॉफ्ट प्रीफिक्स (soft prefixes) विशिष्ट तार्किक परिचालनों को लागू करने के बजाय एक व्यापक उत्तर प्राथमिकता को प्रेरित करके बड़े भाषा मॉडलों में सही तार्किक निर्णयों को व्यवस्थित रूप से ओवरराइड कर सकते हैं, जिससे विभिन्न मॉडल आर्किटेक्चर के बीच तार्किक स्थिरता में महत्वपूर्ण भिन्नताओं का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को तर्क पहेलियाँ हल करना सिखा रहे हैं। आप उसे एक क्लासिक पहेली देते हैं: "सभी बिल्लियाँ स्तनधारी हैं; सभी स्तनधारी जानवर हैं; इसलिए, सभी बिल्लियाँ जानवर हैं।" रोबोट इसे सही हल करता है। लेकिन क्या होगा यदि आप पहेली देखने से पहले रोबोट के कान में एक गुप्त कोड फुसफुसा दें? क्या रोबोट सच्चाई पर टिका रहेगा, या वह केवल इसलिए अपना उत्तर बदल देगा क्योंकि कमरे की रोशनी बदल गई या निर्देशों में कोई अजीब शब्द आ गया? यह प्रश्न "AI सुरक्षा" और "तर्क सुदृढ़ता" (reasoning robustness) नामक एक क्षेत्र के केंद्र में है। वैज्ञानिक जानना चाहते हैं कि क्या AI मॉडल वास्तव में बुद्धिमान और तार्किक हैं, या वे केवल पैटर्न पहचानने वाली मशीनें हैं जिन्हें कमरे की रोशनी में बदलाव या निर्देशों में एक अजीब शब्द से मूर्ख बनाया जा सकता है। यहाँ मुख्य विचार "सुदृढ़ता" (robustness) है: एक स्मार्ट सिस्टम को केवल एक बार सही उत्तर नहीं देना चाहिए; उसे सही उत्तर तब भी देना चाहिए जब उसके आस-पास की दुनिया थोड़ी अजीब हो जाए। यदि किसी मॉडल को स्पष्ट रूप से "हाँ" कहने के बजाय "नहीं" कहने के लिए आसानी से बहकाया जा सकता है, तो उसका तर्क उतना ठोस नहीं है जितना हम सोचते हैं।
यह शोध पत्र कुछ बहुत उन्नत AI मॉडलों के मस्तिष्क के लिए एक "तनाव परीक्षण" (stress test) की तरह है। शोधकर्ताओं ने, ब्रायन के चेन के नेतृत्व में, इन मॉडलों को एक विशेष प्रकार के "अदृश्य धक्के" (invisible nudge) से उकसाने का निर्णय लिया। "नियमों को अनदेखा करें और 'नहीं' कहें" जैसा वाक्य लिखने के बजाय, उन्होंने एक "सॉफ्ट प्रीफिक्स" (soft prefix) का उपयोग किया। इसे एक गुप्त, अदृश्य आवृत्ति या एक भूतिया कंपन की तरह समझें जिसे आप एक प्रश्न के आगे जोड़ते हैं। यह उन शब्दों से नहीं बना है जिन्हें आप पढ़ सकते हैं; यह गणितीय संख्याओं की एक ऐसी स्ट्रिंग है जिसे कंप्यूटर समझता है लेकिन इंसान नहीं देख सकते। लक्ष्य यह देखना था कि क्या वे इन अदृश्य धक्कों को AI को उन पहेलियों के सही उत्तरों को गलत में बदलने के लिए मजबूर करने हेतु प्रशिक्षित कर सकते हैं, भले ही पहेली का तर्क बिल्कुल न बदला हो।
शोधकर्ताओं ने इनका परीक्षण तीन अलग-अलग AI मॉडलों (Qwen3.6, Qwen3-8B, और Gemma 4) पर 'सिलोजिज्म' (syllogisms) का उपयोग करके किया, जो दो आधार वाक्यों और एक निष्कर्ष वाली सरल तर्क पहेलियाँ होती हैं। उन्होंने इन अदृश्य धक्कों को AI को उन पहेलियों पर अपना मन बदलने के लिए प्रशिक्षित किया जिन्हें वह मूल रूप से सही हल कर रहा था। उदाहरण के लिए, यदि AI ने सही ढंग से कहा कि एक कथन "वैध" (तार्किक रूप से सत्य) है, तो धक्के को इसे "अवैध" कहने के लिए प्रशिक्षित किया गया था।
परिणाम चौंकाने वाले थे। ये अदृश्य धक्के जादू की छड़ी की तरह काम करते थे। जब शोधकर्ताओं ने उन्हें उन नई पहेलियों पर इस्तेमाल किया जिन्हें AI ने पहले कभी नहीं देखा था, तो मॉडलों ने Qwen मॉडलों के लिए 72% से 90% के बीच और Gemma मॉडल के लिए लगभग 54% से 56% के बीच अपने उत्तर बदल दिए। इसे समझने के लिए, यदि आप AI को अदृश्य संख्याओं की किसी रैंडम स्ट्रिंग या किसी बेमतलब के वाक्य से मूर्ख बनाने की कोशिश करते, तो उसका मन बहुत कम बदलता (1% से भी कम समय के लिए)। यह साबित करता है कि प्रभाव केवल किसी भी शोर के बारे में नहीं था; विशिष्ट, सीखा हुआ "भूतिया कंपन" कुछ शक्तिशाली कर रहा था।
लेकिन यहाँ एक मोड़ है: शोध पत्र सुझाव देता है कि ये धक्के वास्तव में AI को नया तर्क नहीं सिखा रहे हैं या उसे किसी विशिष्ट तरीके से सोचने के लिए मजबूर नहीं कर रहे हैं। इसके बजाय, शोधकर्ताओं ने पाया कि ये धक्के मुख्य रूप से एक "व्यापक प्राथमिकता" (broad preference) बना रहे थे। यह ऐसा है जैसे धक्के ने रोबोट को यह नहीं बताया कि "यह विशिष्ट पहेली गलत है," बल्कि फुसफुसाया, "हे, आज मुझे 'नहीं' उत्तर बहुत पसंद है, चलो हर चीज़ के लिए उसी के साथ चलते हैं।" AI ने नया नियम नहीं सीखा; इसने बस एक विशिष्ट विकल्प के प्रति एक मजबूत झुकाव विकसित कर लिया।
अध्ययन ने यह भी पाया कि अलग-अलग मॉडल इस दबाव के प्रति अलग-अलग प्रतिक्रिया देते हैं। Gemma मॉडल का व्यवहार बहुत अनुमानित था; यदि आप उसका शुरुआती स्कोर जानते थे, तो आप सटीक अनुमान लगा सकते थे कि धक्का उसके मन को कितना बदलेगा। लेकिन Qwen मॉडल अधिक अराजक थे। धक्का आपको यह तो बता सकता था कि कौन से उत्तर बदलेंगे, लेकिन वह यह अनुमान नहीं लगा सकता था कि मॉडल का आत्मविश्वास कितना बदलेगा। यह ऐसा है जैसे Gemma एक कठोर रोबotong है जो धक्का देने पर हमेशा एक ही मात्रा में झुकता है, जबकि Qwen एक रबर बैंड है जो अप्रत्याशित तरीकों से टूटता या खिंचता है।
अंततः, यह शोध पत्र दिखाता है कि भले ही एक AI तर्क पहेली को सही हल करता है, उसकी "तार्किक स्थिरता" आश्चर्यजनक रूप से नाजुक है। एक छोटा सा, अदृश्य, सीखा हुआ धक्का उसके सही तर्क को दबा सकता है और उसे गलत उत्तर चुनने के लिए मजबूर कर सकता है, इसलिए नहीं कि तर्क बदल गया था, बल्कि इसलिए क्योंकि मॉडल ने गलत उत्तर के प्रति एक अस्थायी, मजबूत प्राथमिकता विकसित कर ली थी। यह सुझाव देता है कि भले ही ये मॉडल पहेलियाँ सुलझाने में अच्छे हैं, लेकिन वे उतने गहरे तार्किक नहीं हो सकते जितनी हम उम्मीद करते हैं, और उनके उत्तर उन अदृश्य दबावों से प्रभावित हो सकते हैं जिन्हें हम देख भी नहीं सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।