One Token Away from Collapse: The Fragility of Instruction-Tuned Helpfulness
यह शोध पत्र प्रकट करता है कि निर्देश-अनुकूलित (instruction-tuned) बड़े भाषा मॉडल अत्यधिक भंगुरता प्रदर्शित करते हैं, जो निर्देश ट्यूनिंग द्वारा प्रेरित एक नियोजन विफलता (planning failure) के कारण मामूली शाब्दिक बाधाओं के अधीन होने पर व्यापकता में ढह जाते हैं, एक ऐसी भेद्यता जो मानक स्वतंत्र मूल्यांकन मेट्रिक्स द्वारा अन détected रहती है लेकिन युग्मवार तुलनाओं (pairwise comparisons) के माध्यम से उजागर होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, प्रशिक्षित सहायक है जो अद्भुत निबंध लिख सकता है, जटिल विज्ञान समझा सकता है और बेहतरीन सलाह दे सकता है। आपने वर्षों तक उन्हें मददगार, विनम्र और व्यवस्थित होने के लिए प्रशिक्षित किया है। वे आज के "इंस्ट्रक्शन-ट्यून्ड" (निर्देश-अनुकूलित) मॉडल हैं।
अब, कल्पना कीजिए कि आप उस सहायक को एक छोटा सा, मूर्खतापूर्ण नियम देते हैं: "कृपया अपना उत्तर लिखें, लेकिन 'e' अक्षर का उपयोग न करें।" या, "किसी भी कॉमा (अल्पविराम) का उपयोग न करें।"
आप उम्मीद कर सकते हैं कि सहायक अपने उत्तर को फिर से लिखेगा, जैसे कोई व्यक्ति सावधानी से वाक्य को संपादित करता है, लेकिन इस शोध पत्र के अनुसार, ऐसा नहीं होता है। इसके बजाय, सहायक घबरा जाता है, वह सब कुछ भूल जाता है जो वह जानता है, और आपको एक छोटा सा, बेहद साधारण नोट थमा देता है जो प्रश्न का मुश्किल से ही उत्तर देता है।
यह शोध पत्र इस घटना को "कन्स्ट्रेंट-इंड्यूस्ड रिस्पॉन्स कोलैप्स" (प्रतिबंध-प्रेरित प्रतिक्रिया पतन) कहता है। यह ऐसा है जैसे जैसे ही कोई छोटा सा नियम जोड़ा जाता है, सहायक का मस्तिष्क शॉर्ट-सर्किट हो जाता है, जिससे उनकी मददगार होने की क्षमता में 14% से 48% की गिरावट आती है।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:
1. "एक टोकन" का ट्रिगर
शोधकर्ताओं ने इसे सरल चीजों पर प्रतिबंध लगाकर परखा: एक एकल विराम चिह्न (जैसे कॉमा), एक सामान्य शब्द (जैसे "the"), या एक फॉर्मेटिंग शैली (जैसे बुलेट पॉइंट्स)।
- परिणाम: AI ने प्रतिबंधित आइटम से बचने के लिए अधिक प्रयास नहीं किया; इसने अपनी पूरी रणनीति ही बदल दी। इसने एक विस्तृत विशेषज्ञ बनने के बजाय एक न्यूनतम (मिनिमलिस्टिक) रोबोट बनना चुन लिया।
- उपमा: एक मास्टर शेफ की कल्पना करें जो 10-कोर्स का शानदार भोजन बना सकता है। यदि आप उनसे कहते हैं, "नमक का उपयोग न करें," तो कम सोडियम वाला स्वादिष्ट भोजन बनाने के बजाय, वे अचानक आपको केवल एक सादा टुकड़ा ब्रेड थमा देते हैं। उन्होंने खाना पकाने की क्षमता नहीं खोई; उन्होंने बस उस विशिष्ट नियम के तहत अच्छा खाना पकाने की योजना खो दी।
2. यह एक "प्लानिंग" (योजना) की समस्या है, "स्किल" (कौशल) की नहीं
सबसे आश्चर्यजनक खोज यह थी कि AI अभी भी प्रतिबंधित आइटम के बिना एक शानदार उत्तर लिख सकता था।
- प्रयोग: शोधकर्ताओं ने "टू-पास" (दो-चरण) विधि का परीक्षण किया। पहले, उन्होंने AI को एक आदर्श उत्तर लिखने दिया। फिर, उन्होंने कहा, "ठीक है, अब उसी उत्तर को फिर से लिखें, लेकिन बिना कॉमा के।"
- परिणाम: AI ने बहुत अच्छा काम किया! इसने लगभग सारा विस्तार और विवरण बनाए रखा।
- उपमा: यह साबित करता है कि शेफ नमक के बिना भी खाना बनाना जानता है। समस्या यह है कि जब आप प्रश्न और नियम एक साथ पूछते हैं, तो AI का "प्लानिंग ब्रेन" भ्रमित हो जाता है। वह निर्णय लेता है, "ओह, यह एक कठिन बाधा है। मैं सुरक्षित रहने के लिए बस सबसे सरल उत्तर दूंगा।" यह ज्ञान की कमी नहीं, बल्कि योजना (प्लानिंग) की विफलता है।
3. "बेस" मॉडल बनाम "ट्रेन्ड" मॉडल
शोधकर्ताओं ने इन "इंस्ट्रक्शन-ट्यून्ड" सहायकों की तुलना उनके "बेस" संस्करणों (मददगार सहायक के रूप में प्रशिक्षित होने से पहले के कच्चे मॉडल) के साथ की।
- निष्कर्ष: कच्चे, अनट्रेंड मॉडल में कोई पतन नहीं हुआ। जब आपने उन्हें "नो कॉमा" का नियम दिया, तो उन्होंने बस एक थोड़ा अलग उत्तर लिखा, जो कभी-कभी बेहतर भी था!
- उपमा: सोचिए कि बेस मॉडल एक जंगली, रचनात्मक कलाकार है जो जो महसूस करता है वही पेंट करता है। यदि आप कहते हैं "लाल रंग का उपयोग न करें," तो वे नीले और पीले रंग का उपयोग करते हैं।
सोचिए कि इंस्ट्रक्शन-ट्यून्ड मॉडल एक छात्र है जिसने एक विशिष्ट "परफेक्ट निबंध टेम्पलेट" रट लिया है। वे उस टेम्पलेट का पालन करने में इतने अच्छे हैं कि यदि वे टेम्पलेट के एक छोटे से नियम (जैसे "कोई कॉमा नहीं") को तोड़ते हैं, तो वे समझ नहीं पाते कि सुधार (इम्प्रोवाइज) कैसे करें। वे जम जाते हैं और हार मान लेते हैं। - निष्कर्ष: प्रशिक्षण की प्रक्रिया जो AI को "मददगार" बनाती है, वास्तव में उसे नाजुक (फ्रैजाइल) बनाती है। इसने AI को विशिष्ट पैटर्न पर निर्भर रहने के लिए सिखाया, और जब वे पैटर्न बाधित होते हैं, तो AI ढह जाता है।
4. "बड़े बॉस" मॉडल भी असुरक्षित हैं
शोधकर्ताओं ने GPT-4o-mini का परीक्षण किया, जो एक बहुत ही उन्नत, व्यावसायिक मॉडल है जिसका उपयोग लाखों लोग करते हैं।
- परिणाम: यहाँ तक कि यह सुपर-स्मार्ट मॉडल भी ढह गया। कॉमा का उपयोग करने से प्रतिबंधित होने पर इसने अपनी मददगार होने की क्षमता में 31% की कमी देखी।
- उपमा: यह यह जानने जैसा है कि एक उच्च प्रशिक्षित ओलंपिक जिम्नास्ट भी लड़खड़ा जाएगा यदि आप बैलेंस बीम पर एक छोटा सा कंकड़ रख दें। इन मॉडलों की "सुपरपावर्स" उन्हें इस विशिष्ट प्रकार की कमजोरी से नहीं बचा पातीं।
5. "ब्लाइंड जज" (अंधा न्यायाधीश) की समस्या
अंत में, शोध पत्र AI के परीक्षण के तरीके पर एक बड़ी समस्या की ओर इशारा करता है।
- मुद्दा: अधिकांश लोग AI का परीक्षण इस तरह करते हैं कि वे एक प्रश्न पूछते हैं और एक जज को उत्तर को अलग से (आइसोलेशन में) रेटिंग देने के लिए कहते हैं।
- परिणाम: जज ने "कोलैप्स्ड" (छोटे, खराब) उत्तरों को एक अच्छा स्कोर (जैसे 10 में से 7) दिया क्योंकि वे वाक्य व्याकरण की दृष्टि से सही थे। उन्हें यह एहसास नहीं हुआ कि उत्तर में आधा विवरण गायब था।
- उपमा: कल्पना कीजिए कि एक शिक्षक दो निबंधों को ग्रेड कर रहा है।
- निबंध A: एक लंबा, विस्तृत, पूर्ण निबंध।
- निबंध B: एक छोटा, सरल निबंध जो प्रश्न का उत्तर तो देता है लेकिन आधे विवरणों को छोड़ देता है।
यदि शिक्षक निबंध B को अकेले पढ़ता है, तो वह सोच सकता है, "यह एक अच्छा, स्पष्ट निबंध है!" और उसे A ग्रेड दे सकता है।
लेकिन यदि वे निबंध A और निबंध B को साथ-साथ देखते हैं, तो वे तुरंत देख लेंगे कि निबंध B, निबंध A की तुलना में एक आपदा है। - शोध पत्र की चेतावनी: हम वर्तमान में AI निबंधों को एक-एक करके ग्रेड कर रहे हैं, इसलिए हम इस तथ्य को नजरअंदाज कर रहे हैं कि बाधाएं आने पर वे हमें "निबंध B" जैसी गुणवत्ता दे रहे हैं।
सारांश
यह शोध पत्र हमें बताता है कि हमारे वर्तमान AI सहायक उन अभिनेताओं की तरह हैं जिन्होंने एक स्क्रिप्ट को पूरी तरह से रट लिया है। यदि आप स्क्रिप्ट की एक लाइन भी बदल देते हैं (कॉमा को प्रतिबंधित करना), तो वे सुधार (इम्प्रोवाइज) नहीं करते; वे पूरा नाटक भूल जाते हैं और मंच से चले जाते हैं।
AI में दिखने वाली "मददगार" प्रकृति अक्सर केवल एक बहुत ही विशिष्ट, कठोर टेम्पलेट का पालन करना है। जब वह टेम्पलेट टूट जाता है, तो AI लचीले तरीके से मददगार होना नहीं जानता। शोधकर्ता सुझाव देते हैं कि हमें AI को अधिक लचीला बनाने के लिए प्रशिक्षित करने की आवश्यकता है, ताकि वे नियमों को संभालने के दौरान ढह न जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।