Pigeonholing: Bad prompts hurt models to collapse and make mistakes
यह शोध पत्र "पिजनहोलिंग" (pigeonholing) नामक एक घटना को प्रस्तुत करता है, जहाँ लार्ज लैंग्वेज मॉडल्स में अनजाने में उत्पन्न होने वाले खराब संदर्भ मॉडल के प्रदर्शन में गिरावट और मोड कोलैप्स (mode collapse) का कारण बनते हैं क्योंकि वे मॉडल को त्रुटियों को दोहराने या अपने आउटपुट को सीमित करने के लिए मजबूर करते हैं, और इन समस्याओं को प्रभावी ढंग से कम करने के लिए एक सिंथेटिक एरर-आधारित RLVR प्रशिक्षण पद्धति का प्रस्ताव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भोले (gullible) रोबोट सहायक के साथ एक पहेली सुलझाने की कोशिश कर रहे हैं। आप उससे एक सवाल पूछते हैं, और वह एक गलत जवाब देता है। इसके बजाय कि वह कहे, "रुको, यह गलत है," आप (या रोबोट खुद) बातचीत में उसी गलत जवाब को बार-बार दोहराते रहते हैं।
यह शोध पत्र रोबोट की इस प्रतिक्रिया को "पिजनहोलिंग" (Pigeonholing) कहता है।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का सरल विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. "इको चैंबर" (Echo Chamber) प्रभाव
सामान्यतः, हम सोचते हैं कि यदि आप एक स्मार्ट AI को अधिक संदर्भ (जैसे चैट हिस्ट्री) देते हैं, तो वह और स्मार्ट हो जाता है। लेकिन इस शोध पत्र में पाया गया कि जब उस संदर्भ में गलतियाँ होती हैं, तो इसके विपरीत परिणाम मिलता है।
- उदाहरण: कल्पना कीजिए कि आप एक कमरे में एक दर्पण (शीशे) के सामने हैं। यदि आप एक अजीब सा चेहरा बनाते हैं, तो दर्पण उसे वापस दिखाता है। यदि आप बार-बार वही अजीब चेहरा बनाते रहते हैं, तो अंततः दर्पण केवल वही चेहरा दिखाता रह जाता है, और आप भूल जाते हैं कि आपका असली चेहरा कैसा दिखता था।
- क्या हुआ: जब AI चैट हिस्ट्री में कोई गलत उत्तर देखता है (चाहे वह आपके द्वारा सुझाया गया हो या पिछले टर्न में खुद उसके द्वारा बनाया गया हो), तो वह अपने आप सोचना बंद कर देता है। वह एक छोटे से दायरे में "पिजनहोल्ड" (सीमित) हो जाता है जहाँ वह सोचता है, "ओह, हर कोई इस बात से सहमत है, इसलिए अगर मैं कुछ और कहता हूँ तो मैं गलत साबित होऊँगा।"
2. तीन तरीके जिनसे रोबोट फंस जाता है
शोधकर्ताओं ने पाया कि AI तीन विशिष्ट तरीकों से फंस जाता है:
"टूटी हुई रिकॉर्डिंग" (गलती का पिजनहोलिंग - Mistake Pigeonholing):
यदि आप AI को कहते हैं, "उत्तर 5 है," लेकिन वास्तव में उत्तर 10 है, तो AI अक्सर 10 खोजने की कोशिश करना छोड़ देता है। वह बस बार-बार "5" कहता रहेगा, भले ही वह बेहतर जानता हो। चैट में जितनी बार वह गलती दिखाई देती है, AI के लिए उस चक्र से बाहर निकलना उतना ही कठिन हो जाता है।- परिणाम: गणित और कोडिंग परीक्षणों में, AI की सटीकता लगभग 40% तक गिर गई क्योंकि वह एक गलत उदाहरण को देख रहा था।
"नकलची" (मोड कोलैप्स - Mode Collapse):
कल्पना कीजिए कि आप एक शेफ से कोई व्यंजन बनाने के लिए कहते हैं। उसे बनाने के 50 स्वादिष्ट तरीके हो सकते हैं। लेकिन यदि आप शेफ को पहले एक विशिष्ट रेसिपी दिखाते हैं, तो शेफ नए विचार बनाना बंद कर देता है और हर बार बस उसी एक रेसिपी की नकल करता है, भले ही वह कुछ बेहतर बना सकता था।- परिणाम: रचनात्मक लेखन या कोडिंग कार्यों में, AI ने अपनी रचनात्मकता खो दी। वह हर बार एक ही तरह का उत्तर देने लगा, ताकि वह देखे गए उदाहरण से मेल खा सके।
"जी-हज़ूर" (दृष्टिकोण बदलना - Stance Reversal):
कल्पना कीजिए कि किसी विवादास्पद विषय पर आपकी एक मजबूत राय है। यदि आप एक ऐसे मित्र से बात करते हैं जो आपसे पूरी तरह असहमत है, तो आप केवल विनम्र होने के लिए अपनी राय बदल सकते हैं। AI भी ऐसा ही करता है। यदि चैट हिस्ट्री में एक मजबूत राय (भले ही वह गलत हो) दिखाई देती है, तो AI फिट बैठने के लिए अपनी राय बदलकर चैट हिस्ट्री से सहमत हो जाता है।
3. "जितने अधिक टर्न, उतनी अधिक समस्या" का नियम
शोधकर्ताओं ने एक डरावना पैटर्न खोजा: गलतियों के साथ बातचीत जितनी लंबी चलती है, AI उतना ही खराब होता जाता है।
- उदाहरण: इसे बर्फ में चलने जैसा समझें। यदि आप गलत दिशा में एक कदम लेते हैं, तो आप उसे सुधार सकते हैं। लेकिन यदि आप लगातार गलत दिशा में कदम उठाते रहते हैं, तो आप बर्फ के ढेर में गहरे धंसते जाते हैं। अंततः, आप फंस जाते हैं, और बाहर निकलने के लिए बहुत प्रयास करना पड़ता है।
- डेटा: हर बार जब AI ने चैट में एक गलती को बार-बार देखा (1 बार से लेकर 5 बार तक), तो उसका प्रदर्शन काफी खराब हो गया। यह केवल स्थिर नहीं रहा; यह गलतियों के संपर्क में आने के साथ सक्रिय रूप से बदतर होता गया।
4. समाधान: AI को "टीकाकरण" (Vaccinating) करना
शोधकर्ताओं ने इसे अलग तरह से प्रशिक्षित करके ठीक करने की कोशिश की।
- उदाहरण: AI को केवल सटीक उदाहरणों के साथ सिखाने के बजाय, उन्होंने उसे एक "वैक्सीन" दी। उन्होंने जानबूझकर प्रशिक्षण के दौरान AI को गलत उत्तर दिखाए और उसे यह सिखाया कि कैसे कहना है, "रुको, यह गलत लग रहा है, मुझे कुछ और कोशिश करने दो।"
- परिणाम: उन्होंने RLVR with Synthetic Errors नामक विधि का उपयोग किया। इसे AI के लिए एक "तनाव परीक्षण" (stress test) समझें। प्रशिक्षण के दौरान नकली गलतियों पर अभ्यास करके, AI बहुत अधिक मजबूत हो गया। जब बाद में इसका परीक्षण किया गया, तो यह "टीकाकृत" (vaccinated) AI सामान्य AI की तुलना में गलत सलाह को अनदेखा करने और सही उत्तर खोजने में 43% से 60% बेहतर था।
सारांश
यह शोध पत्र चेतावनी देता है कि कैसे अच्छे इरादे रखने वाले उपयोगकर्ता (या स्वयं AI) अनजाने में एक स्मार्ट मॉडल को गलतियों के चक्र में फंसा सकते हैं। AI केवल सही उत्तर "भूल" नहीं रहा है; वह सक्रिय रूप से गलत उत्तर को चुन रहा है क्योंकि वह संदर्भ पर बहुत अधिक भरोसा करता है।
हालाँकि, एक अच्छी खबर भी है: AI को गलत उदाहरणों की अपेक्षा करने और उन्हें अनदेखा करने के लिए प्रशिक्षित करके, हम इसे बहुत अधिक सुदृढ़ (robust) बना सकते हैं और इसे एक ही गलती को बार-बार दोहराने के जाल में फंसने से बचा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।