← नवीनतम पेपर
🔬 condensed matter

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

यह शोध पत्र "नेचुरल अनग्रॉकिंग" (natural ungrokking) को प्रस्तुत करता है, जो एक ऐसी घटना है जहाँ भाषा मॉडल प्रीट्रेनिंग के दौरान स्वतः ही विशिष्ट नियमों को सीख लेते हैं और फिर उन्हें अचानक भूल जाते हैं क्योंकि प्रशिक्षण कॉर्पस में नियम-समर्थक साक्ष्य की आवृत्ति किसी नियम के अस्तित्व को निर्धारित करती है, एक ऐसी प्रक्रिया जो विषम नियंत्रण (asymmetric control) द्वारा अभिलक्षित है जहाँ एक नियम को नष्ट करना आसान है लेकिन उसे पुन: स्थापित करना असंभव है।

मूल लेखक: Juliana Li, Diya Sreedhar

प्रकाशित 2026-06-25
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Juliana Li, Diya Sreedhar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "नेचुरल अनग्रोकिंग" (Natural Ungrokking) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

मुख्य विचार: एक नियम सीखना, फिर उसे भूल जाना

कल्पना कीजिए कि आप एक बहुत छोटे बच्चे (AI मॉडल) को किताबों की एक विशाल लाइब्रेरी (ट्रेनिंग डेटा) पढ़कर बोलना सिखा रहे हैं।

इस प्रक्रिया के बीच में, बच्चा अचानक एक विशिष्ट व्याकरण नियम समझ जाता है: "यदि किसी वाक्य में किसी लड़की का नाम (जैसे 'सू') आता है, तो अगला सर्वनाम 'she' होना चाहिए।" बच्चा इसमें बहुत माहिर हो जाता है। यदि आप उससे पूछें, "Sue cried because..." तो वह आत्मविश्वास से "she" कहता है।

लेकिन फिर, कुछ अजीब होता है। जैसे-जैसे बच्चा और अधिक किताबें पढ़ता है, वह इस नियम को पूरी तरह से भूल जाता है। ट्रेनिंग के अंत तक, यदि आप वही सवाल पूछते हैं, तो वह "he" का अनुमान लगाता है (जो कि सामान्य भीड़ द्वारा अक्सर कहा जाता है, भले ही वह लड़की के लिए गलत हो)।

पेपर इसे "नेचुरल अनग्रोकिंग" (Natural Ungrokking) कहता है। यह "ग्रोकिंग" (जहाँ एक मॉडल अचानक कुछ समझ जाता है) का ठीक उल्टा है। यहाँ, मॉडल एक नियम सीखता है, कुछ समय के लिए उसका उपयोग करता है, और फिर उसे चुपचाप छोड़ देता है, भले ही वे किताबें अभी भी उस नियम को शामिल करती हों।

रहस्य: वह क्यों भूल गया?

आमतौर पर, जब कोई कंप्यूटर मॉडल कुछ भूल जाता है, तो ऐसा इसलिए होता है क्योंकि डेटा बदल गया या डेटा गायब हो गया। लेकिन इस प्रयोग में, डेटा कभी नहीं बदला। नियम पूरी ट्रेनिंग के दौरान किताबों में मौजूद था।

शोधकर्ताओं ने पाया कि निर्णायक कारक आवृत्ति (frequency) (कोई चीज़ कितनी बार होती है) है।

  • नियम: "Sue" →\rightarrow "she."
  • प्रतिद्वंद्वी: भाषा में एक सामान्य आदत जहाँ लोग अक्सर डिफ़ॉल्ट अनुमान के रूप में "he" का उपयोग करते हैं।

उस विशिष्ट लाइब्रेरी में जिसे मॉडल पढ़ रहा था, "he" वाली आदत "Sue →\rightarrow she" नियम की तुलना में बहुत अधिक बार दिखाई दी। भले ही नियम वहाँ मौजूद था, लेकिन "he" की आदत इतनी तेज़ और बार-बार आती थी कि उसने नियम को दबा दिया। मॉडल ने नियम को "मिटाया" नहीं; उसने बस उसे सुनना बंद कर दिया क्योंकि "he" की आदत प्रतियोगिता जीत रही थी।

प्रयोग: एकतरफा रास्ता

शोधकर्ता देखना चाहते थे कि क्या वे इसे नियंत्रित कर सकते हैं। उन्होंने ट्रेनिंग डेटा को एक 'डायल' की तरह माना जिसे वे घुमा सकते थे।

1. "किल" स्विच (आसानी से नष्ट होने वाला)
उन्होंने एक ऐसी लाइब्रेरी ली जहाँ नियम मजबूत था और फिर डेटा को बदलना शुरू किया। उन्होंने "Sue... she" के हर उदाहरण को "Sue... he" में बदल दिया।

  • परिणाम: उन्होंने जितना अधिक डेटा बदला, मॉडल उतनी ही तेज़ी से नियम भूल गया। यह "परफेक्ट" से "जीरो" तक का एक सुचारू और अनुमानित स्लाइड था।
  • उपमा: यदि आप एक छात्र को बार-बार कहते रहते हैं, "नहीं, उत्तर X है," भले ही किताब में "Y" लिखा हो, तो छात्र अंततः किताब पर विश्वास करना छोड़ देगा और आपकी बात मानने लगेगा।

2. "रेस्क्यू" स्विच (वापस लाना असंभव)
फिर, उन्होंने इसके विपरीत प्रयास किया। उन्होंने एक ऐसा मॉडल लिया जो पहले ही नियम भूल चुका था (क्योंकि वह "he" से भरी लाइब्रेरी पढ़ रहा था) और उसे "बचाने" की कोशिश की। उन्होंने डेटा में "Sue... she" के उदाहरणों की भारी मात्रा डाली—यह उस मात्रा से 300 गुना अधिक थी जो नियम को जीवित रखने के लिए आवश्यक थी।

  • परिणाम: कुछ नहीं हुआ। मॉडल ने नियम को नहीं सीखा।
  • उपमा: कल्पना कीजिए कि एक छात्र जिसने पहले ही "2+2=5" सीख लिया है क्योंकि उसके शिक्षक ने उसे एक साल तक ऐसा ही बताया था। यदि आप अचानक उसे 1,000 किताबों का ढेर थमा दें जिसमें "2+2=4" लिखा हो, तो वह भ्रमित हो सकता है, लेकिन वह "2+2=5" की आदत को नहीं छोड़ पाएगा। नुकसान हो चुका है; उनके दिमाग में वह "रास्ता" पक्का हो चुका है।

"क्यों": यह विस्थापन है, मिटाना नहीं

शोधकर्ताओं ने मॉडल के "दिमाग" (इसके आंतरिक गणित) के अंदर देखा कि क्या हो रहा था।

  • उन्होंने पाया कि मॉडल ने वाक्य संरचना को समझने की क्षमता नहीं खोई। वह अभी भी जानता था कि शब्दों को कैसे प्रोसेस करना है।
  • इसके बजाय, आंतरिक आत्मविश्वास (internal confidence) बदल गया। "she" के लिए मॉडल का आंतरिक "वोट" "he" के लिए एक मजबूत "वोट" द्वारा दबा दिया गया।
  • यह एक अदालत की तरह है। "she" के सबूत अभी भी वहीं थे, लेकिन "he" के सबूत इतने ज़ोरदार हो गए कि जज (मॉडल) ने "she" गवाह को सुनना बंद कर दिया।

निष्कर्ष

यह पेपर हमें AI सीखने के बारे में तीन मुख्य बातें सिखाता है:

  1. मिड-ट्रेनिंग कौशल नाजुक होते हैं: सिर्फ इसलिए कि एक मॉडल ट्रेनिंग के बीच में एक नियम सीख लेता है, इसका मतलब यह नहीं है कि वह उसे बनाए रखेगा।
  2. आवृत्ति राज करती है: यदि डेटा में कोई नियम दुर्लभ है, तो उसे एक अधिक सामान्य, प्रतिस्पर्धी पैटर्न द्वारा कुचला जाएगा, भले ही वह नियम मौजूद हो।
  3. आप इसे आसानी से तोड़ सकते हैं, लेकिन आसानी से ठीक नहीं कर सकते: एक बार जब मॉडल डेटा के मिश्रण के कारण कोई नियम भूल जाता है, तो बाद में केवल उस नियम को वापस जोड़ना अक्सर काम नहीं करता है। उस विशिष्ट ट्रेनिंग रन के लिए "भूलना" स्थायी है।

संक्षेप में: AI मॉडल उन छात्रों की तरह हैं जो कमरे में सबसे तेज़ आवाज़ को सुनते हैं। यदि "गलत" आवाज़ "सही" नियम से अधिक तेज़ है, तो छात्र गलत चीज़ सीख जाता है। और एक बार जब उन्होंने गलत चीज़ सीख ली, तो बाद में उन्हें सही नियम चिल्लाकर बताना भी अक्सर काम नहीं आता।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🔬 cond-mat →