💬 NLP

When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

यह शोध पत्र "फ्रैजिलिटी" (fragility) को पेश करता है, जो एक पूरक मीट्रिक है जो उस एक्टिवेशन-नॉइज़ स्तर को मापता है जिस पर लीनियर प्रोब सटीकता ढह जाती है, ताकि एलएलएम (LLM) प्री-ट्रेनिंग में विकसित होते प्रतिनिधि संरचनाओं और नैतिक एन्कोडिंग ग्रेडिएंट्स को प्रकट किया जा सके जो मानक प्रोब सटीकता संतृप्त होने के बाद अदृश्य हो जाते हैं।

मूल लेखक: Orion Reblitz-Richardson

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Orion Reblitz-Richardson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) की सरल भाषा और रोज़मर्रा के उदाहरणों के साथ व्याख्या दी गई है।

बड़ी समस्या: "संतुष्ट छात्र" (The Satisfied Student)

कल्पना कीजिए कि आप एक शिक्षक हैं जो पूरे स्कूल वर्ष के दौरान यह ट्रैक करने की कोशिश कर रहे हैं कि एक छात्र किसी विषय को कितनी अच्छी तरह सीख रहा है। आप उन्हें हर हफ्ते एक साधारण क्विज़ देते हैं।

सप्ताह 1: छात्र 50% सही उत्तर देता है।
सप्ताह 2: वे 95% सही उत्तर देते हैं।
सप्ताह 3 से सप्ताह 40 तक: वे 95% सही उत्तर देते रहते हैं।

यदि आप केवल स्कोर (सटीकता/accuracy) देखते हैं, तो आप सोचेंगे कि छात्र ने सप्ताह 2 के बाद सीखना बंद कर दिया है। आप कहेंगे, "बहुत बढ़िया, उन्होंने इसमें महारत हासिल कर ली!" और ध्यान देना बंद कर देंगे।

लेकिन छात्र वास्तव में अभी भी सीख रहा है। वे अपनी समझ को परिष्कृत (refine) कर रहे हैं, विचारों को जोड़ रहे हैं, और एक गहरा, अधिक मजबूत ज्ञान आधार बना रहे हैं। साधारण क्विज़ इतना कठिन नहीं है कि वह "काफी अच्छा" और "उत्कृष्ट" के बीच के अंतर को दिखा सके।

AI मॉडल्स के साथ भी बिल्कुल यही होता है।
जब शोधकर्ता यह देखने के लिए कि क्या एक AI किसी अवधारणा (जैसे नैतिकता/morality) को समझता है, "लीनियर प्रोबिंग" (linear probing) नामक एक मानक परीक्षण का उपयोग करते हैं, तो AI का स्कोर बहुत जल्दी (प्रशिक्षण के लगभग 95% तक) एक सीमा (ceiling) पर पहुँच जाता है। शेष 95% प्रशिक्षण समय के लिए, स्कोर स्थिर (flat) रहता है। मानक परीक्षण मॉडल के भीतर होने वाले सभी जटिल परिवर्तनों के प्रति अंधा हो जाता है।

नया टूल: "स्ट्रेस टेस्ट" (तुलना: भंगुरता/Fragility)

इस पेपर के लेखक कहते हैं: "आइए केवल स्कोर देखना बंद करें। आइए देखें कि ज्ञान कितना मजबूत है।"

वे एक नया मीट्रिक पेश करते हैं जिसे Fragility (भंगुरता) कहा जाता है। केवल यह पूछने के बजाय कि "क्या AI इसका उत्तर दे सकता है?", वे पूछते हैं, "AI कितना शोर (noise) झेल सकता है इससे पहले कि वह भ्रमित हो जाए?"

उपमा (Analogy): कल्पना कीजिए कि दो लोग एक भारी बॉक्स पकड़े हुए हैं।
- व्यक्ति A इसे बिल्कुल स्थिर पकड़े हुए है। यदि आप उनके कंधे पर थपकी देते हैं, तो वे बॉक्स गिरा देते हैं। (उच्च सटीकता, लेकिन भंगुर/fragile)।
  giúp व्यक्ति B इसे एक चौड़ी, मजबूत पकड़ के साथ पकड़े हुए है, शायद दोनों हाथों का उपयोग कर रहा है और अपने पैरों को भी सहारा दे रहा है। यदि आप उनके कंधे पर थपकी देते हैं, तो वे हिलते तक नहीं। (उच्च सटीकता, और मजबूत/robust)।

दोनों लोग बॉक्स पकड़े हुए हैं (दोनों की सटीकता उच्च है), लेकिन व्यक्ति B के पास इसे पकड़ने की बहुत गहरी, अधिक स्थिर समझ है।

पेपर में, वे AI के जवाब देते समय उसके "दिमाग" में "शोर" (रैंडम स्टैटिक) जोड़ते हैं। वे मापते हैं कि AI को गलतियाँ करने से पहले कितना शोर सहना पड़ता है।

कम भंगुरता (उच्च शोर सहनशीलता): AI मजबूत (robust) है। वह अवधारणा को गहराई से और व्यापक रूप से समझता है।
उच्च भंगुरता (कम शोर सहनशीलता): AI नाजुक (brittle) है। वह केवल एक ट्रिक या किसी विशिष्ट शब्द को रट रहा है, और थोड़ी सी उलझन उसे तोड़ देती है।

उन्होंने क्या खोजा

केवल "स्कोर" के बजाय इस "स्ट्रेस टेस्ट" का उपयोग करके, लेखकों ने तीन प्रमुख चीजें खोजीं जो पहले अदृश्य थीं:

1. सीखने का क्रम: पहले शब्द, फिर अर्थ

उन्होंने ट्रैक किया कि AI ने "नैतिकता" के बारे में कैसे सीखा।

पुराना दृष्टिकोण: AI नैतिकता को बहुत जल्दी (लगभग 1,000 स्टेप्स के आसपास) सीख लेता है।
नया दृष्टिकोण: AI वास्तव में दो चरणों में सीखता है।
1. चरण 1 (स्टेप 1,000): यह शब्दावली (vocabulary) सीखता है। इसे पता है कि "धोखा देना" (betray) बुरा शब्द है और "अभिवादन करना" (greet) अच्छा है। यह एक साधारण स्कोर के साथ आसानी से पहचाना जा सकता है।
2. चरण 2 (स्टेप 5,000): यह संरचना/संयोजन (composition) सीखता है। यह समझता है कि एक ही शब्द संदर्भ के आधार पर अच्छा या बुरा हो सकता है (जैसे, "भाई की रक्षा करने के लिए राज छुपाना" बनाम "भाई को नुकसान पहुँचाने के लिए राज छुपाना)।

"स्ट्रेस टेस्ट" ने दिखाया कि जबकि AI शब्दों को जल्दी जान गया था, उसे उन शब्दों के महत्व के गहरे, प्रासंगिक (contextual) बोध को बनाने में बहुत अधिक समय लगा।

2. "नाजुक निचले स्तर" (The "Brittle Early Layers")

हजारों स्टेप्स तक प्रशिक्षण के दौरान, "स्ट्रेस टेस्ट" ने इसके मस्तिष्क की संरचना में एक पैटर्न का खुलासा किया:

AI के ऊपरी स्तर (top layers) अविश्वसनीय रूप से मजबूत और स्थिर हो गए (एक गहरे आधार की तरह)।
निचले स्तर (bottom layers) आश्चर्यजनक रूप से नाजुक और भंगुर हो गए, भले ही समग्र स्कोर अभी भी उच्च था।

यह एक ऐसी गगनचुंबी इमारत की तरह है जहाँ ऊपरी मंजिलें स्टील से मजबूत की गई हैं, लेकिन निचली मंजिलें कार्डबोर्ड से बनी हैं। यदि आप इमारत को हिलाते हैं (शोर जोड़ते हैं), तो निचला हिस्सा ढह सकता है भले ही ऊपर सब ठीक दिखे। मानक स्कोर ने इसे कभी नहीं देखा; "स्ट्रेस टेस्ट" ने इसे देख लिया।

3. आप कैसे सिखाते हैं यह मायने रखता है (भले ही स्कोर न दिखाए)

लेखकों ने AI को तीन अलग-अलग तरीकों से सिखाया:

कहानियाँ: उपदेशों के भीतर नैतिक सबक (जैसे ईसप की कहानियाँ)।
घोषणात्मक (Declarative): बार-बार सरल वाक्य दोहराना जैसे "चोरी करना गलत है"।
नियंत्रण (Control): बिना किसी नैतिक सामग्री वाला सामान्य टेक्स्ट।

परिणाम: तीनों समूहों का अंतिम परीक्षण पर बिल्कुल समान स्कोर रहा।
अंतर:

कहानी (Story) समूह ने एक मजबूत, सुदृढ़ समझ बनाई।
घोषणात्मक (Declarative) समूह (बार-बार "चोरी करना गलत है" कहना) ने एक भंगुर (fragile) समझ बनाई। उन्होंने पैटर्न को पूरी तरह से रट लिया, लेकिन यदि आप वाक्य को थोड़ा सा बदलते हैं, तो वे टूट जाते हैं।

यह साबित करता है कि आपके डेटा का चयन AI की आंतरिक "मांसपेशियों" को कैसे बदलता है, भले ही अंतिम परीक्षण स्कोर समान दिखाई दे।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर तर्क देता है कि एक बार जब मॉडल "काफी अच्छा" हो जाता है, तो सटीकता (accuracy) प्रगति को मापने के लिए एक खराब पैमाना है। यह एक सीमा पर पहुँच जाता है और हमें कुछ भी नया नहीं बताता।

केवल स्कोर के बजाय एक फ्रैजिलिटी टेस्ट (Fragility Test) (यह जांचना कि मॉडल कितना शोर झेल सकता है) जोड़कर, शोधकर्ता सीखने की छिपी हुई संरचना को देख सकते हैं:

जब अवधारणाएं सरल शब्द-मिलान से गहरे बोध की ओर बढ़ती हैं।
AI के मस्तिष्क के कौन से हिस्से मजबूत हैं और कौन से कमजोर।
क्या AI वास्तव में इसे "समझता" है या केवल एक पैटर्न को रट लिया है।

संक्षेप में: केवल यह मत पूछिए कि क्या AI ने सही उत्तर दिया। यह पूछिए कि उसे धोखा देना कितना कठिन होगा। असली कहानी सीखने के इसी पहलू में छिपी है।

तकनीकी सारांश: "जब प्रोबिंग सटीकता संतृप्त होती है, तो भंगुरता (Fragility) स्पष्टता प्रदान करती है"

1. समस्या: प्रोबिंग सटीकता का संतृप्ति (Saturation)

मानक लीनियर प्रोबिंग एक व्यापक रूप से उपयोग किया जाने वाला व्याख्यात्मक प्रोटोकॉल (interpretability protocol) है, जहाँ एक फ्रोजन हिडन स्टेट्स पर एक लीनियर क्लासिफायर को एक विशिष्ट गुण (जैसे, भावना, नैतिकता, वाक्य संरचना) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। यदि क्लासिफायर उच्च सटीकता प्राप्त कर लेता है, तो उस गुण को "एन्कोडेड" घोषित कर दिया जाता है।

यह शोध पत्र प्री-ट्रेनिंग डायनेमिक्स पर लागू होने वाले इस प्रोटोकॉल में एक महत्वपूर्ण विफलता मोड की पहचान करता है। OLMo-2 1B प्रक्षेपवक्र (trajectory) पर, नैतिकता जैसे गुणों के लिए मानक प्रोबिंग सटीकता पहले कुछ हजार स्टेप्स के भीतर ही संतृप्त हो जाती है (स्टेप 4K तक ~~95% सटीकता तक पहुँच जाती है)। शेष ~95% ट्रेनिंग प्रक्षेपवक्र (~~33K स्टेप्स) के लिए, सटीकता मीट्रिक स्थिर (flat) रहता है। परिणामस्वरूप, यह उपकरण मॉडल के भीतर जारी रहने वाले प्रतिनिधित्व परिवर्तनों (representational changes) के प्रति अंधा हो जाता है, जिससे मानक विश्लेषण के लिए अधिकांश प्री-ट्रेनिंग "अदृश्य" हो जाती है।

2. कार्यप्रणाली: "भंगुरता" (Fragility) का परिचय

खोई हुई रिज़ॉल्यूशन को पुनः प्राप्त करने के लिए, लेखक एक पूरक प्रति-परत (per-layer) मीट्रिक के रूप में भंगुरता पेश करते हैं।

परिभाषा: भंगुरता को उस क्रांतिक शोर स्तर ( $\sigma^*_\ell$ ) के रूप में परिभाषित किया गया है जिस पर एक प्रशिक्षित प्रोब की सटीकता एक विशिष्ट थ्रेशोल्ड (जिसे 0.6, या चांस + 0.1 निर्धारित किया गया है) से नीचे गिर जाती है।
प्रक्रिया:
1. एक विशिष्ट लेयर $\ell$ के क्लीन हिडन स्टेट्स पर एक मानक लीनियर प्रोब को प्रशिक्षित करें।
2. कैश किए गए टेस्ट-सेट एक्टिवेशन्स में गॉसियन शोर ( $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ ) इंजेक्ट करें।
3. शोर के लॉगरिदमिक स्वीप ( $\sigma \in \{0.1, 0.3, 1.0, 3.0, 10.0\}$ ) के माध्यम से प्रोब का पुनर्मूल्यांकन करें।
4. उस न्यूनतम $\sigma$ की पहचान करें जहाँ सटीकता थ्रेशोल्ड से नीचे गिर जाती है।
व्याख्या:
- कम $\sigma^*_\ell$ : प्रतिनिधित्व भंगुर (fragile) है; निर्णय सीमा (decision boundary) का मार्जिन संकीर्ण है या रेडंडेंसी कम है, जिससे छोटे व्यवधानों के तहत सटीकता गिर जाती है।
- उच्च $\sigma^*_\ell$ : प्रतिनिधित्व मजबूत (robust) है; अंतर एक विस्तृत मार्जिन और/या उच्च रेडंडेंसी के साथ एन्कोडेड है।
दायरा: यह मीट्रिक उन्हीं प्रशिक्षित प्रोब्स पर लागू किया जाता है जिनका उपयोग सटीकता कर्व्स के लिए किया जाता है, जो पृथक्करणीयता (separability) और रेडंडेंसी की ज्यामिति को ट्रैक करने के लिए एक सीधा पूरक बनाता है, भले ही सटीकता स्थिर हो जाए।

3. मुख्य योगदान और प्रयोगात्मक सेटअप

शोध पत्र OLMo-2 1B (37 चेकपॉइंट्स, डेंस 1K-स्टेप सैंपलिंग) और OLMo-3 7B (20 चेकपॉइंट्स) परिवारों का उपयोग करके इस कार्यप्रणाली को मान्य करता है। लेखक विभिन्न क्षमताओं को प्रोब करने के लिए चार अलग-अलग मिनिमल-पेयर डेटासेट्स का उपयोग करते हैं:

स्टैंडर्ड मोरल (Standard Moral): नैतिक रूप से भारित लेक्सिम्स (जैसे, "betrayed" बनाम "greeted") के सिंगल-टोकन स्वैप।
सेंटिमेंट (Sentiment): विशेषणों (adjectives) के सिंगल-टोकन स्वैप।
सिंटैक्स (Syntax): संरचनात्मक सुव्यवस्थितता उल्लंघन (structural well-formedness violations)।
कंपोजिशनल मोरल (Compositional Moral - नया योगदान): एक नया डेटासेट जिसमें 200 जोड़े हैं जहाँ नैतिक वैलेंस (valence) एकल मजबूत लेक्सिम के बजाय कई टोकन के एकीकरण द्वारा निर्धारित होता है (जैसे, विशिष्ट संदर्भों में "protect" बनाम "humiliate")। इस डेटासेट को कठोरता से सत्यापित किया गया है ताकि यह सुनिश्चित हो सके कि इसे केवल बैग-ऑफ-वर्ड्स सांख्यिकी द्वारा हल नहीं किया जा सकता (इसके लिए मल्टी-टोकन इंटीग्रेशन की आवश्यकता है)।

4. मुख्य परिणाम

निष्कर्ष 1: एक मात्रात्मक लेक्सिकल $\to$ कंपोजिशनल ग्रेडिएंट
मानक प्रोबिंग सटीकता बताती है कि नैतिक एन्कोडिंग स्टेप 1K पर उभरती है। हालांकि, लेखक प्रदर्शित करते हैं कि यह लेक्सिकल सेपरेबिलिटी को मापता है, न कि कंपोजिशनल रीजनिंग को।

स्टैंडर्ड मोरल प्रोब: स्टेप 1K पर प्रारंभ होता है (सिंगल लेक्सिम स्वैप)।
कंपोजिशनल मोरल प्रोब: स्टेप 5K पर प्रारंभ होता है (मल्टी-टोकन इंटीग्रेशन)।
ग्रेडिएंट: उद्भव (emergence) एक सख्त क्रम का पालन करता है: लेक्सिकल मोरल डिटेक्शन (1K) $\to$ सेंटिमेंट (2K) $\to$ कंपोजिशनल मोरल एन्कोडिंग (5K) $\to$ सिंटैक्स (6K)।
सत्यापन: कंपोजिशनल प्रोब विभिन्न कंस्ट्रक्शन प्रकारों में ट्रांसफर होता है (उदाहरण के लिए, "motive" पेयर्स पर प्रशिक्षण, "role" पेयर्स पर परीक्षण) और एक बैग-ऑफ-वर्ड्स बेसलाइन से काफी बेहतर प्रदर्शन करता है, जो पुष्टि करता है कि यह केवल शब्दावली लुकअप नहीं, बल्कि वास्तविक कंपोजिशनल एन्कोडिंग को कैप्चर करता है।

निष्कर्ष 2: भंगुरता उस संरचना को स्पष्ट करती है जहाँ सटीकता स्थिर (Flat) है
जबकि औसत प्रोबिंग सटीकता स्टेप 4K तक ~0.95 पर स्थिर हो जाती है और स्थिर रहती है, औसत क्रिटिकल नॉइज़ (भंगुरता) स्टेप 36K तक विकसित होना जारी रखती है।

लेयर-डेप्थ ग्रेडिएंट: एक मोनोटोनिक ग्रेडिएंट विकसित होता है जहाँ बाद वाली लेयर्स अधिकतम मजबूती (उच्च $\sigma^*$ ) बनाए रखती हैं, जबकि शुरुआती लेयर्स अधिक भंगुर (brittle) होती जाती हैं (क्रिटिकल नॉइज़ 10.0 से गिरकर 1.8 हो जाता है)।
पुनरावृत्ति (Replication): यह पैटर्न OLMo-3 7B मॉडल के लिए भी बना रहता है और कंपोजिशनल प्रोब के लिए चार रैंडम सीड्स में सुसंगत है।
महत्व: मॉडल डेटा को सही ढंग से "वर्गीकृत" करने के बहुत बाद तक महत्वपूर्ण रिप्रजेंटेशनल रिफाइनमेंट (मजबूती और रेडंडेंसी में परिवर्तन) से गुजरता है।

निष्कर्ष 3: डेटा क्यूरेशन सटीकता बदले बिना मजबूती को नया आकार देता है
लेखकों ने तीन मैच किए गए कॉर्पोरा (नैरेटिव मोरल, डिक्लेरेटिव मोरल, जनरल कंट्रोल) पर LoRA का उपयोग करके OLMo-2 1B मॉडल को फाइन-ट्यून किया।

सटीकता: तीनों स्थितियों ने समान पीक प्रोबिंग सटीकता (~0.74–0.75) उत्पन्न की।
भंगुरता: इन स्थितियों ने विशिष्ट भंगुरता फिंगरप्रिंट्स उत्पन्न किए।
- डिक्लेरेटिव मोरल ("Stealing is wrong" टेम्पलेट्स) के परिणामस्वरूप विसरित भंगुरता (diffuse fragility) हुई (16 में से 10 लेयर्स भंगुर थीं; औसत $\sigma^* = 5.63$ )।
- नैरेटिव/जनरल स्थितियाँ अधिक मजबूत (robust) थीं (औसत $\sigma^* \approx 7.0$ )।
निहितार्थ: सिंथेटिक टेम्पलेट्स को याद करना (memorizing) संकीर्ण, लो-मार्जिन निर्णय सीमाओं को बनाता है जो शोर के तहत ढह जाती हैं, एक संरचनात्मक परिवर्तन जो सटीकता मीट्रिक में अदृश्य है।

5. महत्व और दावे

यह शोध पत्र एक मेथोडोलॉजिकल दावा करता है न कि कोई विशिष्ट नैतिक-डोमेन दावा: प्रोबिंग सटीकता एक थ्रेशोल्डेड, कैप्ड मीट्रिक है जो एक बार गुण रैखिक रूप से डिकोडेबल होने के बाद डायनेमिक्स को कैप्चर करने में विफल रहती है।

मुख्य थीसिस: प्रत्येक परीक्षण किए गए तुलना में, जहाँ प्रोबिंग सटीकता एक फ्लैट, अनइंफॉर्मेटिव उत्तर देती है, भंगुरता एक स्ट्रक्चर्ड, विकसित उत्तर देती है।
उद्भव (Emergence) का पुनर्निर्धारण: शोध पत्र तर्क देता है कि केवल मानक प्रोब ऑनसेट (जैसे, "नैतिकता स्टेप 1K पर उभरती है") के आधार पर "उद्भव" के दावे अक्सर लेक्सिकल एक्सेसिबिलिटी के आर्टिफैक्ट होते हैं। वास्तविक कंपोजिशनल क्षमताएं बाद में उभरती हैं और एक अलग डायनेमिक का पालन करती हैं (क्रमिक बनाम स्टेप-लाइक)।
उपयोगिता: भंगुरता प्री-ट्रेनिंग विश्लेषण के लिए एक आवश्यक डायग्नोस्टिक के रूप में कार्य करती है, जो प्रतिनिधित्व की ज्यामिति (मार्जिन और रेडंडेंसी) के विकास को प्रकट करती है जिसे मानक सटीकता छुपा देती है।

लेखक निष्कर्ष निकालते हैं कि प्री-ट्रेनिंग विंडो मानक व्याख्यात्मक उपकरणों द्वारा प्रकट किए गए कार्य से काफी अधिक कार्य करती है, और खोई हुई रिज़ॉल्यूशन को पुनः प्राप्त करने के लिए एक भंगुरता रीडआउट जोड़ना आवश्यक है।