When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis
यह शोध पत्र "फ्रैजिलिटी" (fragility) को पेश करता है, जो एक पूरक मीट्रिक है जो उस एक्टिवेशन-नॉइज़ स्तर को मापता है जिस पर लीनियर प्रोब सटीकता ढह जाती है, ताकि एलएलएम (LLM) प्री-ट्रेनिंग में विकसित होते प्रतिनिधि संरचनाओं और नैतिक एन्कोडिंग ग्रेडिएंट्स को प्रकट किया जा सके जो मानक प्रोब सटीकता संतृप्त होने के बाद अदृश्य हो जाते हैं।