Pre-registered tests of solid-state-physics-inspired LLM compression: a cluster-level negative result at small-language-model scale
स्वायत्त अनुसंधान एजेंटों और एक सख्त 3-सिग्मा निर्णय द्वार (decision gate) का उपयोग करने वाले इस पूर्व-पंजीकृत अध्ययन ने पाया कि कोहन-नियरसाइटनेस (Kohn-nearsightedness) और टेंसर-ट्रेन एम्बेडिंग पर आधारित ठोस-अवस्था-भौतिकी (solid-state-physics) से प्रेरित संपीड़न मैपिंग, छोटे पैमाने के भाषा मॉडलों को संपीड़ित करने में विफल रही, बल्कि इसके बजाय यह प्रकट किया कि उनके अटेंशन तंत्र्स (attention mechanisms) अनुमानित इंसुलेटर-समान गुणों के बजाय महत्वपूर्ण या ग्लास-जैसे व्यवहार प्रदर्शित करते हैं।