Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
यह अध्ययन प्रदर्शित करता है कि जबकि ट्रांसफॉर्मर भाषा मॉडल प्रशिक्षण डेटा के सांख्यिकी द्वारा संचालित लॉग-कंप्रेसिव परिमाण निरूपण (log-compressive magnitude representations) निरंतर विकसित करते हैं, यह ज्यामितीय संरचना व्यवहार संबंधी सक्षमता से विच्छेदित है, क्योंकि ऐसे ज्यामिति वाले मॉडल अक्सर मानव-समान परिमाण भेदभाव कार्यों को करने में विफल रहते हैं।