Concepts Whisper While Syntax Shouts: Spectral Anti-Concentration and the Dual Geometry of Transformer Representations
تتحدى هذه الورقة فعالية طرق الضرب الداخلي السببي لنقل المفاهيم عبر اللغات من خلال الكشف عن "هندسة مزدوجة" في تمثيلات المحولات (transformers)، حيث تتشتت المفاهيم الدلالية في مناطق هادئة طيفياً ومنخفضة التباين لتقليل الاضطراب النحوي، بينما تتركز الميزات النحوية وتباينات فك التضمين (unembedding contrasts) في اتجاهات عالية التباين.