Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders
تتقصى هذه الورقة البحثية ثبات الاستدلال عبر اللغات في النماذج اللغوية الكبيرة متعددة اللغات من خلال تقديم المشفرات التلقائية المتناثرة ثابتة الهندسة (GI-SAE) لتحديد الميزات المشتركة عبر اللغات، كاشفةً أنه بينما يمكن لهذه النماذج تعلم تمثيلات ثابتة لغوياً، فإن قابليتها للتبادل الوظيفي والطبقات المحددة التي تظهر فيها تختلف بشكل كبير اعتماداً على بنية النموذج.