The Geometry of Projection Heads: Conditioning, Invariance, and Collapse
تؤسس هذه الورقة نظرية هندسية لرؤوس الإسقاط في التعلم الخاضع للإشراف الذاتي، حيث تُنمذجها كمتريات ريمانية قابلة للتدريب تفصل بين النماذج الهيكلية الدلالية والقيود الموضوعية، حيث تتيح العمق غير الخطي والتنشيطات السلسة الهروب من الانهيار البعدي عبر الانحناء السالب، بينما تظل الرؤوس الخطية أو القائمة على دالة ReLU غير مستقرة دون ديناميكيات زمنية منفصلة.