🤖 AI
Into the Rabbit Hull: From Task-Relevant Concepts in DINO to Minkowski Geometry
من خلال تطبيق المشفرات التلقائية المتناثرة (Sparse Autoencoders) على نموذج DINOv2، تكشف هذه الدراسة أن المفاهيم الخاصة بمهام معينة تظهر تخصصاً وظيفياً وهندسة غير متناثرة ومتصلة محلياً، مما أدى إلى اقتراح فرضية التمثيل المينكوفسكي (Minkowski Representation Hypothesis)، التي تفترض أن رموز محولات الرؤية (vision transformer tokens) تتشكل من خلال مزيج محدب من النماذج الأصلية (archetypes) ضمن الفضاءات المفاهيمية بدلاً من التناثر الخطي الصارم.
Thomas Fel, Binxu Wang, Michael A. Lepori, Matthew Kowal, Andrew Lee, Randall Balestriero, Sonia Joseph, Ekdeep S. Luban (…)2026-03-02