23088 ورقة بحثية
تقدم هذه الورقة أول إطار عمل للمعايرة التقريبية للخصائص المنفصلة في التصنيف متعدد الفئات عبر استخدام وسائط مستمرة ليبشيتز للتغلب على التعقيد الأسي، مما يؤدي إلى توصيف تعقيد الاستخلاص الممهد للخصائص المنفصلة القابلة للترتيب بقوة مثل الأنماط والتصنيفات.
تقدم الورقة البحثية "World Machine"، وهو نموذج عالمي توليدي قائم على المحولات (transformer) للسلاسل الزمنية يستخدم الحالات الكامنة لتحقيق قابلية توسع خطية وقدرة على التكيف عبر سياقات البيانات المتنوعة، متجاوزاً بذلك القيود الحسابية التربيعية للمحولات التقليدية.
تقدم الورقة البحثية RADAR، وهو مقياس قائم على الأسس الهندسية يقدر قابلية النقل عبر المجالات في النماذج التأسيسية من خلال تحليل التباعد الزاوي وتغيرات المسافة النسبية في مسارات تمثيل الطبقات، مما يظهر أداءً تنبؤياً تنافسياً عبر معايير النصوص والصور.
تقدم هذه الورقة البحثية "اختيار التضمين الأمثل على مستوى الطبقات" (LOES) و"خسارة التنظيم الهندسي" (GeoReg) لإثبات أن المعلومات ذات الصلة بالمهمة في النماذج التأسيسية العميقة تتوزع بشكل غير رتيب عبر الطبقات، مما يظهر أن التحديد الصريح للتمثيلات الوسيطة المميزة للمهمة والمحاذاة الهندسية لها يتفوق بشكل كبير على نهج نقل التعلم القياسي.
تقدم هذه الورقة أول دليل سببي على أن النماذج اللغوية الكبيرة تكتسب معرفة بعدم القبول اللغوي من خلال الاستباق الإحصائي، مما يثبت أن التعرض للأشكال التقليدية يثبط البدائل الممكنة بنيوياً ولكن غير المسجلة عبر التنافس التوزيعي بدلاً من مجرد التجذر الفعلي.
تقدم هذه الورقة "التوجيه المتناثر القائم على النماذج الأولية" (Prototype-Based Sparse Steering)، وهو إطار عمل يطبق المشفّرات التلقائية المتناثرة (Sparse Autoencoders) على تنشيطات استعلامات النماذج اللغوية الكبيرة (LLM)، ويستخدم التحسين القائم على التدرج لمحاذاة الميزات المتناثرة مع نماذج أولية مستهدفة، مما يتيح تحكماً دقيقاً وقابلاً للتفسير في كل من قيود التخطيط المنطقي والفروق الأسلوبية الدقيقة مثل التعقيد المعرفي.
تقدم الورقة البحثية TIME، وهو تمثيل فيديو ذاتي الإشراف تم تدريبه حصرياً على بيانات حركة اصطناعية عبر مشفر تلقائي مقنع، والذي يحقق أداءً رائعاً في التعلم الصفري بما يصل إلى 10,000 مرة أقل من بيانات التدريب من خلال التغلب على قيود القابلية للتوسع والاعتماد على اللغة التي تعاني منها نماذج الفيديو الحالية.
تعيد هذه الورقة صياغة انهيار النموذج بوصفه ظاهرة انتقال ثقافي عبر تطبيق نظرية التعلم المتكرر لإثبات أن التدريب الذاتي غير المفلتر يسبب تدهوراً غير رتيب في التركيب اللغوي، وهو اكتشاف تم التحقق من صحته عبر نماذج ولغات متعددة ويقدم مبادئ ملموسة لتصميم مسارات تدريب ذاتي قوية.
تقدم هذه الورقة Orbax، وهي مكتبة نقاط تفتيش (checkpointing) موزعة، نمطية، وأصلية لـ JAX، تعمل على تجريد تعقيدات النظام وتقدم أداءً أسرع بكثير في عمليات الحفظ والتحميل مقارنة بمنافسيها من PyTorch.
تقدم هذه الورقة "عقد الإسناد"، وهو إطار مفاهيمي يحل حالات الغموض في إسناد الميزات للنماذج اللغوية التوليدية من خلال التعريف الصريح للمخرجات، والميزات المؤهلة، والعملية التوليدية، والشروط الثابتة، ودرجة النموذج، مما يعيد صياغة الخلافات حول الإسناد باعتبارها اختلافات في عقود تفسيرية بدلاً من كونها عيوباً خوارزمية.