22423 ورقة بحثية
تقدم هذه الورقة إطار عمل مبتكرًا يستخدم المشفرات التلقائية المتفرقة (Sparse Autoencoders) لتصور تطور الميزات عبر عمق الشبكة ووقت التدريب في نماذج المحولات الرؤية (Vision Transformers)، مما يكشف أن هجرة الميزات تتركز في مراحل مبكرة من التدريب، وتفضل الانتقال نحو الطبقات الأقل عمقًا، وأن الطبقات الأكثر عمقًا تستقر في وقت أبكر من الطبقات الأقل عمقًا.
تقدم هذه الورقة أول خوارزمية حتمية للحساب الجبري الدقيق لعتبات لوغاريتم الواقع المحلية (اللوغاريتمات التعلمية) للنماذج المفردة ثنائية الأبعاد، متجاوزةً بذلك قيود التقدير القائم على أخذ العينات للكشف عن البنى الجبرية الكامنة وتحسين دقة اختيار النماذج في سياقات مثل التعلم العميق.
تُثبت هذه الورقة أن المعلومات على مستوى الكلمات ذات المفردات المفتوحة يمكن فك تشفيرها بشكل موثوق من تخطيط كهربية الدماغ (EEG) غير الجراحي باستخدام أقطاب كهربائية جافة أثناء القراءة الصامتة، وذلك عبر إطار عمل ترميز وفك ترميز تبايني تم تدريبه على مجموعة بيانات ضخمة، مما يثبت أن أداء فك التشفير هذا محدود حالياً بحجم البيانات وليس بتشبع النموذج.
يُعد Daedalus-150M نموذجاً لغوياً صغيراً صُممت بنيته خصيصاً للاستنتاج الفعال على المعالجات المركزية (CPU) عبر استبدال ثلثي طبقات الانتباه بلفافات ثابتة العرض، مما يحقق سرعة وضغطاً فائقين في السياقات الطويلة مع التفوق على نماذج أكبر وأكثر كثافة في البيانات تم تدريبها على عدد أكبر بكثير من الرموز (tokens).
تقترح هذه الورقة إطار عمل للتعلم بنقل المعرفة يتكون من مرحلتين للانحدار غير المعلمي باستخدام شبكات ReLU العميقة التي تجمع البيانات لتقدير بنية مشتركة ثم تتعلم إزاحات خاصة بكل مجموعة، محققةً معدلات تقارب مثالية تتغلب على لعنة الأبعاد في ظل نماذج التركيب الهرمي.
تقترح الورقة البحثية إطار عمل "تقسيم المركز المعتمد على البيانات" (DICS)، وهو إطار عمل قائم على التجميع يعمل على تسريع تدريب أشجار القرار بشكل كبير من خلال استخدام أولويات مدفوعة بالبيانات لتقليل مساحة البحث عن التقسيم مع الحفاظ على دقة تنبؤية مماثلة وتقديم ضمانات أداء نظرية.
تستخدم هذه الورقة خوارزمية +PCMCI على تسجيلات اختبار نوم منزلي لاستكشاف الرسوم البيانية السببية الديناميكية لتنفس النوم المضطرب، مما يكشف أنه بينما تستمر علاقات الاعتماد الذاتي الزمني الجوهرية وعلاقات انقطاع النفس وانخفاض الأكسجين عبر جميع الفئات السكانية، فإن الهياكل السببية الأخرى تتباين بشكل كبير حسب الجنس والعمر.
تقدم هذه الورقة إطار عمل مدركاً للدقة لبناء مجموعات ثقة ذات دعم فيزيائي في القواميس عالية التماسك من خلال المحاسبة المشتركة عن عدم اليقين في القاموس والتمثيل، وتتميز بخوارزمية حصر النقاط الطرفية النشطة (AEB) التكيفية التي تمنع الدقة المفرطة غير المدعومة فيزيائياً مع تحسين الكفاءة الحسابية.
تقدم الورقة البحثية AI4AI-Bench، وهو معيار مرجعي جديد يتكون من 10 مستودعات بحثية ثابتة يقيم قدرة وكلاء النماذج اللغوية الكبيرة على تصميم وإعادة كتابة خوارزميات التدريب من أجل التحسين الذاتي المتكرر، كاشفاً أن أكثر الأنظمة تقدماً في الوقت الحالي تحقق أقل من ربع مكاسب الأداء المحتملة بين الخوارزميات الحالية والحدود المثلى النظرية.
تقترح هذه الورقة البحثية Graph2Par، وهو نهج تعلم قائم على الرسوم البيانية (graph-based) يستخدم تمثيلاً معززاً وغير متجانس لشجرة الإعراب المجردة (AST) ومجموعة بيانات OMP_Serial التي تم إنشاؤها حديثاً لتحقيق دقة بنسبة 85% في اكتشاف حلقات OpenMP القابلة للتوازي، متفوقة بذلك على الأساليب المعتمدة على الرموز (token-based) المتقدمة حالياً.