24717 ورقة بحثية
تُظهر الورقة البحثية أنه بالنسبة لمعظم دوال التنشيط الشائعة (مثل ReGLU وSwiGLU وGELU) وتوزيعات الأوزان العامة، لا يمكن استيعاب الوصلة التخطي (skip connection) ضمن طبقة MLP خالية من المتبقي (residual-free) وبنفس العرض، مما يعني أن البنى ذات الوصلات التخطي والبنى الخالية من المتبقي تمثل فئات دالية مختلفة جوهرياً.
يقدم OptProver مسار تدريب مستمر يُمكّن مبرهنة أولمبية المستوى من نقل قدراتها الاستدلالية بنجاح إلى مجال التحسين في مرحلة البكالوريوس من خلال بيانات منسقة من قبل خبراء وهدف تعلم تفضيلات متخصص.
تقدم هذه الورقة "شبه التكافؤ" (quasi-equivariance)، وهو إطار عمل مبتكر للشبكات الفائقة (metanetworks) يتجاوز القيود الصارمة للتكافؤ المطلق ليعمل بشكل أفضل على احترام التناظرات الهيكلية والهوية الوظيفية مع الحفاظ على قدرة تعبيرية تمثيلية عالية عبر مختلف البنيات العصبية.
تستقصي هذه الورقة ما إذا كانت النماذج المتخصصة حسب العمر تحسن التنبؤ بنقص سكر الدم لدى مرضى السكري من النوع الأول باستخدام بيانات مراقبة الجلوكوز المستمرة، ووجدت أنه في حين تستفيد نماذج الفئات العمرية المحددة من الأطفال تحديداً، فإن النموذج القائم على السكان ككل يؤدي بشكل مماثل أو متفوق عبر معظم الفئات العمرية بسبب تشابه أنماط نقص سكر الدم على المدى القصير.
تقترح هذه الورقة إطاراً نظرياً يسمى التدفق المتغير القائم على الدرجة (SVFlow) يوحد بنية المحول (Transformer) من خلال إثبات أن مكوناته —بما في ذلك الانتباه متعدد الرؤوس، وخلية Mixture of Experts/FFN، والتبقي-التطبيع— يمكن اعتبارها عملية تقريب "أويلر" لنظام ديناميكي مستمر الزمن.
تُظهر الورقة البحثية أن مسار (SFT-then-RL) القياسي يتفوق في الواقع على أساليب السياسة المختلطة الحديثة، مما يكشف أن الادعاءات السابقة بخلاف ذلك كانت مبنية على خطوط أساس معيبة ناتجة عن أخطاء برمجية محددة في DeepSpeed وOpenRLHF.
تتقصى هذه الورقة مدى عدالة وشفافية نماذج الرؤية واللغة (VLMs) في تقييم الصحة النفسية، كاشفةً أنه بينما يمكن للتدخلات القائمة على القابلية للتفسير أن تحسن الاتساق الإجرائي، إلا أنها غالباً ما تفشل في ضمان نتائج عادلة بل ويمكن أن تؤدي حتى إلى تفاقم التحيزات الديموغرافية.
تقترح هذه الورقة تقنية إعادة بارامترية معممة للمشفرات التلقائية التباينية (VAEs) تتيح التدريب على فضاءات كامنة ذات طوبولوجيا غير بديهية من خلال استخدام الخرائط المغطية لجعل تباعد كولباك - ليبلر (KL-divergence) قابلاً للحل تحليلياً، وهو ما تم إثباته من خلال بناء "KleinVAE" ذي فضاء كامن على شكل زجاجة كلاين.
تقترح هذه الورقة البحثية "انتشار التوازن المتماثل"، وهي طريقة تدريب محلية وفعالة في استهلاك الطاقة تسمح للركائز التناظرية بتدريب نماذج الانتشار مباشرة على الرقاقة، محققةً ميزة طاقة متوقعة تتراوح بين إلى ضعف مقارنة بوحدات معالجة الرسومات من خلال استخدام التنبيه المتماثل لتقليل انحياز التدرج.
تتقصى الورقة البحثية ظاهرة "الانهيار الاستدلالي" في النماذج اللغوية الكبيرة الرائدة، حيث وجدت أن هذه النماذج، عند تقديم نصائح استثمارية، تعتمد بشكل منهجي ومفرط على عامل واحد (القدرة على تحمل المخاطر) مع تجاهل المعلومات السياقية الأخرى بالغة الأهمية، وهي مشكلة تستمر رغم زيادة حجم النموذج أو تعزيزه بالبحث عبر الويب.