24235 ورقة بحثية
تقدم OrScale آلية لتقليص نسبة الثقة على مستوى الطبقات للتحسين المتعامد، والتي تقيس اتجاه التحديث الفعلي في فضاء المعلمات للتغلب على قيود هجينات Muon الحالية، مما يحقق ضمانات تقارب وأداءً تجريبيًا متفوقًا في كل من مهام تصنيف الصور وتدريب النماذج اللغوية الكبيرة.
تُظهر هذه الورقة البحثية قابلية التوسع لخرائط التدفق الفئوي (Categorical Flow Maps) من خلال تدريب نموذج بـ 1.7 مليار معلمة على 2.1 تريليون توكن لتوليد نصوص عالية الجودة في أربع خطوات فقط، مع وضع حد احتمالي للتقييم وتقديم رؤى رئيسية حول تحديات التدريب مثل وزن الخسارة وجدولة الوقت.
تقدم هذه الورقة DTSemNet، وهو إطار عمل مبتكر يمثل أشجار القرار المائلة الصلبة كشبكات عصبية قابلة للعكس لتمكين التدريب النهائي المباشر الدقيق والخالي من التقريب عبر التدرج القياسي، متفوقاً بذلك على الأساليب القابلة للتفاضل الحالية في كل من مهام التصنيف والانحدار.
تقدم الورقة البحثية شبكة PPI-Net، وهي شبكة عصبية رسومية هرمية تدمج شبكات التفاعل بين البروتينات مع التسلسلات الهرمية على مستوى المسارات للتنبؤ بدقة بحالات السرطان وتقديم رؤى ميكانيكية حول العمليات البيولوجية المسببة للمرض.
تقدم الورقة البحثية MatryoshkaLoRA، وهو إطار تدريب مبتكر يعزز الضبط الدقيق كفء المعلمات من خلال إدراج مصفوفة قياس قطرية ثابتة لتعلم تمثيلات منخفضة الرتبة هرمية ودقيقة، مما يتيح اختيار الرتبة ديناميكيًا مع تحقيق توازنات متفوقة بين الدقة والأداء مقارنة بالطرق الحالية.
تقدم هذه الورقة تحليلاً شاملاً وتصنيفاً جديداً للنماذج التوليدية الاتحادية (النماذج التوليدية التلقائية VAEs، وشبكات الخصومة التوليدية GANs، ونماذج الانتشار Diffusion Models) في الصيانة التنبؤية، كاشفةً عن مقايضات متميزة في المنفعة والاستقرار وتكاليف الاتصال، مع إثبات أن مشاركة المكونات الجزئية يمكن أن تفوق الاتحاد الكامل في البيئات الصناعية ذات النطاق الترددي المحدود وغير المتجانسة (non-IID).
تقترح الورقة البحثية vOPD، وهي طريقة تقطير مستقرة تعتمد على السياسة (On-Policy)، تعمل على تقليل تباين التدريب من خلال الاستفادة من تباين عكسي لـ KL لكل رمز (token) بصيغة مغلقة كمتغير تحكم مرجعي (control variate baseline)، محققةً أداءً يضاهي المراجع المرجعية باهظة التكلفة ذات المفردات الكاملة دون عبء إضافي عند الاستنتاج.
تكشف هذه الورقة أن الانحدار النواتي عبر الإنترنت يتعلم بطبيعته من أهداف مزاحة مقارنة بالانحدار دون اتصال، وتثبت أن تصحيح هذا الإزاحة الفعالة من خلال تعديل الهدف المستمد يسمح للتعلم عبر الإنترنت بمضاهاة أداء التعلم دون اتصال بشكل مثبت والتفوق على الطرق القياسية في سيناريوهات التعلم المستمر.
تقترح الورقة البحثية FedQuad، وهي طريقة جديدة للتعلم الاتحادي تستخدم الاختيار العشوائي للعملاء وتعلم المقياس القائم على الرباعيات لفرض تماسك داخل الفئة وتباعد بين الفئات، مما يؤدي إلى تحسين تعميم النموذج العالمي ومنع انهيار التمثيل في ظل توزيعات البيانات غير المتجانسة وغير المتوازنة.
تقترح هذه الورقة مخططاً للتنظيم التكيفي للمحسنات القائمة على "بريغمان" (Bregman) يقوم بتعديل معامل جزاء التناثر ديناميكياً لتحقيق أهداف التناثر المحددة من قبل المستخدم بشكل موثوق، مما يلغي الحاجة إلى الضبط المكلف للمعلمات الفائقة مع الحفاظ على أداء النموذج ومتانته أو تحسينهما.