22512 ورقة بحثية
تقدم هذه الورقة أول حدود كمية صارمة لـ "وقت الاستيعاب العميق" (grokking time) من خلال إثبات أن نماذج الانحدار الخطي ذات المعلمات الزائدة، والتي يتم تدريبها باستخدام التدرج المتناقص واضمحلال الوزن، تنتقل حتماً من الإفراط في التخصيص إلى التعميم المثالي، مما يوضح أن هذه الظاهرة هي نتيجة يمكن التحكم فيها لظروف التدريب وليست فشلاً متأصلاً في التعلم العميق.
تقترح الورقة البحثية Gap-K%، وهي طريقة مبتكرة للكشف عن بيانات ما قبل التدريب في النماذج اللغوية الكبيرة، والتي تستفيد من فجوة الاحتمال اللوغاريتمي بين التنبؤ الأول (top-1) والرمز المستهدف، بالاقتران مع استراتيجية النافذة المنزلقة، لتحقيق أداء رائد على مجموعات البيانات المرجعية.
تقدم الورقة البحثية نموذج ELECTRAFI، وهو نموذج سريع وقابل للاشتقاق يتنبأ بكثافات الشحنة الدورية في المواد البلورية من خلال الاستفادة من تحويلات فوريه ذات الصيغة المغلقة لغاوصات متباينة الخواص لتحقيق دقة تضاهف أحدث ما توصل إليه العلم مع سرعة استنتاج تصل إلى 633 مرة، مما يقلل بشكل كبير من التكلفة الحسابية الإجمالية لحسابات نظرية الكثافة الوظيفية (DFT).
تقترح هذه الورقة خوارزمية جدوى عشوائية ذات أحجام خطوة تكيفية للتحسين المقيد، تحقق تقارباً خطياً للأهداف المحدبة القوية والملساء ومعدل للأهداف المحدبة غير الملساء، مع ضمان الاضمحلال الهندسي لعدم الجدوى وإظهار كفاءة حوسبية فائقة في مسائل مثل البرمجة التربيعية المقيدة تربيعياً (QCQP)، وآلات ناقلات الدعم (SVM)، والانحدار اللوجستي العادل.
تُثبت هذه الورقة نتيجة استِحالة أقوى لتعلم المهام المتعددة، حيث تُبين أنه حتى مع توفر كميات هائلة من البيانات لكل مهمة، لا يمكن ضمان التكيف الأمثل دون الوصول إلى المعلومات التوزيعية.
تقدم الورقة البحثية SERA، وهي طريقة فعالة من حيث التكلفة تستخدم التوليد المتحقق منه بمرونة (Soft Verified Generation) لتدريب وكلاء برمجة مفتوحي المصدر متخصصة في قواعد الأكواد الخاصة عبر الضبط الدقيق الخاضع للإشراف، محققةً أداءً يضاهي النماذج الرائدة مفتوحة الأوزان بجزء ضئيل من تكلفة التعلم المعزز أو أساليب البيانات الاصطناعية السابقة.
تثبت هذه الورقة أنه بالنسبة للشبكات العصبية القابلة للتمييز، يمكن لأي دالة متماثلة (equivariant) من البداية إلى النهاية أن تتحقق من خلال تكوين للمعلمات تكون فيه الطبقات الفردية أيضاً متماثلة، مما يوفر تفسيراً رياضياً لظهور الهياكل المتماثلة أثناء التدريب.
تقدم الورقة البحثية StiefelAttention، وهي طريقة لضغط ذاكرة التخزين المؤقت (KV-cache) في مرحلة ما بعد التدريب، تتعلم قواعد إسقاط متعامدة عبر تقليل خطأ إعادة بناء مخرجات طبقة فك التشفير مباشرة على متنوغ ستيفل (Stiefel manifold)، متفوقة بشكل كبير على الأساليب القائمة على تحليل القيم المفردة (SVD) مثل EigenAttention من حيث الحيرة (perplexity) والدقة تحت ظروف الضغط المتساوي.
تحدد هذه الورقة تضخيم الخطأ باعتباره السبب الرئيسي لضعف الأداء في عملية تحويل الشبكات العصبية الاصطناعية إلى شبكات عصبية نبضية للتحكم المستمر، وتقترح آلية "التهيئة الإمكانية المتبقية عبر الخطوات المتقاطعة" (CRPI)، وهي آلية خفيفة الوزن تعمل على كبح الأخطاء المرتبطة زمنياً لاستعادة الأداء بشكل كبير.
تقترح الورقة البحثية "مجموعة القيم المفردة" (SVE)، وهي طريقة فعالة من حيث المعلمات لتقدير عدم اليقين المعرفي في النماذج التأسيسية عبر تدريب القيم المفردة فقط ضمن قاعدة مشتركة من المتجهات المفردة، محققةً معايرة تضاهي المجموعات القياسية بزيادة تقل عن 1% في المعلمات.