24135 ورقة بحثية
تقدم هذه الورقة وحدة ما بعد التكرار (PRM)، وهي طبقة مبتكرة مدمجة في الشبكات العصبية المتكررة تعمل على تحسين أداء واجهة الدماغ والحاسوب القائمة على موجة P300 بنسبة 9% مع توفير قابلية تفسير مزدوجة عالمية ومحلية لمواءمة قرارات النموذج مع الأنماط الفسيولوجية العصبية الراسخة.
تقدم هذه الورقة البحثية "المحول متسق الطور" (Phase-Coherent Transformer - PCT)، وهو بنية مبتكرة تستبدل آلية الانتباه "softmax" القياسية بآلية بوابات سلسة ومستقلة عن العناصر على تشابهات مركبة معيرة بمعيار L2 للحفاظ على معلومات الطور، مما يحقق تعميماً وأداءً فائقين عبر مختلف المهام طويلة المدى وذات القيم المركبة مقارنة بالنماذج المرجعية ذات القيم الحقيقية والنماذج المرجعية ذات القيم المركبة الحالية.
تقترح الورقة البحثية خوارزمية PFN-TS، وهي خوارزمية عينات طومسون التي تستفيد من الشبكات الملائمة للبيانات المسبقة لتقريب التوزيعات البعدية البايزية في تمريرة أمامية واحدة عبر تحويل التوزيعات التنبؤية المشوبة بالضجيج إلى عينات مكافأة متوسطة باستخدام نظرية الحد المركزي لعينات فرعية، محققةً بذلك أداءً تجريبياً قوياً وحدود ندم نظرية عبر مختلف معايير الاختبار الخاصة بمتطلبات السياق (contextual bandit).
تُعد jNO مكتبة موحدة أصلية في JAX تعمل على تبسيط تدريب المشغلات العصبية والنماذج التأسيسية من خلال دمج النهج القائم على البيانات والنهج المستند إلى الفيزياء في نظام تتبع رمزي واحد، مما يتيح انتقالات سلسة بين انحدار المشغل، وتقييم المتبقي المدرك للشبكة، والتحسين المقيد بالمعادلات التفاضلية الجزئية دون الحاجة إلى إعادة هيكلة الكود.
تقدم هذه الورقة OUIDecay، وهو مجدول تضاؤل أوزان تكيفي للشبكات العصبونية الالتفافية (CNNs) يقوم بتعديل قوة التنظيم الخاصة بكل طبقة ديناميكياً عبر الإنترنت باستخدام مؤشرات الإفراط في التخصيص ونقص التخصيص القائمة على التنشيط، محققاً أداءً فائقاً في التحقق عبر بنيات ومجموعات بيانات متعددة دون الحاجة إلى بيانات التحقق.
تقترح هذه الورقة طريقة لتعلم مخططات بيانية موجهة (DAGs) سببية منخفضة الأبعاد من نماذج خطية غير غاوسية عالية الأبعاد ذات دورات، مبرهنةً على أن مثل هذه الملخصات قابلة للتمييز، وثابتة عبر فئات التكافؤ الرصدي، وقابلة للحوسبة في زمن تكعيبي مع حدود صريحة للتعقيد العيني.
تتناول هذه الورقة نقص طرق نقل المعلمات الفائقة للذاكرة الترابطية الكثيفة من خلال اشتقاق وصفات نظرية صريحة لنجاح توسيع نطاق المعلمات الفائقة من النماذج الصغيرة إلى النماذج الكبيرة، وهي مهمة تزداد تعقيداً بسبب الأوزان المشتركة ودوال التنشيط الفريدة، وتتحقق من هذه النتائج عبر توافق تجريبي قوي.
تقترح الورقة البحثية طريقة "الحد الأدنى من التباين المتساوي في الخسارة" (LE-SAM)، وهي طريقة تحسين مبتكرة تستبدل نصف قطر فضاء المعلمات الثابت في "التقليل من الحد الأدنى للحدة" (SAM) بميزانية ثابتة في فضاء الخسارة، وذلك لتعزيز المواءمة مع الطبيعة القائمة على الانحناء للحدود الدنيا المسطحة، مما يحقق أداءً في التعميم هو الأفضل حالياً عبر مختلف المعايير المرجعية.
تقترح الورقة البحثية TRACE، وهي طريقة تقطير ذاتي موجهة بالرموز (token-routed self-distillation) تطبق تباعد كولباك - ليبلر (KL divergence) بشكل انتقائي على الأجزاء الحرجة المحددة من قبل المقيّم أثناء التعلم المعزز بمكافآت قابلة للتحقق، مما يقلل من هدر التدرج وتسرب المعلومات المميزة لتحسين الاستدلال الرياضي طويل المدى والتعميم خارج نطاق التوزيع بشكل كبير مقارنة بنماذج GRPO القياسية ونماذج التقطير الذاتي للاستجابة الكاملة.
تقترح الورقة البحثية SPACE، وهي طريقة فعالة من حيث استهلاك الذاكرة تعمل على استحثاث التناثر بشكل تكراري في معاملات الانتباه المتقاطع لمحو مفاهيم محددة بفعالية من نماذج الانتشار واسعة النطاق مع الحفاظ على المتانة ضد المطالبات العدائية.