24831 ورقة بحثية
تقدم هذه الورقة LATMiX، وهي طريقة توظف تحويلات تآلفية عكسية قابلة للتعلم لتحسين توزيعات التنشيط من أجل التكميم المجهري (MX)، مما يحسن بشكل كبير من دقة النماذج اللغوية الكبيرة ذات البتات المنخفضة مقارنة بالأساليب القائمة على الدوران أو هادامارد.
تُثبت هذه الورقة أن "لعنة العمق"، حيث تساهم مجموعة فرعية فقط من الطبقات بشكل كبير في أداء المهمة بينما تقدم الطبقات الأخرى تحسيناً تدريجياً، هي عدم كفاءة واسعة الانتشار عبر بنيات نماذج لغة البروتين المتنوعة، بما في ذلك النماذج ذات التوليد الذاتي، والنماذج المقنعة، ونماذج الانتشار متعددة الوسائط.
تقدم الورقة البحثية "Math Takes Two"، وهو معيار مرجعي جديد مصمم لتقييم ما إذا كانت النماذج اللغوية قادرة على إظهار استنتاج رياضي ناشئ حقيقي من خلال تكليف وكيلين بتطوير بروتوكول رمزي مشترك لحل مشكلات قائمة على أسس بصرية من المبادئ الأولى.
تُظهر الورقة البحثية أنه بالنسبة لتوليد الكود البرمجي بنماذج تتراوح معلماتها بين 1 و3 مليارات، فإن دمج التغذية الراجعة من التنفيذ عبر حلقة تحسين ذاتي بسيطة يوفر مكاسب في الأداء أكبر بكثير من زيادة تعقيد خط الإنتاج أو البنية الطبوغرافية.
تقترح هذه الورقة نهجاً جديداً غير معلمي للكشف عن الشذوذ الشرطي باستخدام الدوال التوافقية الناعمة لتحديد الأحداث السريرية غير العادية، مثل الاختبارات المختبرية المفقودة، من خلال تقدير ثقة الملصق واستخدام التنظيم لمنع اكتشاف القيم المتطرفة المعزولة أو حالات الحدود.
تُعد MONET خوارزمية تحسين متعددة المهام جديدة تعمل على نمذجة فضاءات المهام كرسوم بيانية لتمكين نقل المعرفة بكفاءة من خلال مزيج من التعلم الاجتماعي بين المهام المتجاورة والتحسين الفردي عبر الطفرات، متفوقةً بذلك على الأساليب الحالية القائمة على MAP-Elites في مختلف المجالات واسعة النطاق.
تقترح هذه الورقة إطار عمل للكشف باستخدام محاكٍ قائم على الوكلاء ونموذج عصبي للتمييز بين سحب السيولة الميكانيكي ("الأسعار المتداعية") وإعادة تسعير المعلومات في سجلات أوامر الحد المحدودة الإلكترونية، مما يحقق تحسينات كبيرة في الأداء مقارنة بالطرق القائمة على القواعد.
تُظهر الورقة البحثية أن حساسية التلقين في النماذج اللغوية الكبيرة يمكن تفسيرها من خلال مستويات تنشيط "رؤوس المهام المعجمية" —وهي آليات داخلية مشتركة تمثل المهمة بغض النظر عما إذا كان التلقين يستخدم تعليمات أو أمثلة— وأن تباين الأداء ينبع من مدى قوة تحفيز هذه الرؤوس أو تخفيفها بواسطة التمثيلات المتنافسة.
تقترح الورقة لغة توصيف رسمي تسمى "عقود النواة" (Kernel Contracts) لتحديد وقياس والتحكيم في التباينات في سلوك نواة تعلم الآلة عبر منصات الأجهزة المختلفة من خلال توفير إطار عمل معياري لتحديد أخطاء الدقة، والترتيب، والذاكرة.
يقدم LTB-KAN بنية شبكة كولموغوروف-أرنولد (Kolmogorov-Arnold Network) مبتكرة تحقق تعقيداً زمنياً خطياً وتقليلاً في أعداد المعلمات من خلال استبدال حسابات B-spline المكثفة بنهج base-spline أكثر كفاءة واستخدام تحليل مصفوفة حاصل الضرب لمجموع العناصر (product-of-sums matrix factorization).