24832 ورقة بحثية
تبحث هذه الورقة في استخدام الـ TopK والـ Ordered Sparse Autoencoders (SAEs) لتفسير وتوجيه نماذج لغة الأجسام المضادة ذات التوليد الذاتي، حيث وجدت أنه بينما تعد الـ TopK SAEs أفضل في رسم خرائط المفاهيم البيولوجية، فإن الـ Ordered SAEs أكثر فعالية في التوجيه التوليدي الدقيق.
تُعد TS-Arena منصة تنبؤ حية تعالج مشكلة تلوث مجموعة بيانات الاختبار في نماذج التأسيس للسلاسل الزمنية من خلال فرض بروتوكول تسجيل مسبق صارم حيث تُقدم التنبؤات قبل وجود البيانات الحقيقية، مما يتيح تقييماً قوياً لقدرات التعميم على البيانات المستقبلية في الوقت الفعلي.
تقيم هذه الورقة مدى فعالية استخدام النماذج اللغوية الكبيرة (LLMs) كمقيمين لمدى الصلة في استرجاع المعلومات من خلال مقارنة قدرتها على تسليط الضوء على مقاطع محددة ذات صلة مقابل المعايير البشرية، لتخلص في النهاية إلى أنه على الرغم من كون النماذج اللغوية الكبيرة أدوات واعدة لتقليل عبء العمل البشري، إلا أنها لا تستطيع بعد استبدال المقيمين البشر بشكل كامل.
تُعد jBOT طريقة للتدريب المسبق عبر التقطير الذاتي لبيانات نفاثات مصادم الهادرونات الكبير (LHC)، حيث تتعلم التمثيلات الدلالية من خلال الجمع بين التقطير على مستوى الجسيمات محلياً وعلى مستوى النفاثة كلياً، مما يُمكّن من ظهور تكتل فئوي يحسن الأداء في مهام اكتشاف الشذوذ والتصنيف اللاحقة.
تقترح الورقة البحثية إطار عمل المحاذاة الكامنة المشروطة بالمهمة (TCLA)، والذي يستفيد من المشفّر التلقائي لمحاذاة التمثيلات العصبية من جلسات المصدر الغنية بالبيانات مع جلسات الهدف محدودة البيانات، مما يؤدي إلى تحسين أداء فك التشفير العصدي عبر الجلسات بشكل كبير في مهام المكاك الحركية والعيونية.
تقترح هذه المساهمة إطار عمل للتعلم التلوي المنظم الذي يعزز القدرة على التعميم والكفاءة الحسابية في أنظمة المجموعات العميقة من خلال الجمع بين إلغاء التكرار الواعي بالوفرة، وتعزيز الميزات الإحصائية، والنماذج التلوية المنظمة والمتحقق منها عبر التحقق المتقاطع لتحقيق أداء تنبؤي فائق مع تقليل وقت التشغيل وتحسين تكييف المصفوفات.
تقدم هذه الورقة LATMiX، وهي طريقة توظف تحويلات تآلفية عكسية قابلة للتعلم لتحسين توزيعات التنشيط من أجل التكميم المجهري (MX)، مما يحسن بشكل كبير من دقة النماذج اللغوية الكبيرة ذات البتات المنخفضة مقارنة بالأساليب القائمة على الدوران أو هادامارد.
تُثبت هذه الورقة أن "لعنة العمق"، حيث تساهم مجموعة فرعية فقط من الطبقات بشكل كبير في أداء المهمة بينما تقدم الطبقات الأخرى تحسيناً تدريجياً، هي عدم كفاءة واسعة الانتشار عبر بنيات نماذج لغة البروتين المتنوعة، بما في ذلك النماذج ذات التوليد الذاتي، والنماذج المقنعة، ونماذج الانتشار متعددة الوسائط.
تقدم الورقة البحثية "Math Takes Two"، وهو معيار مرجعي جديد مصمم لتقييم ما إذا كانت النماذج اللغوية قادرة على إظهار استنتاج رياضي ناشئ حقيقي من خلال تكليف وكيلين بتطوير بروتوكول رمزي مشترك لحل مشكلات قائمة على أسس بصرية من المبادئ الأولى.
تُظهر الورقة البحثية أنه بالنسبة لتوليد الكود البرمجي بنماذج تتراوح معلماتها بين 1 و3 مليارات، فإن دمج التغذية الراجعة من التنفيذ عبر حلقة تحسين ذاتي بسيطة يوفر مكاسب في الأداء أكبر بكثير من زيادة تعقيد خط الإنتاج أو البنية الطبوغرافية.