23700 ورقة بحثية
تثبت هذه الورقة نظرياً أن نماذج "ترانسفورمر" (Transformers) أحادية الطبقة وثنائية الرؤوس يمكنها تعلم دالات "إكس أور" (XOR) المتفرقة باستخدام معاملات لوغاريتمية متعددة فقط، مما يتغلب على عقبة المعاملات الخطية في الشبكات العصبية ذات التغذية الأمامية عبر الاستفادة من آلية "softmax attention" الدقيقة للاكتشاف السريع للميزات والتعميم القوي.
تقترح هذه الورقة نموذجاً إحصائياً هرمياً يستفيد من توليدات متعددة لمعالجة تباين أخذ العينات في تقييم النماذج اللغوية الكبيرة، مما يؤدي إلى تحسين دقة الدرجات، وتمكين تحليل دقيق لصعوبة مستوى المطالبة، وتسهيل ضبط جودة المعايير من خلال تصور البيانات.
تتقصى هذه الورقة تحديات صياغة الأوامر (prompting) من خلال تأطيرها كعملية بحث عن تسلسلات التكييف المثلى في متنبئات التسلسل، كاشفةً من خلال تجارب منضبطة وتحليل للنماذج الرائدة أن الأوامر المثلى غالباً ما تكون غير بديهية، ويصعب تحديدها حتى مع البحث الشامل، وغالباً ما تكون دون المستوى الأمثل عند استخدام الطرق القياسية القائمة على الأمثلة.
مستلهماً من نهج "Rainbow" لخوارزمية "DQN"، تقدم هذه الورقة "Simulus"، وهو وكيل نموذج عالم معياري يجمع بين مرونة التجزئة (tokenization)، والتحفيز الجوهري، وإعادة التشغيل ذات الأولوية، والتحويل من الانحدار إلى التصنيف لتحقيق كفاءة عينة هي الأفضل في فئتها عبر مختلف معايير التعلم المعزز البصرية، والمستمرة، والرمزية.
تؤسس هذه الورقة لأساس نظري لتكميم ذاكرة التخزين المؤقت (KV-cache) متعدد الدقة في النماذج اللغوية الكبيرة من خلال إثبات أن إعطاء الأولوية لدقة أعلى للمفاتيح (keys) على القيم (values) يقلل بصرامة من خطأ التكميم ويحافظ على الدقة، مما يحول تخصيص البتات من ضبط تجريبي إلى مبدأ تصميم مدفوع بالهندسة.
تقدم هذه الورقة خوارزمية المحاذاة الهيكلية وقت الاختبار (TSA)، وهي خوارزمية مبتكرة تعزز التكيف مع الرسوم البيانية وقت الاختبار من خلال محاذاة هياكل الرسوم البيانية ديناميكيًا أثناء الاستدلال عبر التوزين الواعي بعدم اليقين، والموازنة التكيفية للتمثيل، وتحسين حدود القرار، مما يحسن متانة النموذج ضد انزياحات التوزيع دون الحاجة إلى إعادة التدريب.
تقدم هذه الورقة FinTSB، وهو معيار مرجعي شامل وعملي للتنبؤ بالسلاسل الزمنية المالية صُمم للتغلب على قيود التقييم الحالية من خلال معالجة فجوات تنوع البيانات، وتوحيد بروتوكولات التقييم، ودمج قيود السوق الواقعية لتمكين مقارنة واختيار النماذج بشكل أكثر موثوقية.
تقدم هذه الورقة شبكة عصبية رسومية للأحداث مسرعة عتاديًا تم تنفيذها على نظام على شريحة (SoC FPGA) تستفيد من نموذج حلزوني أذني اصطناعي لتحويل البيانات السلاسل الزمنية إلى أحداث متفرقة، محققةً تصنيفًا عالي الدقة ومنخفض التأخير مع تقليل عدد المعلمات والموارد الحسابية بشكل كبير مقارنة بالنماذج الرائدة.
تقدم هذه الورقة LLM-FE، وهو إطار عمل مبتكر يجمع بين البحث التطوري والنماذج اللغوية الكبيرة لاكتشاف برامج تحويل الميزات الفعالة للبيانات الجدولية بشكل تكراري، متفوقاً بذلك على أساليب هندسة الميزات المؤتمتة الحالية من خلال الاستفادة بشكل أفضل من المعرفة بالمجال والتغذية الراجعة المستندة إلى البيانات.
تستخدم هذه الورقة النماذج اللغوية الكبيرة ونمذجة المواضيع لتحليل بيانات واسعة النطاق من المنصات المتطرفة، مما يثبت أن النماذج اللغوية الكبيرة يمكنها تحديد الشتائم الإسلاموفوبية شبه المشفرة بفعالية، بينما تكشف في الوقت ذاته أن خطاب الكراهية هذا منتشر عبر حركات سياسية متنوعة وغالباً ما يحصل على درجات سمية أعلى من أشكال خطاب الكراهية الأخرى.