11158 ورقة بحثية
تُثبت هذه الورقة أن تدريب نموذج انتباه معدل على مستوى التسمية (label-wise attention model) باستخدام مزيج من بيانات ICD-9 وICD-10 يحسن بشكل كبير من أداء التنبؤ برموز ICD-10، لا سيما بالنسبة للرموز النادرة، وذلك من خلال سد الفجوات بين الإصدارات ومعالجة مشكلة الذيل الطويل (long-tail problem) بعدد أقل من المعلمات.
تُثبت هذه الورقة أن الضبط الدقيق باستخدام تقنية QLoRA الموفرة للمعلمات يمكنه استيعاب معرفة الأدوات داخل النماذج اللغوية الصغيرة، مما يمكّنها من التفوق على النماذج المرجعية الأكبر والأكثر اعتماداً على الوصف في تخطيط الأدوات، مع تقليل عبء الاستدلال واستهلاك الرموز بشكل كبير.
تقيم هذه الدراسة بشكل منهجي ملاحظات سريرية اصطناعية بمقياس الملايين تمت إعادة صياغتها بواسطة النماذج اللغوية الكبيرة، كاشفةً أنه في حين أن إعادة الصياغة القائمة على التجزئة تحافظ على المعلومات الجوهرية وتساعد في تدريب الرموز النادرة، إلا أنها تنطوي على مخاطر فقدان التفاصيل الدقيقة وإدخال أخطاء واقعية بسبب سوء تفسير السياق والارتباك الزمني.
تقدم هذه الورقة SocialMemBench، وهو معيار شامل يثبت أن أنظمة ذاكرة الذكاء الاصطناعي الحالية تفشل بشكل كبير في بيئات المجموعات الاجتماعية متعددة الأطراف بسبب قيود هيكلية محددة مثل خلط الكيانات والخلط بين المعايير والفرد، مما يسلط الض الضوء على فجوة حرجة بين الأدوات الحالية واحتياجات المساعدين الاجتماعيين في المستقبل.
تقدم هذه الورقة مفهوم "تلوث الذاكرة الزمني" لتوضيح أن وكلاء النماذج اللغوية الكبيرة المزودين بالذاكرة يراكمون المخاطر الأمنية بمرور الوقت عبر مهام مستقلة، مما يستلزم التحول من تقييمات السلامة أحادية الحالة إلى تقييمات طولية.
تقدم الورقة البحثية PAREDA، وهي مجموعة بيانات صوتية جديدة متعددة اللهجات تتميز بنقاشات عفوية حول أوراق بحثية في مجال معالجة اللغات الطبيعية بين متحدثين بلهجات أسترالية، وهندية-إنجليزية، وصينية-إنجليزية، والتي تُظهر أنه بينما تعاني نماذج التعرف التلقائي على الكلام (ASR) الحديثة في إعدادات التعلم الصفري، فإن الضبط الدقيق على هذه المجموعة من البيانات المخصصة لهذا المجال يحسن أداءها ومتانتها بشكل كبير.
تقيم هذه الدراسة مدى قابلية نقل طريقة ضغط المطالبات LLMLingua-2 إلى نماذج الانتشار اللغوية الكبيرة (تحديداً LLaDA)، كاشفةً أنه في حين تظل مهام التلخيص قوية، فإن الاستدلال الرياضي يتدهور بشكل كبير بسبب حذف معلومات الاستدلال الحرجة، مما يشير إلى أن استراتيجيات الضغط التي تركز على النماذج ذات التوليد الذاتي لا تنطبق بشكل موحد على بنيات الانتشار.
تقدم هذه الورقة تقنية مبتكرة تجمع بين تصفية أجزاء الكلام والخسارة القائمة على الارتباك لتوليد محفزات عدائية عالمية طبيعية لغويًا لنماذج معالجة اللغات الطبيعية، مما يثبت فعاليتها في خفض دقة تحليل المشاعر بشكل جذري مع إظهار أن التدريب العدائي باستخدام هذه المحفزات يحسن بشكل كبير من متانة النموذج.
تقدم هذه الورقة BacktestBench، وهو أول معيار مرجعي واسع النطاق للاختبار الخلفي الكمي المؤتمت يضم أكثر من 18,000 مهمة مشروحة مستمدة من 6 ملايين سجل سوقي، إلى جانب AutoBacktest، وهو إطار عمل متعدد الوكلاء مصمم لترجمة الاستراتيجيات ذات اللغة الطبيعية إلى اختبارات خلفية قابلة للتكرار وتقييم قدرات 23 نموذجاً لغوياً كبيراً رائجاً.
تقدم هذه الورقة AutoVecCoder، وهو إطار عمل مبتكر يجمع بين مسار لتوليد البيانات (VecPrompt) ومنهجية للتعلم التعزيزي (VecRL) لتمكين النماذج اللغوية الكبيرة من توليد كود برمجي متجه بشكل صريح وعالي الأداء يتفوق على تحسينات المترجمات التقليدية.