11750 ورقة بحثية
تحدد هذه الورقة "مشكلة تراكم الضجيج المتراكب" كسبب في انخفاض معدلات النجاح في التحرير المتسلسل للمعرفة في النماذج اللغوية الكبيرة، وتقترح DeltaEdit، وهي طريقة تستخدم قيوداً متعامدة ديناميكية للتخفيف من صراعات المعرفة وتحسين أداء التحرير بشكل كبير.
تقدم هذه الورقة "SlowFast Sampling"، وهي استراتيجية ديناميكية تسترشد بثلاثة مبادئ ذهبية تتنقل تكيفياً بين فك التشفير الاستكشافي والمتسارع لتسريع النماذج اللغوية القائمة على الانتشار بشكل كبير، محققةً تسريعاً يصل إلى 34.22 ضعفاً مع حد أدنى من فقدان الدقة، مع التفوق على النماذج المرجعية ذات التوليد الذاتي في معدل الإنتاجية.
تقدم الورقة البحثية QuestA، وهي استراتيجية للتعلم التعزيزي تعمل على تعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة من خلال تعزيز أسئلة التدريب بحلول جزئية، محققةً بذلك نتائج جديدة هي الأفضل في فئتها على معايير الاختبار الرياضية الصعبة حتى مع نماذج ذات 1.5 مليار معلمة.
تقدم هذه الورقة SecureVibeBench، وهو معيار مرجعي واقعي مستمد من 41 مشروعًا من مشاريع OSS-Fuzz لتقييم وكلاء الكود البرمجي في البرمجة الآمنة بلغتي C/C++، كاشفةً أن حتى الوكلاء الأعلى أداءً لا يحققون سوى معدل نجاح قدره 23.8% في توليد كود صحيح وآمن في آن واحد.
على عكس الادعاءات السابقة، تُظهر هذه الدراسة أن نموذج GPT-2 يفشل في التمييز بشكل منهجي بين اللغات الطبيعية واللغات "المستحيلة"، حيث يتعلم كلتيهما بنفس السهولة ولا يُظهر أي انحياز فطري نحو البنى اللغوية الممكنة بشرياً.
تقدم الورقة البحثية "حبيبي" (Habibi)، وهو إطار عمل مفتوح المصدر وموحد لتحويل النص إلى كلام باللهجات العربية، يستفيد من إعادة توظيف مجموعات بيانات التعرف الآلي على الكلام (ASR) والتعلم المنهجي لتوليد أكثر من 12 لهجة بأداء يضاهي النماذج التجارية، مع إصدار أول معيار مرجعي موحد متعدد اللهجات للنطق الآلي للنصوص العربية وكافة الأكواد والبيانات المرتبطة بها.
تقترح هذه الورقة بنية تفصل بين فهم العالم وتوليد اللغة من خلال ربط نموذج مجال قائم على الطاقة بنموذج لغوي مجمد، مما يثبت أن هذا الفصل يمكّن النماذج اللغوية الكبيرة الصغيرة من تحقيق توليد نصوص متماسك، وقابل للتحكم، ومتسق دلالياً في مجال مراجعات المستهلكين.
تتقصى هذه الورقة البحثية الانتقال عبر اللغات في نماذج اللغة العربية بين اللغة العربية الفصحى ولهجاتها، كاشفةً أنه في حين أن هذا الانتقال ممكن، إلا أنه يعتمد على التوزيع الجغرافي ويتأثر بالتداخل السلبي عندما يتم تدريب النماذج على جميع اللهجات في آن واحد.
إن Spark-LLM-Eval هو إطار عمل مفتوح المصدر وموزع مبني على Apache Spark، يتيح تقييماً واسع النطاق ودقيقاً إحصائياً للنماذج اللغوية الكبيرة من خلال الجمع بين المعالجة المتوازية للبيانات، والتخزين المؤقت القائم على العنونة بالمحتوى لرفع كفاءة التكلفة، والأساليب الإحصائية القوية مثل فترات الثقة بطريقة البوتستراب واختبارات الدلالة.
تقدم الورقة البحثية ULTRAG، وهو إطار عمل عالمي وقابل للتوسع يعزز الإجابة على أسئلة الرسوم البيانية للمعرفة من خلال تمكين النماذج اللغوية الكبيرة سابقة التدريب من تحقيق أداء رائد في مهام الاستدلال متعدد الخطوات المعقدة باستخدام منفذات استعلام عصبية جاهزة دون الحاجة إلى أي إعادة تدريب، كل ذلك مع التعامل بكفاءة مع رسوم بيانية بمقياس ويكيداتا بتكاليف أقل.