12021 ورقة بحثية
تقدم هذه الورقة HyWIA، وهي طريقة تقليم هيكلي تكيفية جديدة للنماذج اللغوية الكبيرة تستفيد من آلية الانتباه لدمج تقييمات أهمية الأوزان دقيقة الحبيبات وخشنة الحبيبات، مما يتفوق بشكل كبير على الأساليب الحالية في الحفاظ على الدقة عبر مختلف المعايير.
تقترح هذه الورقة مساراً عاماً لتنظيف الرموز (tokens) لعملية الضبط الدقيق الخاضع للإشراف للنماذج اللغوية الكبيرة، يقوم بتصفية الرموز غير المفيدة بناءً على تأثيرها على تحديثات النموذج، مما يؤدي إلى تحسين الأداء في المهام اللاحقة من خلال إعطاء الأولوية لجودة البيانات على كميتها على مستوى الرمز.
تقدم هذه الورقة "BiasCause"، وهو إطار عمل ومعيار يتكون من 1,788 سؤالاً تم التحقق منها يدوياً، صُممت لتقييم كيفية توظيف النماذج اللغوية الكبيرة للاستدلال السببي عند معالجة الانحيازات الاجتماعية، مما يكشف أن النماذج تظهر في كثير من الأحيان استدلالاً منحازاً أو "منحازاً خاطئاً"، مع تحديد استراتيجيات محددة تستخدمها لتجنب مثل هذه الانحيازات.
تقدم هذه الورقة البحثية نموذج QCSE، وهو نموذج لتمثيل الكلمات حساس للسياق كمي مدرب مسبقاً يستخدم طرقاً مبتكرة لحساب مصفوفة السياق لالتقاط العلاقات اللغوية، ويُظهر فاعليته في كل من مجموعات البيانات باللغة الإنجليزية ولغة الفولاني ذات الموارد المنخفضة، مما يسلط الضوء على إمكانات معالجة اللغات الطبيعية الكمية في مواجهة تحديات ندرة البيانات.
تقترح هذه الورقة نهجاً غير خاضع للإشراف باستخدام التنبؤ المطابق لقياس انحياز النماذج اللغوية في الإشراف على المحتوى من خلال تحليل عدم اليقين في التنبؤ للمجموعات المستضعفة، مما يكشف أن الدقة العالية لا تعني بالضرورة ثقة عالية، وبالتالي يقدم مقياساً جديداً لتوجيه عملية إزالة الانحياز في النماذج.
تقترح الورقة البحثية SAGE، وهو إطار عمل جديد لمحاكاة المستخدم لتقييم الوكلاء متعددي الأدوار يدمج بين منطق الأعمال من الأعلى إلى الأسفل ومعرفة البنية التحتية من الأسفل إلى الأعلى لتوليد تفاعلات واقعية ومتنوعة قادرة على تحديد أخطاء الوكلاء بشكل أكبر بكثير من الطرق الحالية.
تقدم هذه الورقة مجموعة بيانات "EuroParl" جديدة متعددة المسارات بـ 21 مساراً لتقييم الانحياز السياسي في النماذج اللغوية الكبيرة متعددة اللغات، وذلك من خلال إثبات أن جودة الترجمة تحابي بشكل منهجي الأحزاب الأغلبية على حساب المجموعات الخارجية، مما يقدم بديلاً قائماً على العدالة لطرق الاستطلاع التقليدية باللغة الإنجليزية.
يُعد KVTC مشفر تحويل خفيف الوزن ومستقل عن النموذج، يحقق ضغطاً يصل إلى 20 ضعفاً (أو أكثر) لذاكرة التخزين المؤقت للمفاتيح والقيم (Key-Value caches) لنماذج اللغات الكبيرة من خلال الجمع بين إلغاء الارتباط القائم على تحليل المكونات الرئيسية (PCA)، والكمية التكيفية، وترميز الإنتروبيا، مما يتيح تقديم الخدمة بكفاءة في استهلاك الذاكرة مع استخدام ذاكرة تخزين مؤقت قابلة لإعادة الاستخدام مع الحفاظ على دقة الاستنتاج والسياق الطويل.
تقدم هذه الورقة إطار عمل LALITA، الذي يعمل على تنسيق مجموعات نصوص متوازية فعالة للترجمة الآلية منخفضة الموارد من خلال اختيار الجمل المصدرية المعقدة بناءً على السمات المعجمية واللغوية، مما يحسن جودة الترجمة بشكل كبير مع تقليل متطلبات البيانات بأكثر من النصف.
تقدم هذه الورقة EverMemBench، وهو أول معيار مصمم لتقييم الذاكرة طويلة المدى في الحوارات التعاونية متعددة الأطراف، والذي يكشف أن أنظمة النماذج اللغوية الكبيرة الحالية تعاني من صعوبات في الاستدلال متعدد الخطوات، والنسخ الزمني، واسترجاع الصلة الضمنية في سيناريوهات التفاعل الواقعية والمعقدة.