12021 ورقة بحثية
تقدم هذه الورقة CREATE، وهو معيار مرجعي مبتكر صُمم لتقييم الإبداع الترابطي للنماذج اللغوية الكبيرة من خلال قياس قدرتها على توليد روابط مفاهيمية متنوعة ومحددة، مما يكشف أنه بينما تتفوق النماذج الرائدة على غيرها، فإن استراتيجيات التفكير والتحفيز الحالية لا تقدم سوى تحسينات محدودة في هذه المهمة المعقدة.
تقترح هذه المراجعة نموذجاً تكاملياً لفهم اللغة يفسر كيفية نشوء تأثيرات المتحدث من خلال التفاعل الديناميكي بين الإدراك الصوتي التصاعدي والتوقعات الاجتماعية التنازلية، مع التمييز بين الألفة الفردية والتحيزات الديموغرافية، وتسليط الضوء على صلة النموذج بفهم تطور اللغة والتفاعل بين الإنسان والذكاء الاصطิناعي.
تتقصى هذه الورقة تأثير انهيار التضمين (embedding collapse) في ضبط المطالبات (Prompt-Tuning) من خلال تقديم أولويات التضمين (embedding priors)، كاشفةً أن النماذج يمكنها استخدام التضمينات بفعالية من مناطق تنشيط متنوعة، وأن مجموعات تنشيط متميزة توجد لأنواع مهام مختلفة، مما يشير إلى أن الاحتمالات اللاحقة القابلة للتحكم (controllable posteriors) يمكن أن تعزز القابلية للتفسير وتعمل كأساس لمهام مثل استخلاص سلسلة الأفكار (chain-of-thought distillation).
تقترح هذه الورقة إطار عمل تجميعي يعتمد على نموذج واحد وقائم على لغة وسيطة، يقوم بتوليد مرشحات ترجمة متنوعة عبر لغات وسيطة وتجميع الأفضل منها لتحسين جودة الترجمة للأزواج اللغوية ذات الموارد المنخفضة مع تجنب التكاليف الحسابية العالية لعمليات التجميع التقليدية متعددة النماذج.
تُثبت هذه الورقة أن دمج التكيف منخفض الرتبة (LoRA) في التعلم الاتحادي للنماذج اللغوية الكبيرة يقلل بشكل كبير من الحفظ غير المقصود لبيانات التدريب الحساسة عبر مختلف أحجام النماذج والمجالات، مع الحفاظ على الأداء وتوفير التوافق مع التقنيات الأخرى الحافظة للخصوصية.
تقترح الورقة البحثية LaVCa، وهو نهج جديد قائم على البيانات يستفيد من النماذج اللغوية الكبيرة لتوليد أوصاف باللغة الطبيعية للصور، مما يوفر تفسيرات أكثر دقة وتفصيلاً لانتقائية الفوكسل في القشرة البصرية البشرية ويكشف عن تمايز وظيفي دقيق داخل القشرة البصرية مقارنة بالطرق الحالية القائمة على الشبكات العصبية العميقة.
تقترح هذه الورقة إطار عمل "التجميع بناءً على الصعوبة" (COD) الذي يجمع المهام حسب سمات توسع صعوبتها للتنبؤ بأداء النماذج اللغوية الكبيرة (LLM) في المهام اللاحقة بدقة عالية (نسبة خطأ 1.55%)، مما يعالج بفعالية تحديات مثل القدرات الناشئة وأنماط التوسع غير المتسقة.
تكشف هذه الورقة أنه بينما تبالغ النماذج اللغوية الكبيرة في تمثيل الشخصيات النسائية بسبب الضبط الدقيق، إلا أنها، ويا للمفارقة، لا تزال تعزز الصور النمطية الجندرية التقليدية للمهن أكثر من بيانات العمل في العالم الحقيقي، مما يسلط الضل على الحاجة إلى استراتيجيات دقيقة للتخفيف من حدة الانحياز.
تقدم الورقة البحثية EDU-PRM، وهو نموذج مكافأة عمليات مدفوع بالإنتروبيا يقوم تلقائياً بتحديد حدود خطوات الاستدلال باستخدام الإنتروبيا التنبؤية لإلغاء التوسيم اليدوي، محققاً أداءً هو الأفضل في فئته باستخدام 1.5% فقط من بيانات التدريب مع تحسين الدقة وتقليل استخدام الرموز (tokens) بشكل كبير.
تقدم الورقة البحثية نموذج CAWAI، وهو نموذج استرجاع تم تدريبه بأهداف دلالية وسببية مزدوجة للتغلب على قيود الأنظمة الحالية في التقاط العلاقات السببية، مما يظهر أداءً فائقاً في الاسترجاع السببي واسع النطاق والتعميم صفري القدرة عبر المجالات العلمية.