11158 ورقة بحثية
تقترح هذه الورقة أن تراكب التمثيل، حيث تشفر النماذج ميزات أكثر مما تسمح به أبعادها، هو المحرك الأساسي لقوانين القياس العصبية، مما يتسبب في تناقص الخسارة عكسياً مع حجم النموذج في ظل أنظمة التراكب القوية كما هو ملاحظ في النماذج اللغوية الكبيرة الحالية.
تقدم هذه الورقة SuperCoder، وهو إطار عمل يستفيد من النماذج اللغوية الكبيرة والتعلم التعزيزي لتحقيق التحسين الفائق لبرامج التجميع، مما يثبت أن النماذج اللغوية الكبيرة المضبوطة بدقة يمكنها توليد كود برمجي صحيح وأسرع بكثير من مخرجات المترجمات القياسية في الصناعة.
تقيم هذه الدراسة أداء نماذج تضمين معالجة اللغات الطبيعية المختلفة على التعبيرات الرمزية الخاصة بالفيزياء الموجودة في نصوص الطلاب، كاشفةً أنه بينما يتفوق نموذج OpenAI's GPT-text-embedding-3-large على غيره، يجب على الباحثين اختيار النماذج بعناية لتجنب الانحياز وضمان الدقة عند تحليل اللغة المتعلقة بالعلوم التي تحتوي على معادلات.
تقدم هذه الورقة البحثية طريقة "تقليم الانتباه في الطبقات العليا مع إعادة القياس" (HARP)، وهي طريقة جديدة لا تتطلب تدريباً تعمل على إزالة رؤوس الانتباه استراتيجياً من الطبقات العليا للنماذج اللغوية الكبيرة وتطبيق إعادة قياس تكيفية للحفاظ على مقدار التمثيل، مما يحقق أداءً فائقاً عبر مهام التوليد والتمييز المتنوعة مقارنة بتقنيات التقليم الهيكلي الحالية.
تحلل هذه الدراسة ١١٠ ملايين رسالة من منصة "بارلر" (Parler) لتثبت أن القبول الاجتماعي (التصويت بالإيجاب) يتنبأ بالكراهية والسمية عبر الإنترنت بطرق معقدة وتعتمد على الوقت، حيث يؤدي غالباً إلى كبح السلوك السلبي الفوري بينما يزيده على فترات زمنية أطول، في حين يعمل عدم القبول الاجتماعي (التصويت بالسلب) على تعديل هذه التأثيرات من خلال تقليل السمية على المدى الطويل.
تقدم هذه الورقة LogicIF، وهي مهمة ومعيار جديد لتقييم قدرة النماذج اللغوية الكبيرة على اتباع التعليمات المنطقية المعقدة، إلى جانب إطار عمل قابل للتوسع (LogicIFGen) لتوليد بيانات تدريب قابلة للتحقق، والتي تؤدي عند استخدامها في التعلم المعزز إلى تحسين أداء النموذج بشكل كبير في المهام كثيفة المنطق.
تقترح هذه الورقة "الدفاع المعزز بالاسترجاع" (RAD)، وهو إطار عمل لا يتطلب تدريباً يستفيد من قاعدة بيانات لأمثلة هجمات معروفة للكشف عن استراتيجيات كسر الحماية الخبيثة واستنتاجها، مما يوفر حماية تكيفية وموازنة قابلة للتحكم بين السلامة والمنفعة للنماذج اللغوية الكبيرة.
يُعد MoE-Prism إطار عمل مصممًا بشكل مشترك بين النموذج والنظام، يتيح مرونة حوسبية على مستوى الطلب في خدمة نماذج خليط الخبراء (MoE) من خلال تفكيك الخبراء المتجانسين إلى خبراء فرعيين دقيقين وتنفيذ وقت تشغيل مدرك لـ ، مما يحسن الإنتاجية بشكل كبير ويقلل زمن الاستجابة لأعباء العمل غير المتجانسة.
يُعد Routesplain أول موجه لنماذج اللغات الكبيرة (LLM) قابل للتفسير للمهام المتعلقة بالبرمجيات، حيث يستخرج مفاهيم مفهومة بشرياً من الاستعلامات لاتخاذ قرارات توجيه وفية، متفوقاً بذلك على كل من النماذج الفردية والأسس المرجعية الصندوقية السوداء في الدقة والتكلفة مع تمكين التدخلات على مستوى المفاهيم.
تقترح هذه الورقة طريقة قائمة على التعلم التعزيزي تولد استجابة واحدة مهيكلة تسرد تفسيرات متعددة صالحة للطلبات الغامضة، مما يؤدي إلى تحسين التغطية والشفافية دون الحاجة إلى جولات تفاعل إضافية أو إشراف صريح.