11158 ورقة بحثية
تقدم الورقة البحثية DivSkill-SQL، وهو إطار عمل لتحسين المهارات المتبقية يقوم ببناء مجموعات متكاملة من نماذج (Text-to-SQL) عبر تدريب مهارات جديدة بشكل تكراري على الإخفاقات السابقة دون ضبط دقيق للنموذج، مما يؤدي إلى تحسين دقة Pass@K بشكل كبير وتقليل الهلوسة عبر مختلف لهجات SQL والمهام.
تحدد هذه الورقة فجوات متباينة القياس ومعايرة حرجة في مقدرات عدم اليقين القائمة على الإنتروبيا للنماذج اللغوية الكبيرة في مرحلة ما بعد التدريب، وتقترح "تحسين السياسة المعاير المعتمد على الهندسة" (GCPO)، وهو إطار عمل مبتكر يدمج مقاييس مدركة للهندسة ومعايرة قائمة على المكافأة لتتبع تباين التدرج بشكل أكثر دقة وتحسين استقرار التحسين.
تقدم هذه الورقة البحثية OGCaReBench، وهو معيار تقييم يركز على الاسترجاع صُمم لتقييم النماذج اللغوية الكبيرة في الأسئلة السريرية النادرة والخارجة عن الإرشادات، مما يثبت أنه في حين أن المعرفة المحفوظة غير كافية، فإن تعزيز النماذج بالأدلة الطبية المسترجعة يحسن بشكل كبير من قدرتها على تقديم إجابات موثوقة ومستندة إلى الأدلة.
تكشف هذه الدراسة أنه في مهمة محكومة لتخصيص الموارد، تقوم النماذج اللغوية بضغط التمايزات الرتبية لكلمات الكثافة الغامضة إلى مجموعة محدودة من المخرجات الرقمية، حيث يصبح سلوكها معتمداً بشكل كبير على حالة النظام الحالية ويظهر أنماطاً غير مستمرة بالقرب من الحدود التشغيلية.
تقدم هذه الورقة انتباه البوابة الطاقية (EGA)، وهو تعديل فعال من حيث المعلمات لنماذج المحولات يقوم ببوابة تجميع القيم بناءً على الطاقة الطيفية المتعلمة لتضمينات الرموز لإعطاء الأولوية للرموز ذات الكثافة المعلوماتية، محققاً تحسينات متسقة في خسارة التحقق على معايير النمذجة اللغوية، مع الكشف عن أن عتبات الطاقة المثلى تتوافق مع الجزء المستقر من كلمات المحتوى في النصوص الإنجليزية.
تقترح هذه الورقة بنية هجينة تختار ديناميكياً بين النماذج اللغوية الكبيرة ونموذج RoBERTa المضبوط بدقة لاستخراج ظروف الانتحار وفقاً لنظام بيانات تقارير وفيات الطرق الوطنية (NVDRS) بناءً على "درجة التعقيد"، مما يثبت أن النماذج اللغوية الكبيرة تتفوق بشكل كبير على النماذج المضبوطة بدقة في الحالات النادرة والمعقدة استنتاجياً، بينما تظل الأخيرة فعالة في الحالات الشائعة.
تقدم هذه الورقة "المفسر المتكيف هندسياً" (GAE)، وهو طريقة خالية من التدرج تعمل على إعادة محاذاة أدوات التفسير القائمة على القواميس مع الفضاءات الفرعية للتنشيط خارج نطاق التوزيع، وذلك لتحسين الأمانة السببية بشكل كبير تحت تحولات التوزيع.
تقدم الورقة البحثية SpecHop، وهو إطار عمل للتخمين المستمر يستخدم خيوط معالجة متعددة غير متزامنة للتنبؤ بمخرجات الأدوات والتحقق منها في مهام الاسترجاع متعددة الخطوات، مما يقلل زمن الاستجابة الفعلي بنسبة تصل إلى 40% دون المساس بالدقة.
تكشف هذه الورقة أن كواشف الحقن في أنظمة النماذج اللغوية الكبيرة متعددة الوكلاء تعاني من "فجوة كشف التمويه"، حيث تفشل في تحديد الهجمات التي تحاكي المفردات الخاصة بمجال معين وهياكل السلطة، مما يتسبب في انخفاض معدلات الكشف بشكل حاد ويكشف عن ثغرة هيكلية حرجة في آليات السلامة.
تقيم هذه الورقة نماذج مختلفة من تعلم الآلة ومعالجة اللغات الطبيعية لتصنيف المشاعر على مجموعة بيانات IMDb، حيث وجدت أن نموذج RoBERTa يحقق أعلى دقة بنسبة 93.02% بينما يعزز نظام التصويت الناعم (soft voting) لجميع النماذج الأداء العام بشكل أكبر.