12253 ورقة بحثية
تقيم هذه الورقة مدى فائدة المشفرات التلقائية المتناثرة (SAEs) في تحديد وتخفيف التحيزات العرقية في النماذج اللغوية الكبيرة المستخدمة في الرعاية الصحية، حيث وجدت أنه بينما يمكن لهذه المشفرات اكتشاف الارتباطات الزائفة بين العرق والمفاهيم الوصمية بفعالية، فإن توجيه النماذج عبر هذه الكوامن لا يقدم سوى تحسينات طفيفة لتخفيف التحيز في المهام السريرية الواقعية.
تعيد هذه الدراسة المسحية صياغة استدلال النماذج اللغوية الكبيرة من منظور التكيفية، حيث تقدم إطاراً رسمياً وتصنيفاً منهجياً يصنف الأساليب المخصصة لتخصيص جهد الاستدلال ديناميكياً بناءً على تعقيد المهمة، مع التمييز بين النهج القائمة على التدريب والنهج الخالية من التدريب.
تقدم هذه الورقة البحثية نموذج BIT، وهو نموذج تأسيسي عصبي عابر للأنواع يحقق أداءً هو الأفضل في فئته لفك تشفير الكلام من البداية إلى النهاية عبر دمج مشفر عصبي مُدرب مسبقاً مع نماذج لغوية صوتية كبيرة، مما يقلل بشكل كبير من معدلات الخطأ في الكلمات ويسمح بالتعميم عبر الكلام المنطوق والكلام المتخيل.
تُظهر هذه الدراسة أن نماذج المكافأة ترث تحيزات قيمية كبيرة ومستمرة، وتحديداً تفضيلات "الوكالة" أو "التواصل"، من نماذجها اللغوية الأساسية المدربة مسبقاً، مما يشير إلى أن اختيار النموذج التأسيسي يشكل نتائج المحاذاة بشكل جوهري بغض النظر عن عملية الضبط الدقيق اللاحقة.
يُعد EnsembleLink طريقة مبتكرة لربط السجلات تحقق دقة عالية عبر مجموعات بيانات متنوعة دون الحاجة إلى أي بيانات تدريب مصنفة، وذلك من خلال الاستفادة من النماذج اللغوية سابقة التدريب لالتقاط العلاقات الدلالية.
تقدم هذه الورقة البحثية "Learn-to-Distance"، وهي خوارزمية كشف قائمة على إعادة الكتابة تكتسب مهارة التكيف في تعلم المسافة بين النص الأصلي والنص المعاد كتابته لتتفوق على النماذج المرجعية الحالية في تحديد المحتوى المُنشأ بواسطة النماذج اللغوية الكبيرة عبر نماذج متنوعة.
تقترح هذه الدراسة بنية قائمة على نموذج GPT تتسم بالكفاءة الحسابية لتصنيف النصوص السريرية، والتي توظف الضبط الدقيق الانتقائي لنموذج Transformer مسبق التدريب من نوع (decoder-only) لتحقيق أداء قوي على تقارير الأشعة في قاعدة بيانات MIMIC-IV مع تقليل عدد المعلمات القابلة للتدريب والتكاليف الحسابية بشكل كبير.
تتقصى هذه الورقة البحثية "تأثير مانديلا" الجماعي في الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة من خلال تقديم معيار MANBENCH لقياس هذه الظاهرة، وتحليل أسبابها الكامنة، واقتراح استراتيجيات على مستوى التلقين وعلى مستوى النموذج نجحت في التخفيف من حدة هذا التأثير بمتوسط قدره 74.40%.
يُعد OOMB نظام تدريب عالي الكفاءة في استهلاك الذاكرة للنماذج اللغوية الكبيرة ذات السياق الطويل، حيث يستخدم إطار عمل تكراري قائم على الأجزاء (chunk-recurrent framework) مع إعادة حساب التنشيط آنياً وتحسينات تآزرية لذاكرة التخزين المؤقت لـ KV، مما يمكّن من تدريب نماذج مثل Qwen2.5-7B بسياقات تصل إلى مليون توكن على وحدة معالجة رسوميات واحدة.
تقدم هذه الورقة البحثية WAXAL، وهو متن لغوي صوتي متعدد اللغات، واسع النطاق، ومتاح للوصول المفتوح، يضم أكثر من 1,485 ساعة من البيانات عبر 24 لغة من دول أفريقيا جنوب الصحراء الكبرى، صُمم لسد الفجوة الرقمية والنهوض بتكنولوجيا الكلام لهذه المجتمعات ذات الموارد المحدودة.