12253 ورقة بحثية
تقدم هذه الورقة البحثية نموذج BIT، وهو نموذج تأسيسي عصبي عابر للأنواع يحقق أداءً هو الأفضل في فئته لفك تشفير الكلام من البداية إلى النهاية عبر دمج مشفر عصبي مُدرب مسبقاً مع نماذج لغوية صوتية كبيرة، مما يقلل بشكل كبير من معدلات الخطأ في الكلمات ويسمح بالتعميم عبر الكلام المنطوق والكلام المتخيل.
تُظهر هذه الدراسة أن نماذج المكافأة ترث تحيزات قيمية كبيرة ومستمرة، وتحديداً تفضيلات "الوكالة" أو "التواصل"، من نماذجها اللغوية الأساسية المدربة مسبقاً، مما يشير إلى أن اختيار النموذج التأسيسي يشكل نتائج المحاذاة بشكل جوهري بغض النظر عن عملية الضبط الدقيق اللاحقة.
يُعد EnsembleLink طريقة مبتكرة لربط السجلات تحقق دقة عالية عبر مجموعات بيانات متنوعة دون الحاجة إلى أي بيانات تدريب مصنفة، وذلك من خلال الاستفادة من النماذج اللغوية سابقة التدريب لالتقاط العلاقات الدلالية.
تقدم هذه الورقة البحثية "Learn-to-Distance"، وهي خوارزمية كشف قائمة على إعادة الكتابة تكتسب مهارة التكيف في تعلم المسافة بين النص الأصلي والنص المعاد كتابته لتتفوق على النماذج المرجعية الحالية في تحديد المحتوى المُنشأ بواسطة النماذج اللغوية الكبيرة عبر نماذج متنوعة.
تقترح هذه الدراسة بنية قائمة على نموذج GPT تتسم بالكفاءة الحسابية لتصنيف النصوص السريرية، والتي توظف الضبط الدقيق الانتقائي لنموذج Transformer مسبق التدريب من نوع (decoder-only) لتحقيق أداء قوي على تقارير الأشعة في قاعدة بيانات MIMIC-IV مع تقليل عدد المعلمات القابلة للتدريب والتكاليف الحسابية بشكل كبير.
تتقصى هذه الورقة البحثية "تأثير مانديلا" الجماعي في الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة من خلال تقديم معيار MANBENCH لقياس هذه الظاهرة، وتحليل أسبابها الكامنة، واقتراح استراتيجيات على مستوى التلقين وعلى مستوى النموذج نجحت في التخفيف من حدة هذا التأثير بمتوسط قدره 74.40%.
يُعد OOMB نظام تدريب عالي الكفاءة في استهلاك الذاكرة للنماذج اللغوية الكبيرة ذات السياق الطويل، حيث يستخدم إطار عمل تكراري قائم على الأجزاء (chunk-recurrent framework) مع إعادة حساب التنشيط آنياً وتحسينات تآزرية لذاكرة التخزين المؤقت لـ KV، مما يمكّن من تدريب نماذج مثل Qwen2.5-7B بسياقات تصل إلى مليون توكن على وحدة معالجة رسوميات واحدة.
تقدم هذه الورقة البحثية WAXAL، وهو متن لغوي صوتي متعدد اللغات، واسع النطاق، ومتاح للوصول المفتوح، يضم أكثر من 1,485 ساعة من البيانات عبر 24 لغة من دول أفريقيا جنوب الصحراء الكبرى، صُمم لسد الفجوة الرقمية والنهوض بتكنولوجيا الكلام لهذه المجتمعات ذات الموارد المحدودة.
يُعد FASA إطار عمل مبتكر يعالج عنق زجاجة الذاكرة في النماذج اللغوية الكبيرة ذات السياق الطويل من خلال الاستفادة من تشتت كتل التردد في تمثيل التدوير الموضعي (RoPE) لتحديد والاحتفاظ فقط بالرموز الأكثر أهمية لانتباه الاستعلام الواعي، مما يحقق دقة تقارب الدقة المثالية (near-oracle) مع تقليل استخدام ذاكرة التخزين المؤقت لـ KV بشكل كبير.
تقدم هذه الورقة URSA-GAN، وهو إطار توليدي موحد يستخدم بنية تضمين مزدوجة واضطراباً عشوائياً ديناميكياً للتخفيف بفعالية من انزياحات النطاق الناتجة عن الضوضاء غير المرئية وتشويهات القنوات، مما يحسن بشكل كبير من متانة وأداء كل من أنظمة التعرف التلقائي على الكلام وأنظمة تحسين الكلام.