12253 ورقة بحثية
يُعد OOMB نظام تدريب عالي الكفاءة في استهلاك الذاكرة للنماذج اللغوية الكبيرة ذات السياق الطويل، حيث يستخدم إطار عمل تكراري قائم على الأجزاء (chunk-recurrent framework) مع إعادة حساب التنشيط آنياً وتحسينات تآزرية لذاكرة التخزين المؤقت لـ KV، مما يمكّن من تدريب نماذج مثل Qwen2.5-7B بسياقات تصل إلى مليون توكن على وحدة معالجة رسوميات واحدة.
تقدم هذه الورقة البحثية WAXAL، وهو متن لغوي صوتي متعدد اللغات، واسع النطاق، ومتاح للوصول المفتوح، يضم أكثر من 1,485 ساعة من البيانات عبر 24 لغة من دول أفريقيا جنوب الصحراء الكبرى، صُمم لسد الفجوة الرقمية والنهوض بتكنولوجيا الكلام لهذه المجتمعات ذات الموارد المحدودة.
يُعد FASA إطار عمل مبتكر يعالج عنق زجاجة الذاكرة في النماذج اللغوية الكبيرة ذات السياق الطويل من خلال الاستفادة من تشتت كتل التردد في تمثيل التدوير الموضعي (RoPE) لتحديد والاحتفاظ فقط بالرموز الأكثر أهمية لانتباه الاستعلام الواعي، مما يحقق دقة تقارب الدقة المثالية (near-oracle) مع تقليل استخدام ذاكرة التخزين المؤقت لـ KV بشكل كبير.
تقدم هذه الورقة URSA-GAN، وهو إطار توليدي موحد يستخدم بنية تضمين مزدوجة واضطراباً عشوائياً ديناميكياً للتخفيف بفعالية من انزياحات النطاق الناتجة عن الضوضاء غير المرئية وتشويهات القنوات، مما يحسن بشكل كبير من متانة وأداء كل من أنظمة التعرف التلقائي على الكلام وأنظمة تحسين الكلام.
تتقصى هذه الدراسة التمثيل غير المستكشف كفايةً للإعاقة في نماذج تحويل النص إلى صورة مثل "Stable Diffusion XL" و"DALL-E 3"، كاشفةً عن اختلالات مستمرة وقضايا في التأطير العاطفي تسلط الضوء على الحاجة الملحة للتقييم والتحسين المستمرين لتعزيز تصويرات أكثر شمولاً.
تقترح هذه الورقة البحثية "ترشيح كالمان السببي عبر الإنترنت لتحسين السياسة" (KPO)، وهي طريقة مبتكرة تُمذل نسب أخذ العينات الهامة كحالات كامنة متطورة يتم تحديثها عبر ترشيح كالمان للتخفيف من ضوضاء التباين العالي وعدم الاتساق الهيكلي في التعلم خارج السياسة على مستوى الرمز (token-level)، مما يحقق تعلماً معززاً أكثر استقراراً وفعالية للنماذج اللغوية الكبيرة.
تقدم هذه الورقة البحثية MiniCPM-SALA، وهو نموذج هجين بـ 9 مليارات معلمة يجمع بين آليات الانتباه المتناثر والخطي مع إطار عمل للتدريب المستمر منخفض التكلفة لتحقيق نمذجة سياق طويل عالية الأداء وفعالة تصل إلى مليون رمز، مع تقليل تكاليف التدريب وزمن انتقال الاستدلال بشكل كبير مقارنة بنماذج الانتباه الكامل التقليدية.
تقيم هذه الورقة تنسيقات HiFloat (HiF8 وHiF4) على وحدات المعالجة العصبية Ascend، مما يثبت أداءها المتفوق على التنسيقات الصحيحة في التعامل مع البيانات عالية التباين ومنع انهيار الدقة في أنظمة الـ 4 بت مع الحفاظ على التوافق مع أطر عمل التكميم الحديثة من أجل استنتاج فعال للنماذج اللغوية الكبيرة.
تقيم هذه الورقة ١٧ نموذجاً لغوياً كبيراً كموسمين بنظام "التعلم الصفري" لخطاب الكراهية باللغة البنغالية، كاشفةً عن إظهارها انحيازاً وعدم استقرار ملحوظين، مع تفوق النماذج الأصغر والمتوافقة مع المهمة غالباً على النماذج الأكبر، مما يسلط الضوء على محدودية النماذج اللغوية الكبيرة الحالية في مهام التوسيم الحساسة للغات ذات الموارد المنخفضة.
تكشف هذه الورقة أنه على الرغم من معرفتها الواسعة، تعاني النماذج اللغوية الكبيرة من "العمى الخوارزمي"، حيث تفشل بشكل منهجي في التنبؤ بدقة أو الاستنتاج حول العمليات الحسابية والأداء الخوارزمي، وغالبًا ما يكون أداؤها ليس أفضل من التخمين العشوائي بسبب فجوة جوهرية بين معرفتها التقريرية وقدراتها على الاستدلال الإجرائي.