23033 ورقة بحثية
تُثبت هذه الورقة أنه بالنسبة لنماذج اللغة من نوع "decoder" التي يقل حجمها عن 100 مليون معلمة، فإن الجدول الأمثل لخفض معدل التعلم (33%) مستقل إلى حد كبير عن عرض البت (FP16، INT8، INT6) وحجم النموذج، مع إظهار INT4 انتقالاً متميزاً من نظام يهيمن عليه الضجيج تحت 50 مليون معلمة إلى جدول أمثل حاسم عند 50 مليون معلمة وما فوقها.
تقترح هذه الورقة طريقة علامة مائية قوية وخالية من التدرج للصوت الاصطناعي تستفيد من تكرار المفردات وكشف المجتمعات للتخفيف من أخطاء الرموز، محققةً قدرة كشف هي الأحدث في مجالها دون الحاجة إلى ضبط دقيق للنموذج.
تقدم هذه الورقة Fuzzy PyTorch، وهو إطار عمل قابل للتوسع وفعال يدمج أوضاع التقريب العشوائي والتقريب للأعلى والأسفل عبر Verificarlo لتقييم التباين العددي بسرعة في نماذج التعلم العميق مع تقليل وقت التشغيل بشكل كبير مقارنة بالأدوات الحالية، كل ذلك مع الحفاظ على أداء النموذج.
تقدم هذه الورقة البحثية "التقييم المرجعي المكتمل للنشر"، وهو إطار عمل يقيم ما إذا كانت درجات الاختبارات المرجعية تحدد إجراءات النشر بشكل موثوق من خلال قياس غموض الأدلة، كاشفةً أن الاختبارات المرجعية الحالية غالباً ما تفشل في دعم القرارات الواقعية رغم الدرجات العالية، وتقترح استراتيجية "الاعتماد ثم الاستحواذ" لتقليل قرارات النشر الخاطئة بشكل كبير.
تجادل هذه الورقة بأن أساليب الاستدلال السببي غير مستغلة حالياً رغم كونها ضرورية لمعالجة التحييد، والتحيز، وعدم الاستقرار في تطوير وتقييم النماذج اللغوية الكبيرة، حيث تقدم إطاراً مبدئياً لتوجيه التدخلات عبر كامل مسار النماذج اللغوية الكبيرة من مرحلة ما قبل التدريب وصولاً إلى النشر.
تقدم هذه الورقة البحثية "الاختناقات المتعامدة" (orthogonal bottlenecks)، وهي آلية خفيفة الوزن وغير مرتبطة ببنية محددة، تعمل على تقييد تمثيلات التعلم التعزيزي في فضاءات فرعية منخفضة الأبعاد عبر عمليات إسقاط متعامدة وثابتة، مما يثبت نظرياً وتجريبياً أن دوال القيمة ذات الصلة بالمهمة يمكن الحفاظ عليها، بل وتحسينها غالباً، باستخدام أبعاد دنيا مع تثبيت هندسة الميزات.
تقدم الورقة البحثية MLP-LDRU، وهي وحدة تكرارية ذات عمق لوغاريتمي تقرب التكرار عبر الاختزال المتوازي لتحقيق تعميم طول شبه مثالي في مهام اللغات المنتظمة وأداء تنافسي في معايير أوسع، مما يعالج بفعالية الانحيازات الموضعية للنماذج التكرارية وقيود العمق في نماذج المحولات (Transformers).
لمعالجة أوجه القصور في تقييمات التمثيل الحضري الحالية، مثل التسرب المكاني ونقص التعميم، يقترح المؤلفون CityRep، وهو معيار موحد يتميز بتقسيمات ذات بنية مكانية وإطار عمل قياسي لتقييم النماذج بصرامة عبر مدن ومهام وأنماط متعددة.
تحدد هذه الورقة نمطي فشل أساسيين — تخفيف التدرج أثناء وقت التحسين وتداخل التعليمات أثناء وقت الاستدلال — يعيقان تحسين المطالبات متعددة الأهداف لنماذج الحكم اللغوية الكبيرة، مما يثبت أن طرق التدرج النصي الحالية غالبًا ما تفشل في التحسن عن المطالبات الأولية عند التعامل مع معايير متعددة في آن واحد.
تُثبت هذه الورقة أن دمج بدائل المشغل العصبي في أخذ عينات ماركوف مونت كارلو البايزي يُمكّن من التصميم العكسي للأشكال الهندسية الديناميكية الهوائية المدرك لعدم اليقين مع تسريع يتجاوز ثلاث مراتب عشرية، مع الحفاظ على دقة التوزيع اللاحق مقارنة بمحاكاة ديناميكا السوائل الحسابية عالية الدقة.