12253 ورقة بحثية
يُعد FASA إطار عمل مبتكر يعالج عنق زجاجة الذاكرة في النماذج اللغوية الكبيرة ذات السياق الطويل من خلال الاستفادة من تشتت كتل التردد في تمثيل التدوير الموضعي (RoPE) لتحديد والاحتفاظ فقط بالرموز الأكثر أهمية لانتباه الاستعلام الواعي، مما يحقق دقة تقارب الدقة المثالية (near-oracle) مع تقليل استخدام ذاكرة التخزين المؤقت لـ KV بشكل كبير.
تقدم هذه الورقة URSA-GAN، وهو إطار توليدي موحد يستخدم بنية تضمين مزدوجة واضطراباً عشوائياً ديناميكياً للتخفيف بفعالية من انزياحات النطاق الناتجة عن الضوضاء غير المرئية وتشويهات القنوات، مما يحسن بشكل كبير من متانة وأداء كل من أنظمة التعرف التلقائي على الكلام وأنظمة تحسين الكلام.
تتقصى هذه الدراسة التمثيل غير المستكشف كفايةً للإعاقة في نماذج تحويل النص إلى صورة مثل "Stable Diffusion XL" و"DALL-E 3"، كاشفةً عن اختلالات مستمرة وقضايا في التأطير العاطفي تسلط الضوء على الحاجة الملحة للتقييم والتحسين المستمرين لتعزيز تصويرات أكثر شمولاً.
تقترح هذه الورقة البحثية "ترشيح كالمان السببي عبر الإنترنت لتحسين السياسة" (KPO)، وهي طريقة مبتكرة تُمذل نسب أخذ العينات الهامة كحالات كامنة متطورة يتم تحديثها عبر ترشيح كالمان للتخفيف من ضوضاء التباين العالي وعدم الاتساق الهيكلي في التعلم خارج السياسة على مستوى الرمز (token-level)، مما يحقق تعلماً معززاً أكثر استقراراً وفعالية للنماذج اللغوية الكبيرة.
تقدم هذه الورقة البحثية MiniCPM-SALA، وهو نموذج هجين بـ 9 مليارات معلمة يجمع بين آليات الانتباه المتناثر والخطي مع إطار عمل للتدريب المستمر منخفض التكلفة لتحقيق نمذجة سياق طويل عالية الأداء وفعالة تصل إلى مليون رمز، مع تقليل تكاليف التدريب وزمن انتقال الاستدلال بشكل كبير مقارنة بنماذج الانتباه الكامل التقليدية.
تقيم هذه الورقة تنسيقات HiFloat (HiF8 وHiF4) على وحدات المعالجة العصبية Ascend، مما يثبت أداءها المتفوق على التنسيقات الصحيحة في التعامل مع البيانات عالية التباين ومنع انهيار الدقة في أنظمة الـ 4 بت مع الحفاظ على التوافق مع أطر عمل التكميم الحديثة من أجل استنتاج فعال للنماذج اللغوية الكبيرة.
تقيم هذه الورقة ١٧ نموذجاً لغوياً كبيراً كموسمين بنظام "التعلم الصفري" لخطاب الكراهية باللغة البنغالية، كاشفةً عن إظهارها انحيازاً وعدم استقرار ملحوظين، مع تفوق النماذج الأصغر والمتوافقة مع المهمة غالباً على النماذج الأكبر، مما يسلط الضوء على محدودية النماذج اللغوية الكبيرة الحالية في مهام التوسيم الحساسة للغات ذات الموارد المنخفضة.
تكشف هذه الورقة أنه على الرغم من معرفتها الواسعة، تعاني النماذج اللغوية الكبيرة من "العمى الخوارزمي"، حيث تفشل بشكل منهجي في التنبؤ بدقة أو الاستنتاج حول العمليات الحسابية والأداء الخوارزمي، وغالبًا ما يكون أداؤها ليس أفضل من التخمين العشوائي بسبب فجوة جوهرية بين معرفتها التقريرية وقدراتها على الاستدلال الإجرائي.
تقدم هذه الورقة وتحلل المفهوم الرياضي الجديد لـ "المجموعات المستوية الديناميكية"، والذي ينشأ عن دراسة في عدم القابلية للحساب بتورينج عام 2012 ويعتمد على "مبدأ التعديل الذاتي" لتفسير كيف يمكن لإعادة التشكيل الفيزيائي عبر عمليات غير قابلة للحساب أن يولد سلوكيات حوسبية متميزة عن الأنظمة الديناميكية القياسية وآلات تورينج الاحتمالية.
تقدم هذه الورقة OmniGAIA، وهو معيار شامل لتقييم الوكلاء متعددين الأنماط في مهام الاستدلال المعقدة واستخدام الأدوات عبر وسائط الفيديو والصوت والصورة، إلى جانب OmniAtlas، وهو وكيل تأسيسي أصيل متعدد الأنماط تم تدريبه باستراتيجيات متقدمة لسد الفجوة بين النماذج ثنائية الأنماط الحالية والجيل القادم من المساعدين الذكيين في العالم الحقيقي.