12021 ورقة بحثية
إنّ Nemotron-Cascade 2 هو نموذج MoE مدمج بحجم 30 مليار معلمة، يحقق أداءً بمستوى الميدالية الذهبية في الرياضيات والمعلوماتية والبرمجة التنافسية من خلال تقنيات Cascade RL المتقدمة والتقطير متعدد المجالات القائم على السياسة (on-policy distillation)، مما يوفر كثافة ذكاء تزيد بـ 20 مرة عن النماذج الرائدة الأكبر حجماً.
تتقصى هذه الورقة البحثية التعلم عبر الإنترنت باستخدام التغذية الراجعة القائمة على الترتيب بدلاً من المنفعة الرقمية، حيث تُثبت أن الندم دون الخطي مستحيل عموماً في ظل الظروف القياسية، ولكنه قابل للتحقيق عبر خوارزميات جديدة عندما تكون تسلسلات المنفعة ذات تباين محدود، مما يتيح حساب التوازن في الألعاب وتوجيه النماذج اللغوية الكبيرة بشكل فعال.
تقدم الورقة البحثية FinTradeBench، وهو معيار شامل للاستدلال المالي يضم 1,400 سؤالاً تدمج بين أساسيات الشركات وإشارات التداول لتقييم وكشف القيود الحالية للنماذج اللغوية الكبيرة في التعامل مع مهام اتخاذ القرار المالي المعقدة ومتعددة الوسائط.
تقدم هذه الورقة "مجموعة بيانات رديت للأسس الأخلاقية" (Moral Foundations Reddit Corpus)، وهي مجموعة بيانات مشروحة يدويًا تضم 16,123 تعليقًا من موقع رديت تغطي ثماني فئات للمشاعر الأخلاقية بناءً على نظرية الأسس الأخلاقية المحدثة، وتثبت من خلال الاختبار المرجعي أن نماذج الترميز (encoder models) التي تم ضبطها دقيقًا تتفوق حاليًا على النماذج اللغوية الكبيرة في اكتشاف المشاعر الأخلاقية، مما يسلط الض الضوء على الضرورة المستمرة للبيانات المشروحة بشريًا لمواءمة الذكاء الاصطناعي.
تُثبت هذه الورقة أن كلاً من نماذج اللغة الخاضعة للإشراف وChatGPT يمكنهما أداء الكشف الآلي عن الموقف بفعالية في اللغة الإستونية المعقدة ومنخفضة الموارد فيما يتعلق بالهجرة، مما يتيح تحليل الاتجاهات عبر الزمن في وسائل الإعلام المستقطبة.
تكشف هذه الدراسة أنه في حين تعالج النماذج اللغوية الكبيرة متعددة اللغات الكلمات المتشابهة (cognates) والكلمات غير المتشابهة (non-cognates) بفعالية، إلا أنها تعاني بشكل كبير مع الكلمات متجانسة الحروف بين اللغات (interlingual homographs) لاعتمادها على التشابهات الإملائية بدلاً من الفهم الدلالي، وغالباً ما تفشل في فض الالتباس في المعاني حتى ضمن سياقات الجمل.
تقدم الورقة البحثية Language-TPP، وهو إطار عمل موحد يسد الفجوة بين العمليات النقطية الزمنية والنماذج اللغوية الكبيرة من خلال تحويل الفترات الزمنية المستمرة إلى رموز بايت (byte-tokens)، مما يتيح نمذجة متطورة لتسلسلات أحداث الويب التي تلتقط بفعالية كلاً من الديناميكيات الزمنية والأنماط النصية الغنية.
تقدم هذه الورقة أول مراجعة منهجية مخصصة واختبار معياري صارم لطرق تقدير عدم اليقين والمعايرة للنماذج اللغوية الكبيرة، حيث تقيم تجريبيًا ستة نهج لمعالجة الهلوسة وتوجيه مسارات البحث المستقبلية.
من خلال الاستفادة من المشفّرات التلقائية المتناثرة لتحديد والتدخل في السمات متعددة المعاني غير المرتبطة دلالياً ولكنها متداخلة في النماذج الصغيرة، تُثبت هذه الدراسة أن أنماط التداخل هذه تتعمم عبر النطاق والبنية، مما يتيح تحكماً سلوكياً يمكن التنبؤ به في النماذج اللغوية الأكبر ذات الصندوق الأسود، ويكشف عن تنظيم تقاربي رفيع المستوى للتمثيلات الداخلية.
تستخدم هذه الورقة البحثية "عدم توازن المعلومات" (Information Imbalance) لتوضيح أن المعلومات الدلالية تتقارب عبر اللغات والوسائط والبنيات في النماذج العميقة، مما يكشف أن القدرة على التنبؤ تكون في أقوى حالاتها في طبقات مركزية أو نهائية محددة، وأن النماذج الأكبر والمدربة بشكل مستقل يمكن أن تتفوق على النماذج متعددة الوسائط المدربة بشكل مشترك في عملية المحاذاة عبر الوسائط.