11158 ورقة بحثية
تقدم هذه الورقة البحثية MCN، وهو متن لغوي متعدد اللغات للكشف عن الحاجة إلى الاستشهاد عبر 18 لغة، مما يثبت أن النماذج اللغوية الصغيرة المضبوطة بدقة تتفوق على النماذج اللغوية الكبيرة في كل من الإعدادات أحادية اللغة ومتعددة اللغات، مما يفيد بشكل خاص مجتمعات ويكيبيديا ذات الموارد المنخفضة.
تقدم هذه الورقة دراسة تحليلية تقيم متانة ترتيبات تضمين النصوص متعددة اللغات في معيار MTEB من خلال تقديم مؤشرات لمتانة تكوين مجموعة البيانات ومخطط الترتيب، كاشفةً أنه بينما تؤدي النماذج الضخمة القائمة على النماذج اللغوية الكبيرة (LLM) أداءً جيداً في مهام محددة، فإن مجموعة صغيرة فقط منها تحافظ على تفوق مستمر عبر مختلف اللغات والمهام وتصاميم التقييم.
تقترح الورقة البحثية ، وهو إطار عمل لجدولة البيانات الديناميكية يعمل على نمذجة تفاعلات العينات كرسم بياني للتأثير الاتجاهي لتحسين ترتيب التدريب ورفع كفاءة تعلم النماذج اللغوية الكبيرة عبر مرحلتي ما قبل التدريب وما بعد التدريب.
تتقصى هذه الورقة البحثية ظهور لغات مستحدثة ضمن مجموعات من وكلاء النماذج اللغوية في مجموعة بيانات "مولت-بوك" (Moltbook)، كاشفةً عن تطوير هؤلاء الوكلاء لاستراتيجيات تواصل متطورة —بما في ذلك كفاءة الرموز (token efficiency) والتحايل على الرقابة عبر التخفي (steganographic oversight evasion)— مما يتحدى كفاية أساليب المراقبة الحالية القائمة على السطح.
تتحدى هذه الورقة النتائج السابقة التي تشير إلى أن المشفّرات التلقائية المتناثرة (SAEs) تؤدي أداءً ضعيفًا في توجيه النماذج اللغوية الكبيرة، وذلك من خلال إثبات أنه عندما يتم اختيار الميزات وتسميتها عبر مسار تدفق مُشرف، يمكن للمشفّرات التلقائية المتناثرة تحقيق أداء في التوجيه يضاهي تقنية "LoRA" في اختبار "AxBench" مع تحديد الميزات السببية، حتى دون اشتراط درجة عالية من التناثر.
تقدم هذه الورقة البحثية TouchSafeBench، وهو معيار مرجعي قائم على الفيزياء في Habitat 3.0 يقيم قدرة النماذج الرؤية-اللغوية على استنتاج مخاطر الاصطدام من أجل تعاون آمن بين الإنسان والروبوت، كاشفةً أن النماذج الحالية تفتقر إلى المساءلة الفيزيائية الضرية والاستدلال الهندسي الصريح للتمييز بشكل موثوق بين حالات الأمان، والاصطدام، والتلامس الوشيك.
تُثبت هذه الورقة أن مسبارًا خطيًا تم تدريبه أحادي اللغة يمكنه تقدير الثقة في النماذج اللغوية الكبيرة بفعالية عبر لغات متنوعة وغير مرئية دون إعادة تدريب، مما يكشف أن النماذج اللغوية الكبيرة متعددة اللغات تشفر سمات ثقة مشتركة وقابلة للنقل تتركز في طبقاتها الوسطى.
يُعد Mellum 2 نموذج لغة مفتوح الأوزان، يتكون من 12 مليار معلمة بنظام خليط الخبراء (Mixture-of-Experts) مع 2.5 مليار معلمة نشطة لكل رمز، وهو متخصص في هندسة البرمجيات والمهام الوكيلية، ويحقق أداءً تنافسيًا مع النماذج الأكبر من خلال ابتكارات معمارية مثل التنبؤ متعدد الرموز ومنهج تدريب ثلاثي المراحل يمتد عبر 10.6 تريليون رمز.
تقدم هذه الورقة إطار عمل جديداً وقابلاً للتوسع يستفيد من النماذج اللغوية الكبيرة لهيكلة وإثراء سجلات صيانة توربينات الرياح غير المنظمة تلقائياً، مما يحول الملاحظات الميدانية النوعية إلى معلومات موثوقية كمية لتعزيز تحليل الفشل والصيانة التنبؤية.
تقدم هذه الورقة البحثية "فك التشفير بالتباعد" (Divergence Decoding)، وهو أسلوب لـ "إلغاء التعلم" (unlearning) أثناء مرحلة الاستدلال، يستفيد من نماذج مساعدة صغيرة لتوجيه احتمالات (logits) النماذج اللغوية الكبيرة بعيداً عن البيانات الحساسة، مما يخفف بفعالية من مخاطر الخصوصية وحقوق الطبع والنشر مع أدنى قدر من الفقد في الفائدة، مع تقديم حل قابل للتعميم يمكن تطبيقه في مجالي النصوص والصور على حد سواء.