11077 ورقة بحثية
تقدم هذه الورقة البحثية طريقة "ضرب المصفوفات المختزل" (RMM)، وهي طريقة استدلال تكيفية مع المدخلات ولا تتطلب تدريباً، تعمل على تقليل التكاليف الحسابية في النماذج القائمة على تقنية "ترانسفورمر" عبر الاحتفاظ انتقائياً بشرائح غنية بالمعلومات من نواتج ضرب المصفوفات، محققةً بذلك توازناً قابلاً للتوسع بين الدقة والكفاءة عبر مختلف أحجام النماذج والمهام والأنماط دون تعديل أوزان النموذج.
تتقصى هذه الورقة تأثير الضبط بالتعليمات على النماذج اللغوية، حيث وجدت أنه بينما يزيد من الثقة اللفظية ويقلل من تنوع المبررات المتقاطعة بشكل مستمر، فإنه ينتج آثاراً متباينة على التنوع المعجمي السطحي ويؤدي إلى تدهور المعايرة القائمة على الاحتمالية دون تغيير الدقة التنبؤية بشكل كبير.
تقدم الورقة البحثية ARMDIL، وهو إطار عمل تجميعي تكيفي يستفيد من نموذج لغوي كبير متعدد الوسائط لتوجيه الصور ديناميكيًا إلى العمود الفقري الرؤيوي غير المتجانس الأكثر ملاءمة، مما يحقق تصنيفًا قويًا عبر مجموعات البيانات، وتعزيزًا للقدرة على التكيف من خلال هندسة الأوامر، وتحسينًا لقابلية التفسير عبر الاستدلال باللغة الطبيعية.
تقدم هذه الورقة البحثية إطار عمل MARC، وهو إطار عمل مفتوح المصدر ومتعدد الوكلاء وغير مرتبط بنموذج محدد، يستبدل التلقين أحادي النموذج (monolithic LLM prompting) بتنسيق حتمي متخصص في الأدوار ووحدة تفكيك (Decomposer) لتمكين الاستدلال السريري القابل للتفسير، والقابل للضبط، والمتاح دون الحاجة إلى خبرة في البرمجة.
تقدم هذه الورقة البحثية "التدريب المسبق للشخصية الاصطناعية" (SPP)، وهي طريقة تدمج التأملات الشخصية المتوافقة مع القيم مباشرة في مرحلة التدريب المسبق لغرس شخصية المساعد المنشودة من الرمز صفر، مما يثبت أن هذا التدخل المبكر يحسن بشكل كبير من الالتزام بالدستور، والمتانة ضد الاختراق، والاتساق الأخلاقي مقارنة بنهج المحاذاة في مرحلة ما بعد التدريب.
تكشف هذه الورقة أنه في حين تمتلك النماذج اللغوية الكبيرة إشارات داخلية تشير إلى كل من حدود معرفتها وخصوصية المراجع القادمة، إلا أنها تفشل في التوفيق بين هذه الإشارات أثناء التوليد، مما يؤدي بها إلى فبركة تفاصيل محددة حول كيانات مجهولة بدلاً من التراجع إلى ادعاءات عامة أكثر أماناً كما يفعل المتحدث المتعاون وفقاً لمبدأ غرايس.
تقدم الورقة البحثية Intern-S2-Preview، وهي سلسلة من النماذج التأسيسية الوكيلية العلمية التي تم تدريبها من خلال مسار تدريب مسبق متعدد الوسائط متخصص ومسار تدريب لاحق موحد يتميز بالتعلم التعزيزي المتقدم والبنى المعززة بالذاكرة لتحقيق أداء رائد في الاستدلال العلمي، والتفاعل مع الأدوات، والمهام طويلة الأمد.
تقدم هذه الورقة طريقة غير مرتبطة بمهمة محددة لقياس تأثير بيانات التدريب من خلال تحديد مقدار مساهمة الأمثلة الفردية في تقليل المسافة إلى معاملات النموذج النهائية، مما يكشف أن البيانات المتعلقة بالأدب تقود مرحلة ما قبل التدريب المبكرة بينما تصبح بيانات العلوم والتكنولوجيا والهندسة والرياضيات أكثر تأثيراً في المراحل اللاحقة عبر مختلف تكوينات النماذج.
يقدم البحث إطار عمل SAEVerbalizer، الذي يقوم بضبط نموذج لغوي كبير (LLM) بدقة لتوليد تفسيرات باللغة الطبيعية لميزات المشفّر التلقائي المتناثر (Sparse Autoencoder) عبر حقن اتجاهات فك التشفير في تمثيلات النموذج، مما يتغلب على قيود الملاحظة الخارجية ويحسن الكفاءة الحسابية.
تقدم هذه الورقة LITTLELEARNER، وهو نموذج لغوي بـ 5 مليارات معلمة تم تدريبه على مجموعة بيانات LITTLECURRICULUM المنسقة والمكونة من 88 مليار رمز من المواد التعليمية للمرحلة الابتدائية في الولايات المتحدة، لإنشاء بيئة تجريبية (sandbox) مقيدة نمائيًا تتيح دراسة محكومة لكيفية اكتساب النماذج للمعرفة واستخدامها ضمن حدود منهجية محددة بوضوح.