12021 ورقة بحثية
تُظهر هذه الورقة أن الضبط الدقيق الضيق يترك انحيازات متميزة وقابلة للتفسير في تنشيطات النماذج اللغوية الكبيرة، والتي يمكن استخراجها عبر مقارنة النماذج لإعادة بناء خصائص بيانات التدريب وتعزيز قابلية التفسير، بينما تحذر من أن هذه النماذج قد لا تمثل بدقة سيناريوهات الضبط الدقيق الأوسع وتقترح أن خلط بيانات ما قبل التدريب يمكن أن يخفف من آثار الإفراط في التخصيص هذه.
تقدم الورقة البحثية نموذج "Grasp Any Region" (GAR)، وهو نموذج لغوي كبير متعدد الوسائط يستفيد من إعادة تشغيل الميزات المتوافقة مع منطقة الاهتمام (RoI-aligned feature replay) لدمج السياق العالمي من أجل فهم دقيق وتفاعلي على مستوى المنطقة واستدلال تركيبي، محققاً أداءً هو الأفضل في فئته على كل من معايير الصور والفيديو.
تقدم هذه الورقة "مدونة اللغة الكورية التاريخية المفتوحة"، وهي مجموعة بيانات ضخمة ذات ترخيص مفتوح تمتد عبر 1300 عام وأنظمة كتابة متعددة، مما يتيح التحليل الكمي للتحولات اللغوية الكبرى في اللغة الكورية وتعمل كمورد أساسي لتدريب النماذج اللغوية الكبيرة.
تثبت هذه الورقة أن النماذج اللغوية يمكن ضبطها بدقة للكشف عن تدخلات توجيه التنشيط وتحديدها، مما يكشف أن هذا التوجيه ليس غير قابل للكشف بطبيعته، وأن النماذج المدربة على التعرف عليه قد تصبح، على نحو متناقض، أكثر عرضة للتلاعب السلوكي.
تقدم هذه الورقة RePo، وهي آلية مبتكرة تستفيد من وحدة قابلة للتفاضل لإعادة تموضع الرموز (tokens) ديناميكيًا بناءً على التبعيات السياقية بدلاً من المؤشرات الخطية الثابتة، مما يقلل من العبء المعرفي الزائد ويعزز أداء النماذج اللغوية الكبيرة في المهام التي تتضمن سياقات ضوضائية، وبيانات مهيكلة، وتبعيات طويلة المدى.
تقترح هذه الورقة إطار عمل ثلاثي المستويات لتقييم النماذج اللغوية الكبيرة كنموذج عالم ضمني قائم على النصوص، مما يثبت أنه بينما يمكنها تعزيز تعلم الوكيل من خلال التنبؤ المتماسك بالحالة وتوليد الخبرات الاصطناعية، فإن فعاليتها تعتمد بشكل حاسم على التغطية السلوكية وتعقيد البيئة.
تقدم هذه الورقة إطار عمل التنبؤ بالرموز المتوازي (PTP)، الذي يسرع استنتاج النماذج اللغوية من خلال التنبؤ برموز متعددة في تمريرة أمامية واحدة عبر دوال حتمية لمتغيرات مدخلات عشوائية، محققاً تسريعاً بمقدار 2.4 ضعفاً مقارنة بفك التشفير ذاتي الانحدار.
تقدم هذه الورقة معياراً يراعي التكلفة وزمن الاستجابة، يوضح أنه في حين أن التخطيط المعزز بالأدوات يحسن الدقة بشكل كبير للمهام المعقدة القائمة على المعرفة مثل "الاستعلام عن الأحداث" (Event-QA)، إلا أنه غالباً ما يتسبب في تكاليف زمن استجابة باهظة ولا يقدم أي فائدة — أو حتى يؤدي إلى تدهور الأداء — في مهام مثل توليد الاستجابات الإقناعية حيث يكون التلقين البسيط من محاولة واحدة أكثر كفاءة.
تقدم هذه الورقة البحثية Yuan3.0 Ultra، وهو نموذج لغوي كبير مفتوح المصدر بنظام "خليط الخبراء" (Mixture-of-Experts) يضم تريليون معلمة، يستخدم خوارزمية مبتكرة لتقليم الخبراء المتكيف مع الطبقات (Layer-Adaptive Expert Pruning) لتحسين كفاءة ما قبل التدريب بشكل كبير وتقليل حجم النموذج مع تحقيق أداء رائد في المعايير الموجهة للمؤسسات.
تقدم هذه الورقة إطار عمل "التقطير الذاتي داخل السياسة" (OPSD)، حيث يعمل نموذج لغوي كبير واحد كمعلم وطالب في آن واحد من خلال الاستفادة من مسارات الاستدلال المتميزة للإشراف على سياسته الأضعف، مما يحقق أداءً فائقاً في الاستدلال الرياضي وكفاءة أعلى بكثير في عدد الرموز (tokens) مقارنة بطرق التقطير خارج السياسة والتعلم المعزز التقليدية.