11158 ورقة بحثية
تفترض هذه الورقة وتقدم دليلاً على أن النماذج اللغوية الكبيرة تستخدم فضاءات فرعية وظيفية ضمن فضاء التنشيط الخاص بها، حيث تُحل مهام التعلم في السياق من خلال عمليات جبر متجهات بسيطة تراكم الأدلة.
تكشف هذه الورقة أن تتابع الأنماط في النماذج اللغوية الكبيرة متعددة الوسائط يخضع لآلية ذات مرحلتين، حيث تقوم الطبقات الضحلة بتجميع الإشارات متعددة الوسائط في رموز تعليمات كذاكرة وسيطة كامنة، بينما تستخدم الطبقات العميقة مجموعة فرعية متفرقة من رؤوس الانتباه لحسم التحكيم بين الأنماط بشكل انتقائي بناءً على قصد المستخدم.
تقدم هذه الورقة نماذج بديلة قائمة على النواة مع إجراء تقدير فعال يعتمد على التدرج لالتقاط التفاعلات غير الخطية للمهام بدقة من أجل عزو المهام بشكل قابل للتوسع، مما يتفوق بشكل كبير على البدائل الخطية ودوال التأثير في الارتباط مع الحقيقة الأرضية وأداء اختيار البيانات اللاحق.
تقدم هذه الورقة SE-Bench، وهي بيئة تشخيصية تعمل على تعمية مكتبة NumPy لتقييم التطور الذاتي بدقة من خلال عزل استيعاب المعرفة عن المعرفة المسبقة وتعقيد الاستدلال، مما يكشف أن التدريب بنظام الكتاب المغلق واللعب الذاتي أكثر فعالية من التدريب بنظام الكتاب المفتوح أو التعلم المعزز القياسي في دمج المعرفة الجديدة في أوزان النموذج.
تقدم هذه الورقة EcoGym، وهو معيار مفتوح المصدر ومبتكر يتميز بثلاث بيئات اقتصادية تفاعلية متنوعة وطويلة الأمد، صُممت لتقييم التماسك الاستراتيجي وقوة التنفيذ للوكلاء القائمين على النماذج اللغوية الكبيرة، مما يكشف أن النماذج الحالية تعاني في تحسين التخطيط رفيع المستوى وتنفيذ الإجراءات الفعالة في آن واحد عبر سيناريوهات متباينة.
تقترح هذه الورقة "المُجزئ الموحد" (One Tokenizer)، وهي بنية متعددة الوسائط أصلية تلغي الفجوة الهندسية بين الأنماط من خلال رسم خرائط لجميع المدخلات في فضاء رموز موحد، مما يتيح قدرة فائقة على الاستنتاج العميق ويتفوق على النهج النمطي التقليدي في مهام الحمض النووي والنصوص.
تقترح هذه الورقة إطار عمل للتحقق من الرحلة الكاملة يضمن الترجمة الوفية من اللغة الطبيعية إلى اللغة الرسمية عبر الترجمة التكرارية العكسية إلى اللغة الطبيعية، والتحقق من التكافؤ المنطقي، وتطبيق إصلاحات محددة النطاق موجهة بالتشخيص لتصحيح الأخطاء دون الحاجة إلى تعليقات توضيحية للحقيقة الأرضية.
تقدم هذه الورقة آلية انتباه "سينكهورن" (Sinkhorn) قابلة للتفاضل على مستوى الكتل للنقل الأمثل المتوازن ذي السياق الطويل على أجهزة TPU، والتي تستخدم بديل صقل ذيل ثابت العمق وموقوف الأساس لتحقيق تدرجات خلفية دقيقة مع تقليل تعقيد الذاكرة، مع توفير ضمانات نظرية للتحيز والانكماش وإظهار تحسن في إعادة البناء وأداء الإنتروبيا المتقاطعة المتناثرة على مجموعات بيانات بروتين Pfam.
تقترح هذه الورقة أن الاستدلال في النماذج اللغوية الكبيرة هو عملية ديناميكية جوهرية تحكمها قيود هندسية ومعلوماتية، حيث لا ينبثق الأداء الفعال إلا عندما تنظم ديناميكيات الاستدلال الداخلي نفسها ذاتياً في متشعبات منخفضة الأبعاد تحافظ على حجم معلوماتي غير متحلل، مما يتيح إطاراً تشخيصياً جديداً خالياً من التسميات.
تقدم هذه الورقة البحثية مفهوم "التنافس الميزاتي" (feature rivalry) كأزواج من ميزات المشفر التلقائي المتناثر (Sparse Autoencoder) ذات ارتباط سلبي، والتي تعمل كبصمة ميكانيكية لعدم اليقين في نموذج Gemma-2-2B، حيث تُظهر أن المطالبات عالية الإنتروبيا تُحفز تنافساً أقوى عند طبقات محددة، وأن التوجيه عبر محاور التنافس يؤثر سببياً على المخرجات، وأن درجات التنافس يمكنها التنبؤ بصحة الإجابة.