23700 ورقة بحثية
تقدم هذه الورقة ScaleSearch، وهي استراتيجية مبتكرة تعمل على تحسين عوامل قياس الفاصلة العائمة الكتلية (Block Floating Point) من خلال بحث دقيق لبتات المانتيسا (mantissa bits) لتقليل خطأ التكميم بشكل كبير وتحسين أداء النماذج التوليدية منخفضة الدقة، بما في ذلك خوارزمية ScaleSearchAttention المتخصصة التي تحقق فقدانًا يقارب الصفر في الأداء.
تقدم الورقة البحثية "نماذج الجذب" (Attractor Models)، وهي بنية معمارية مبتكرة تستخدم التفاضل الضمني لإيجاد النقاط الثابتة في التمثيلات الكامنة، مما يتيح صقلاً تكرارياً مستقراً وتكيفياً يحقق أداءً فائقاً في نمذجة اللغة والاستدلال بتكاليف حوسبة أقل، مع القدرة الفريدة على استيعاب حالات التوازن من أجل استنتاج فعال.
يُعد KV-Fold بروتوكول استدلال بسيط للسياقات الطويلة لا يتطلب تدريباً، حيث يعامل ذاكرة التخزين المؤقت لـ KV كمتراكم طي يساري (left-fold accumulator) لتمكين معالجة تسلسلية مستقرة وفعالة من حيث الذاكرة عبر السلاسل العميقة دون الحاجة إلى إعادة تدريب النموذج أو تغييرات هيكلية.
تكشف هذه الورقة عن اقتران هندسي جوهري بين الموجهات (routers) والخبراء (experts) في نماذج خليط الخبراء المتناثرة (Sparse Mixture-of-Experts)، حيث تراكم الاتجاهات المتطابقة تواريخ الرموز المشتركة، مما يوضح أن هذا الاقتران يتعرض للاختلال بسبب خسائر موازنة الأحمال المساعدة، ولكن يمكن محاكاته بفعالية بواسطة موجه "K-Means" خالي من المعلمات لتحقيق موازنة أحمال متفوقة.
يكشف معيار MEME أن الوكلاء الحاليين القائمين على النماذج اللغوية الكبيرة، رغم امتلاكهم لاسترجاع ثابت كافٍ، يفشلون جوهرياً في مهام الاستدلال بالاعتماد على تعدد الكيانات مثل التحديثات المتتالية، والغياب، والحذف، مع بقاء الحلول العملية مستعصية بسبب التكاليف الباهظة.
تقترح هذه الورقة وتثبت تجريبياً مبدأ مكافأة "من الشحيح إلى الكثيف" لمرحلة ما بعد التدريب للنماذج اللغوية، مظهرةً أن تخصيص البيانات القابلة للتحقق النادرة لتدريب نموذج معلم قوي بمكافآت شحيحة قبل نقل سلوكه إلى نموذج طالب أصغر عبر إشراف كثيف يتفوق على التعلم المعزز المباشر الشحيح على النموذج الطالب.
تقدم هذه الورقة البحثية "التدريب السريع-البطيء" (FST)، وهو إطار عمل يجمع بين معاملات النموذج الثابتة ("الأوزان البطيئة") والسياق المُحسَّن ("الأوزان السريعة") لتمكين النماذج اللغوية الكبيرة من التعلم من التغذية الراجعة النصية بكفاءة أكبر، وتحقيق أداء أعلى، والحفاظ على مرونة أكبر مع تقليل النسيان الكارثي بشكل كبير مقارنة بطرق تحديث المعاملات التقليدية.
تقدم هذه الورقة بحثًا حول VECA (انتباه النواة المرن البصري)، وهي بنية محول رؤية (Vision Transformer) تحقق تعقيدًا حسابيًا خطيًا ومعالجة عالية الدقة وقابلة للتوسع عبر استبدال الانتباه الذاتي الشامل التربيعي بهيكل نواة-محيط فعال حيث تتواصل رموز الرقع (patch tokens) حصريًا من خلال مجموعة صغيرة متعلمة من تضمينات النواة.
تقترح الورقة البحثية AlphaGRPO، وهو إطار عمل يعزز قدرات التوليد والتحسين الذاتي التأملي للنماذج متعددة الوسائط الموحدة دون مرحلة بدء بارد عبر تطبيق تحسين السياسة النسبي المجموعي الموجه بمكافأة التحقق التفكيكية (DVReward) المبتكرة من أجل إشراف مستقر وقابل للتفسير.
تقدم هذه الورقة طريقتي "التدرج الشرطي للمستوى" (LCG) الخالية من الإسقاط، وطريقة "التدرج الشرطي للمستوى بنقطة تقريبية غير دقيقة" (IPP-LCG)، اللتين تحققان تعقيدات تكرارية هي الأحدث في مجال حل مشكلات الأمثلة المقيدة للدوال المحدبة وغير المحدبة على التوالي، مع تحقيق توازن فعال بين تجنب المخاطر والندرة في تطبيقات مثل تحسين المحافظ الاستثمارية والعلاج الإشعاعي.