23609 ورقة بحثية
تحلل هذه الورقة التفكيك الذاتي للقيم الذاتية لمصفوفة جاكوبي في النماذج اللغوية الكبيرة لتكشف أن التدريب يستحث تدرجاً طيفياً رتيباً من الطبقات المبكرة التي يهيمن عليها الدوران إلى الطبقات المتأخرة المتماثلة، مما يخلق عنق زجاجة منخفض الرتبة يربط ديناميكياً بين انتشار الاضطراب والضغط إلى الطوبولوجيا الوظيفية للشبكة.
تقدم هذه الورقة MM-SOLD، وهو عيّن جسيمات تفاعلي لا يتطلب تدريباً يفرض عزم البيانات طوال مسار أخذ العينات لتحقيق أخذ عينات توليدي سريع وقوي وتنافسي دون التكلفة الحسابية لتدريب نماذج الانتشار العصبية.
تقدم هذه الورقة البحثية طريقة "إمالة الخسارة المستحثة بالهدف" (TILT)، وهي طريقة جديدة للتكيف غير الخاضع للإشراف مع تغير النطاق في ظل وجود انزياح في التغاير، حيث تعمل على تفكيك المتنبئ لاستحثاث أوزان أهمية ذاتية التمركز ومحدودة بشكل ضمني، مما يوفر ضمانات نظرية ويظهر أداءً فائقاً على النماذج المرجعية الحالية في كل من مهام الانحدار وتصنيف الصور.
يُعد ForcingDAS إطار عمل موحداً وقوياً لاستيعاب البيانات مبنياً على تقنية "الانتشار القسري" (Diffusion Forcing)، حيث يتعلم مساراً سابقاً مشتركاً للتغلب على تراكم الأخطاء في طرق الترشيح التقليدية والتخصص في الأنظمة الموجودة في النماذج المتعلمة، مما يُمكّن نموذجاً واحداً مدرباً من أداء مهام التنبؤ الآني، والتنعيم، وإعادة التحليل بسلاسة عبر مختلف معايير الأرصاد الجوية والمناخ.
يُعد MetaMoE إطار عمل يحافظ على الخصوصية، حيث يوحد الخبراء المتخصصين في مجالات محددة والمدربين بشكل مستقل في نموذج واحد من نوع "خليط الخبراء" (Mixture-of-Experts)، وذلك عبر الاستفادة من الاختيار الواعي للتنوع في البيانات العامة البديلة لتقريب التوزيعات الخاصة وتنسيق تعلم الخبراء دون الوصول إلى بيانات العملاء الحساسة.
تقترح هذه الورقة MMGuard، وهي آلية دفاع استباقية تولد أمثلة متعددة الوسائط غير قابلة للتعلم عن طريق حقن اضطرابات غير محسوسة للبشر وتعطيل الروابط بين الوسائط المتعددة لمنع الضبط الدقيق غير المصرح به لنماذج الرؤية واللغة الكبيرة، مما يحمي حقوق الطبع والنشر وخصوصية مالكي البيانات.
تُثبت هذه الورقة أن تعديلاً طفيفاً يعتمد على عقوبة التنوع في تقييم الاحتفاظ بذاكرة التخزين المؤقت لمفاتيح القيم (KV-cache) يتفوق على سبعة تصميمات هيكلية أكثر تعقيداً في مجال الاستدلال الرياضي طويل الصيغة تحت ميزانيات ذاكرة ضيقة، مما يرسخ بروتوكول تقييم صارماً ومسجلاً مسبقاً يكشف عن هذا التباين في الأداء.
تقترح هذه الورقة إطار عمل جديد للتحقق من نماذج المحولات (transformer) يعزز الدقة عبر الاستفادة من تجريدات قائمة على دالة ReLU لتحديد حدود نواتج الضرب النقطي في طبقات الانتباه الذاتي بدقة، مما يقلل بشكل كبير من الإنذارات الكاذبة مقارنة بطرق التقريب المحدب الحالية مع الحفاظ على كفاءة مقبولة.
تقترح هذه الورقة البحثية "تحسين السياسة الهجين" (HPO)، وهي طريقة جديدة للتعلم التعزيزي تجمع بين تدرجات المسار وتدرجات دالة الدرجة لتمكين التدريب غير المنحاز والفعال في فضاءات العمل الهجينة المتقطعة والمستمرة، مما يتفوق بشكل كبير على النهج القياسية مثل (PPO) في مشكلات التحكم عالي الأبعاد ومشكلات المخزون.
تقترح هذه الورقة إطار عمل "الأولوية المستحثة لغوياً" (LIP) الذي يستفيد من الأوصاف النصية الخبيرة والنماذج اللغوية الكبيرة سابقة التدريب لتوجيه اختيار النطاق المصدر في التكيف مع النطاقات عند البداية الباردة، مما يقلل بفعالية من الانتقال السلبي مع ضمان الاتساق التقاربي.