11419 ورقة بحثية
تتقصى هذه الورقة بشكل منهجي التقليم الهيكلي وتقطير المعرفة لضغط نماذج خليط الخبراء (MoE) واسعة النطاق أثناء مرحلة ما قبل التدريب، مبرهنةً على أن التقليم يوفر تهيئة فائقة، وأن جداول الضغط التدريجية تتفوق على أساليب الخطوة الواحدة، وأن الجمع بين نمذجة اللغة وتقطير التنبؤ متعدد الرموز يحقق أداءً تنافسياً في نموذج أصغر حجماً بشكل ملحوظ.
تقدم هذه الورقة "الترميز الصوتي المعجمي" (LAC)، وهو إطار عمل تتواصل فيه وكلاء النماذج اللغوية الكبيرة (LLM) المدربة مسبقًا عبر الصوت من خلال تحويل الموجات الصوتية إلى أوصاف نصية إنجليزية قابلة للتفسير وإعادة بنائها عبر صقل الحلقة المغلقة، مما يعامل اللغة الطبيعية فعليًا كتمثيل نقل فاقد ذي معدل محدود للصوت.
تقترح الورقة البحثية SimReg، وهي طريقة لتنظيم تشابه التضمين في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة، تعمل على تقليل التباين داخل الفئة الواحدة وتقليل التشابه بين الفئات لتسريع التقارب بنسبة تزيد عن 30% وتحسين أداء الصفر المعرفي (zero-shot) في المهام اللاحقة بأكثر من 1%.
تكشف هذه الورقة أنه بينما تستطيع النماذج اللغوية الكبيرة تحديد أبعاد التجذر عند استجوابها صراحةً، إلا أنها تظهر "فجوة تجذر" كبيرة مقارنة بالبشر من خلال الاعتماد المفرط على الارتباطات اللفظية والفشل في استدعاء مفاهيم الحالات العاطفية والداخلية بشكل طبيعي أثناء التوليد الحر.
تقدم هذه الورقة SeedRG، وهي مسار لتوليد معايير قياسية شبه اصطناعية يخفف من حدة تسرب المعرفة وتقادم المعايير في تقييم التوليد المعزز بالاسترجاع (RAG) عن طريق استخراج رسوم بيانية للاستدلال من البيانات البذرية وتوليد أمثلة جديدة مشابهة هيكلياً لا يمكن الإجابة عليها من الذاكرة البارامترية للنماذج اللغوية الكبيرة (LLM).
تتحدى هذه الورقة الافتراض القائل بأن التفسير الآلي يزداد سوءاً بطبيعته مع حجم النموذج، مبرهنةً بدلاً من ذلك على أن الخيارات المعمارية مثل انتباه الاستعلام المجموع وعتبات القياس المحددة تؤدي إلى تحديد أكثر تركيزاً واستقراراً للدوائر في النماذج اللغوية الكبيرة.
تقترح هذه الورقة طريقة فعالة حاسوبياً للكشف عن الهلوسة تستبدل حسابات الاتساق الدلالي المكلفة المستخدمة في مناهج التعلم التداخلي متعدد الوسائط (MIL) المتطورة بشبكة تجميع قصوى (max-pooling) وطبقة إدراك متعدد الطبقات (MLP) خفيفة الوزن، محققةً أداءً تنافسياً من خلال الاستفادة من الرؤى النظرية حول توسيع هامش القرار.
تكشف هذه الورقة أن النماذج اللغوية الكبيرة ذات التكميم المفرط تعاني من تدهور منهجي في السلاسة يؤدي إلى رداءة جودة التوليد، وتقترح مبدأً حافظاً للسلاسة يحقق مكاسب في الأداء تتجاوز مجرد التحسينات في الدقة العددية.
تقدم هذه الورقة FragileFlow، وهو منظم إضافي (plug-in regularizer) يعمل على صياغة والتحكم في أخطاء التنبؤ "الصحيحة ولكن الهشة" عبر تحليل طيفي مدرك للهامش (margin-aware spectral analysis) لتحسين متانة الحالة الأسوأ (worst-class robustness) في النماذج التأسيسية مع الحفاظ على دقة البيانات النظيفة.
تكشف هذه الورقة أن خلفية (MPS) الخاصة بشركة أبل تظهر طفرات زمنية غير رتيبة وغير متوقعة أثناء الاستدلال التوليدي (autoregressive inference)، حيث يمكن لأداء فك الترميز أن يتدهور فجأة بمقدار يصل إلى 21 ضعفاً لإعدادات محددة بسبب ديناميكيات تنفيذ الخلفية، مما يتناقض مع التوسع السلس الملحوظ في أنظمة المعالجات المركزية (CPU) وأنظمة (NVIDIA CUDA).