11158 ورقة بحثية
تقدم الورقة البحثية AAAC، وهي طريقة كمية ما بعد التدريب خفيفة الوزن تحقق ضغطاً فائقاً لأوزان النماذج اللغوية الكبيرة (LLMs) بدقة 4 بت عبر استخدام كتب رموز تكيفية مدركة للتنشيط لتقليل خطأ إعادة البناء مع عبء تخزين مهمل ووقت كمي أسرع بكثير مقارنة بالأساليب القائمة على التدرج.
تقدم هذه الورقة بنية "المزيج المتكرر المهيكل" (SRM)، وهي بنية مبتكرة تتيح التحويل الجبري بين التدريب المتوازي والاستدلال المتكرر لتحقيق كفاءة تدريب، وسعة معلوماتية، وإنتاجية استدلال متفوقة مقارنة بالنماذج الحالية ذات التعقيد الخطي، مع إظهار مكاسب كبيرة في الأداء في كل من المعايير القياسية ومهام التعلم المعزز.
يقدم هذا البحث AgentForesight، وهو إطار عمل يتميز بمراقب آني مدمج تم تدريبه على مجموعة بيانات AFTraj-2K المنقحة حديثًا للتنبؤ بالأخطاء الحاسمة وتحديد مواقعها في الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة في الوقت الفعلي، مما يتيح التدخل أثناء وقت النشر بدلاً من الاعتماد على عزو الفشل بعد حدوثه.
تثبت هذه الورقة أن الانحيازات المعرفية، مثل أثر الأولوية والارتكاز، هي نتائج حتمية رياضياً لقصور المعالجة المتسلسلة في كل من نماذج الذكاء الاصطناعي ذات التوليد الذاتي والإدراك البشري، مما يبرهن من خلال البراهين النظرية والتحقق التجريبي على أن هذه الانحيازات تمثل استجابات عقلانية للموارد وليست مجرد أخطاء.
يُعد AdaPreLoRA مُحسِّنًا مبتكرًا لتقنية LoRA يعالج مشكلة التفرد في مسبق المترادفات للفضاء العاملي (factor-space preconditioner) عبر اعتماد مسبق مترادفات كرونيكر قطري (diagonal Kronecker preconditioner) قائم على Adafactor في فضاء الأوزان، واختيار تحديث عاملي ذي صيغة مغلقة يقلل من عدم التوازن المرجح بـ ، مما يحقق أداءً تنافسيًا عبر مختلف النماذج والمهام مع الحفاظ على انخفاض عبء الذاكرة.
تتقصى هذه الورقة بشكل منهجي التقليم الهيكلي وتقطير المعرفة لضغط نماذج خليط الخبراء (MoE) واسعة النطاق أثناء مرحلة ما قبل التدريب، مبرهنةً على أن التقليم يوفر تهيئة فائقة، وأن جداول الضغط التدريجية تتفوق على أساليب الخطوة الواحدة، وأن الجمع بين نمذجة اللغة وتقطير التنبؤ متعدد الرموز يحقق أداءً تنافسياً في نموذج أصغر حجماً بشكل ملحوظ.
تقدم هذه الورقة "الترميز الصوتي المعجمي" (LAC)، وهو إطار عمل تتواصل فيه وكلاء النماذج اللغوية الكبيرة (LLM) المدربة مسبقًا عبر الصوت من خلال تحويل الموجات الصوتية إلى أوصاف نصية إنجليزية قابلة للتفسير وإعادة بنائها عبر صقل الحلقة المغلقة، مما يعامل اللغة الطبيعية فعليًا كتمثيل نقل فاقد ذي معدل محدود للصوت.
تقترح الورقة البحثية SimReg، وهي طريقة لتنظيم تشابه التضمين في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة، تعمل على تقليل التباين داخل الفئة الواحدة وتقليل التشابه بين الفئات لتسريع التقارب بنسبة تزيد عن 30% وتحسين أداء الصفر المعرفي (zero-shot) في المهام اللاحقة بأكثر من 1%.
تكشف هذه الورقة أنه بينما تستطيع النماذج اللغوية الكبيرة تحديد أبعاد التجذر عند استجوابها صراحةً، إلا أنها تظهر "فجوة تجذر" كبيرة مقارنة بالبشر من خلال الاعتماد المفرط على الارتباطات اللفظية والفشل في استدعاء مفاهيم الحالات العاطفية والداخلية بشكل طبيعي أثناء التوليد الحر.
تقدم هذه الورقة SeedRG، وهي مسار لتوليد معايير قياسية شبه اصطناعية يخفف من حدة تسرب المعرفة وتقادم المعايير في تقييم التوليد المعزز بالاسترجاع (RAG) عن طريق استخراج رسوم بيانية للاستدلال من البيانات البذرية وتوليد أمثلة جديدة مشابهة هيكلياً لا يمكن الإجابة عليها من الذاكرة البارامترية للنماذج اللغوية الكبيرة (LLM).