24831 ورقة بحثية
تقدم الورقة البحثية إطار عمل "الاسترجاع المعزز بالذاكرة المرتبة" (ERMAR)، الذي يستفيد من آلية مبتكرة لتسجيل الصلة وإعادة ترتيب نقطي لتمثيلات (key-value) لإدارة الذاكرة طويلة المدى ديناميكيًا، محققًا أداءً وتوسعًا رائدين في مهام نمذجة اللغة ذات السياق الطويل.
تقدم LogQuant تقنية تكميم ببتين موزعة لوغاريتميًا (log-distributed 2-bit quantization) لمخازن KV cache، مما يحسن بشكل كبير من إنتاجية الاستدلال، وحجم الدفعة، ودقة المهام للنماذج اللغوية الكبيرة مع الحفاظ على بصمة ذاكرة دنيا.
تثبت هذه الدراسة تجريبياً أن النماذج اللغوية الكبيرة الأصغر حجماً والقابلة للنشر محلياً غالباً ما توفر بديلاً مستداماً وفعالاً من حيث التكلفة للنماذج الأكبر في المهام التنظيمية اليومية، داعيةً إلى التحول من معايير قياس تعظيم الأداء إلى تقييمات الكفاية الواعية بالسياق.
تُظهر هذه الدراسة أنه في حين أن إخفاء الهوية التلقائي للكلام المرضي يؤدي بشكل كبير إلى تدهور الجودة المدركة ويظل قابلاً للاكتشاف بدرجة عالية من قبل المستمعين، فإنه يحافظ إلى حد كبير على تقييمات الشدة السريرية، مما يكشف عن انفصال حرج بين مقاييس الخصوصية الحسابية القياسية والنتائج الإدراكية، وهو ما يستلعي إجراء تقييم مُصنف حسب الاضطراب والمستمع من أجل النشر السريري.
تقدم هذه الورقة RAP، وهو إطار عمل مدفوع بالتعلم المعزز يعمل على تكييف استراتيجيات تقليم استنتاج النماذج اللغوية الكبيرة ديناميكيًا في الوقت الفعلي من خلال التحسين المشترك لأوزان النموذج والاحتفاظ بذاكرة التخزين المؤقت لـ KV لتعظيم المنفعة في ظل ميزانيات ذاكرة وظروف عمل متغيرة.
تقدم الورقة البحثية SIPO، وهو إطار عمل مستقر ومحسن لتحسين التفضيلات لنماذج الانتشار يعالج عدم استقرار التدريب وانحياز السياسة الخارجية من خلال آلية مبتكرة لقص التدرج وإعادة وزن الأهمية الواعية بالخطوات الزمنية، مما يظهر أداءً فائقاً عبر مهام توليد الصور والفيديو.
تُثبت هذه الورقة أن نماذج لغة "خليط الخبراء" (MoE) يمكن أن تتفوق على نظيراتها الكثيفة في ظل قيود موارد متساوية تماماً (إجمالي المعلمات، والحوسبة، والبيانات) من خلال تحديد معدل تنشيط أمثل يظل ثابتاً عبر أحجام النماذج المختلفة، وهو اكتشاف تم التحقق من صحته من خلال تجارب مكثفة تضمنت تدريب ما يقرب من 250 نموذجاً ومعالجة 50 تريليون رمز.
تقدم هذه الورقة إطار عمل قابلاً للتوسع وقائماً على المخرجات لتقييم محاذاة الذكاء الاصطناعي من خلال تحديد ستة موضوعات قيم جوهرية، مظهرةً أنه بينما تعيد 75 نموذجاً لغوياً كبيراً إنتاج ترتيب القيم البشرية باستمرار، إلا أنها غالباً ما تتباين في معايرة القيم، مع تفاوت دقة الملف التعريفي بشكل مستقل عن حجم النموذج أو قدراته.
تقدم هذه الورقة OSWorld-Human، وهو معيار مرجعي مُعلق يدوياً يكشف أن وكلاء استخدام الكمبيوتر الحاليين يعانون من زمن انتقال وكفاءة باهظين، ويرجع ذلك أساساً إلى كثرة استدعاءات النماذج للتخطيط والتفكير، مما يؤدي إلى استغراقهم في تنفيذ المهام عدداً من الخطوات يزيد بمقدار 2.7 إلى 4.3 مرة عن البشر.
يُعد CooT إطار عمل مبتكر يسخر التعلم في السياق لتمكين الأنظمة متعددة الوكلاء من التكيف بسرعة وقوة مع الشركاء غير المألوفين دون تحديثات للمعلمات، متفوقاً بذلك على الأساليب القائمة على السكان، والضبط الدقيق، والتعلم المعزز الميتا، في اختبارات مرجعية مثل Overcooked وGoogle Research Football.