24888 ورقة بحثية
تدعو هذه الورقة إلى نهج "العلوم المعرفية الحسابية الطبيعية" الذي يدمج التقدم في الذكاء الاصطناعي مع أبحاث العلوم المعرفية والأعصاب لتطوير نظريات ونماذج قابلة للتعميم قادرة على تفسير الطيف الكامل للسلوك الطبيعي مع الحفاظ على الدقة التجريبية.
تجادل هذه الورقة بأن أبحاث سلامة النماذج اللغوية الكبيرة الحالية تعوقها ضوضاء وتناقضات كبيرة عبر مسار التقييم، وتقترح إرشادات منهجية لتحسين متانة وعدالة وقابلية مقارنة تقييمات الهجوم والدفاع المستقبلية.
تقدم هذه الورقة البحثية إطار عمل "بحث شجرة مونت كارلو بتدرج الأفعال" (AGMCTS)، وهو إطار عمل مبتكر يعزز التخطيط عبر الإنترنت في عمليات ماركوف لاتخاذ القرار المعتمدة على الأفعال المستمرة (PO)MDPs من خلال دمج البحث الشجري العالمي مع تحسين الأفعال المحلي القائم على التدرج، وتوفير ضمانات نظرية لتقدير القيمة المتسق من خلال "شجرة أخذ العينات المتعددة للأهمية" ونظريات تدرج درجات الأفعال.
تقدم الورقة البحثية إطار عمل "الاسترجاع المعزز بالذاكرة المرتبة" (ERMAR)، الذي يستفيد من آلية مبتكرة لتسجيل الصلة وإعادة ترتيب نقطي لتمثيلات (key-value) لإدارة الذاكرة طويلة المدى ديناميكيًا، محققًا أداءً وتوسعًا رائدين في مهام نمذجة اللغة ذات السياق الطويل.
تقدم LogQuant تقنية تكميم ببتين موزعة لوغاريتميًا (log-distributed 2-bit quantization) لمخازن KV cache، مما يحسن بشكل كبير من إنتاجية الاستدلال، وحجم الدفعة، ودقة المهام للنماذج اللغوية الكبيرة مع الحفاظ على بصمة ذاكرة دنيا.
تثبت هذه الدراسة تجريبياً أن النماذج اللغوية الكبيرة الأصغر حجماً والقابلة للنشر محلياً غالباً ما توفر بديلاً مستداماً وفعالاً من حيث التكلفة للنماذج الأكبر في المهام التنظيمية اليومية، داعيةً إلى التحول من معايير قياس تعظيم الأداء إلى تقييمات الكفاية الواعية بالسياق.
تُظهر هذه الدراسة أنه في حين أن إخفاء الهوية التلقائي للكلام المرضي يؤدي بشكل كبير إلى تدهور الجودة المدركة ويظل قابلاً للاكتشاف بدرجة عالية من قبل المستمعين، فإنه يحافظ إلى حد كبير على تقييمات الشدة السريرية، مما يكشف عن انفصال حرج بين مقاييس الخصوصية الحسابية القياسية والنتائج الإدراكية، وهو ما يستلعي إجراء تقييم مُصنف حسب الاضطراب والمستمع من أجل النشر السريري.
تقدم هذه الورقة RAP، وهو إطار عمل مدفوع بالتعلم المعزز يعمل على تكييف استراتيجيات تقليم استنتاج النماذج اللغوية الكبيرة ديناميكيًا في الوقت الفعلي من خلال التحسين المشترك لأوزان النموذج والاحتفاظ بذاكرة التخزين المؤقت لـ KV لتعظيم المنفعة في ظل ميزانيات ذاكرة وظروف عمل متغيرة.
تقدم الورقة البحثية SIPO، وهو إطار عمل مستقر ومحسن لتحسين التفضيلات لنماذج الانتشار يعالج عدم استقرار التدريب وانحياز السياسة الخارجية من خلال آلية مبتكرة لقص التدرج وإعادة وزن الأهمية الواعية بالخطوات الزمنية، مما يظهر أداءً فائقاً عبر مهام توليد الصور والفيديو.
تُثبت هذه الورقة أن نماذج لغة "خليط الخبراء" (MoE) يمكن أن تتفوق على نظيراتها الكثيفة في ظل قيود موارد متساوية تماماً (إجمالي المعلمات، والحوسبة، والبيانات) من خلال تحديد معدل تنشيط أمثل يظل ثابتاً عبر أحجام النماذج المختلفة، وهو اكتشاف تم التحقق من صحته من خلال تجارب مكثفة تضمنت تدريب ما يقرب من 250 نموذجاً ومعالجة 50 تريليون رمز.