23164 ورقة بحثية
تقدم هذه الورقة نموذج عالم قائم على الانتشار يتغلب على مقايضة الذاكرة والدقة في البنيات الحالية من خلال دمج خبراء ذاكرة متخصصة قصيرة المدى، وحلقية، ومكانية عبر صيغة تباينية لـ "حاصل ضرب الخبراء"، محققاً بذلك تنبؤاً مستقبلياً عالي الدقة وقابلاً للتوسع دون تكاليف حوسبة تربيعية.
تقدم هذه الورقة أول تحليل منهجي لمصادر الخطأ في الإسناد القائم على المسار، حيث تحدد عدم التوافق في المُحسِّن كقضية مهيمنة، وتقترح "AdamW-influence"، وهو وكيل خطأ ذو صيغة مغلقة، وإطار عمل استباقي لـ K-خطوة لتحسين دقة الإسناد بشكل كبير وتقديم إرشادات عملية لاختيار البيانات الموثوق.
يُعد DynaTrain نظام تدريب موزع يتيح إعادة التشكيل عبر الإنترنت في أقل من ثانية للنماذج اللغوية الكبيرة عبر أبعاد توازٍ تعسفية، وذلك من خلال الاستفرد بتجريد مساحة المعلمات الافتراضية ومدير أجهزة مرن للقضاء على عبء الأداء الناتج عن انتقالات الحالة التقليدية القائمة على نقاط الفحص.
تقدم هذه الورقة بنية خدمات مصغرة وتجربة تشغيلية لنشر مسارات الذكاء الاصطناعي للمستندات على نطاق واسع، مع تسليط الضوء على قرارات التصميم مثل فصل مهام وحدة معالجة الرسومات (GPU) عن مهام وحدة المعالجة المركزية (CPU)، وكشف أن زمن انتقال التعرف الضوئي على الحروف (OCR) وسعة وحدة معالجة الرسومات المشتركة، وليس تعقيد النموذج أو عدد العمال، هما العائقان الأساسيان في بيئة الإنتاج.
تُرسخ هذه الورقة البحثية "الاشتراط الفعال" كخاصية جوهرية تُمكّن نماذج "الكاذب المستمر" (Constant Liar)، و"مؤمن الكريجينج" (Kriging Believer)، والنماذج الخيالية من توليد نقاط دفعات متنوعة بفعالية في التحسين البايزي المتوازي، مما يوحد هذه الأساليب تحت إطار نظري واحد ويُثبت تفوقها على النماذج البديلة غير المشروطة من خلال كل من البراهين الصارمة والتجارب المكثفة.
تقدم هذه الدراسة استعراضاً شاملاً لتعلم الآلة الكمي الخصومي، حيث تفصل الأسس النظرية للمجال، ونواقل الهجوم الحالية، واستراتيجيات الدفاع، والتحديات الناشئة مع تقاطع الحوسبة الكمية مع أمن تعلم الآلة.
تقترح هذه الورقة البحثية "Hybrid-LoRA"، وهو إطار عمل لما بعد التدريب يجمع استراتيجياً بين الضبط الدقيق الكامل لمجموعة فرعية صغيرة وعالية الحساسية من الوحدات وبين التكيف منخفض الرتبة (Low-Rank Adaptation) لبقية الوحدات، محققاً أداءً يضاهي الضبط الدقيق الكامل مع تقليل التكاليف الحسابية بشكل كبير والتفوق على النماذج المرجعية الحالية الموفرة للمعلمات في مهام الاستدلال المعقدة.
تقدم هذه الورقة إطار عمل مؤتمتًا متعدد الوكلاء لإنشاء معايير مرجعية دقيقة وغنية بالبيانات الوصفية، قائمة على مواد مرجعية توفر موثوقية فائقة في الحقائق المرجعية وتغطية شاملة للكفاءات مقارنة بالتقييمات الحالية مثل MMLU وGSM8K.
تقدم هذه الورقة SAECache، وهي سياسة طرد ذاكرة مؤقتة دلالية متكيفة تستفيد من قيم إعادة الاستخدام المتفاوتة لأنواع الرموز المختلفة من خلال بنية متعددة الطوابير والتعلم عبر الإنترنت لتحسين كفاءة خدمة النماذج اللغوية الكبيرة بشكل كبير مع القضاء على الحاجة إلى الضبط اليدوي للمعلمات.
تقترح هذه الورقة انتباه -، وهو بارامتريّة مستقرة تفكك مكونات التوجيه والترشيح في الانتباه للكشف عن شلال طيفي يعتمد على العمق، مما يتيح ضغطاً كبيراً للنموذج وخطيّةً للطبقات المبكرة مع حد أدنى من فقدان الاندهاش.