24055 ورقة بحثية
تقدم الورقة البحثية إطار عمل MAC، وهو إطار متعدد الوكلاء يعزز الاكتشاف السببي من خلال الجمع بين الاختيار الذاتي للخوارزميات الإحصائية والمناظرة التنافسية لنموذج لغوي كبير حول البيانات الوصفية، محققاً أداءً فائقاً ومتانة عبر مختلف المعاير مقارنة بالطرق الإحصية وطرق النماذج اللغوية الكبيرة أحادية الوكيل الحالية.
تقدم هذه الورقة دراسة تجريبية شاملة لتقنيات التكميم FP8 وINT8 وINT4 عبر عائلة نماذج Llama-3.1، كاشفةً أن FP8 غير فاقد للمعلومات فعلياً، وأن INT8 المضبط جيداً يتسبب في حد أدنى من فقدان الدقة، وأن INT4 تنافسي للغاية، مع تقديم توصيات نشر قائمة على البيانات توازن بين الدقة والأداء لمختلف سيناريوهات الاستدلال.
تقدم هذه الورقة "درجة المحاكاة" (Mimic Score)، وهي مقياس قائم على الهندسة يقيم فائدة البيانات من خلال محاذاة تدرجات العينات مع أوزان النموذج المدرب مسبقاً، وتقترح إطار عمل "Grad-Mimic" للاستفادة من هذا المقياس في تسريع التدريب عبر الإنترنت بكفاءة وتصفية البيانات دون اتصال بالإنترنت، مما يقلل بشكل كبير من التكاليف الحسابية ومتطلبات العينات مع تحسين أداء النموذج.
تُثبت هذه الورقة أن دمج أهداف التعلم التعزيزي، لا سيما مع التحفظ، في التعلم التعزيزي داخل السياق غير المتصل (offline in-context reinforcement learning) يتفوق بشكل كبير على الأساليب الخاضعة للإشراف الحالية مثل تقطير الخوارزمية (Algorithm Distillation) عبر بيئات وظروف مجموعات بيانات متنوعة.
يُعد Doc-CoB إطار عمل يعزز فهم المستندات في النماذج اللغوية الكبيرة متعددة الوسائط من خلال توظيف استراتيجية استدلال "سلسلة الصناديق" البصرية من الخشن إلى الناعم، والتي تركز تدريجياً على مناطق التخطيط ذات الصلة بالاستعلام مع الحفاظ على السياق العالمي، مدعوماً بمجموعة بيانات جديدة تضم 249 ألف عينة تدريبية.
تقدم هذه الورقة البحثية MP-SSM، وهو إطار عمل موحد يدمج مبادئ نماذج فضاء الحالة مباشرة في بنية الشبكة العصبية لتمرير الرسائل لتحقيق انتشار فعال للمعلومات بعيد المدى ومتماثل التبديل، مع تمكين تحليل الحساسية الدقيق والتنفيذ المتوازي الأمثل لكل من الرسوم البيانية الثابتة والزمنية.
تقدم هذه الورقة طريقة للتحكم الدقيق في النوع الموسيقي في نموذج MusicGen عبر تطبيق توجيه التنشيط أثناء الاستدلال على المجرى المتبقي للنموذج باستخدام أوزان المسبار الخطي، مما يتيح مزجاً دقيقاً وقابلاً للتفسير لمختلف الأنماط الموسيقية من أجل التوليد الإبداعي المشترك.
تبحث هذه الورقة في جدوى التنبؤ بالتقدم في الوقت الفعلي في نماذج اللغة الاستدلالية من خلال إثبات أن الحالات الخفية تشفر معلومات التقدم وأن النماذج التي تم ضبطها دقيقًا يمكنها توليد تقديرات دقيقة للتقدم، حيث تُظهر النماذج الأكبر استقرارًا أكبر في التصنيف بسبب انخفاض التباين في طول الحل المتبقي.
تُعد PICACO طريقة مبتكرة للمحاذاة في سياق التعليمات تعالج عقبة التعليمات في التعامل مع القيم البشرية التعددية من خلال تحسين تعليمات وصفية عبر تعظيم الارتباط الكلي، مما يمكّن النماذج اللغوية الكبيرة من موازنة قيم متعددة ومتضاربة بفعالية دون الحاجة إلى الضبط الدقيق.
تتقصى هذه الورقة الآليات الداخلية لأسلوب "سلسلة الأفكار" (Chain-of-Thought) عبر تتبع تدفق المعلومات عبر مراحل فك التشفير، والإسقاط، والتنشيط، كاشفةً عن أنه يعمل كمقلص لمساحة فك التشفير بتوجيه من نماذج الإجابات، ويعدل مشاركة العصبونات بشكل مختلف اعتماداً على ما إذا كانت المهمة مفتوحة النطاق أو مغلقة النطاق.