28108 ورقة بحثية
تُظهر هذه الدراسة أن المناهج الدراسية ذات الدوافع اللغوية في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة تعزز بشكل أساسي استقرار التدريب وتقلل من ضجيج التدرج في النماذج الأصغر من خلال تغيير مدة مراحل التعلم الكامن المشتركة، بدلاً من إنشاء مراحل جديدة، مع تضاؤل هذه الفوائد عند مقاييس النماذج الأكبر.
تكشف هذه الورقة أن ضبط في مُحسِّن "آدم" (Adam) هو الخيار الأمثل لأنه يضمن بشكل فريد عدم التغير في مقياس التدرج من الدرجة الأولى، وهي خاصية هيكلية تفسر التحسينات الملحوظة تجريبياً في استقرار التدريب والأداء عبر المهام المتنوعة.
تقدم هذه الورقة بنية "خليط من الخبراء" (Mixture-of-Experts) خاضعة للإشراف تُمكّن سياسات التعلم بالتقليد خفيفة الوزن من تحقيق إمساك وسحب جراحي قوي وفعال من حيث البيانات على الأنسجة القابلة للتشوه باستخدام الصور التنظيرية ثلاثية الأبعاد فقط وأقل من 150 عرضاً توضيحياً، متفوقة بشكل كبير على النماذج القياسية في كل من سيناريوهات التوزيع الداخلي وسيناريوهات التوزيع الخارجي الصعبة، مع إثبات نقل ناجح لصفر من الأمثلة (zero-shot transfer) إلى عمليات جراحية على أنسجة خارج الجسم وعمليات أولية على الخنازير.
تقدم هذه الورقة إنتاج المعلومات القابل للتحكم (CIP)، وهو إطار عمل جديد للدافع الجوهري يرتكز على الأنظمة الديناميكية والتحكم الأمثل، يوحد الذكاء الفيزيائي مع إنتاج المعلومات، مما يمكن الوكلاء من إتقان مهام معقدة مثل الاعتدال الذاتي للبشر الآليين عبر دفع الأنظمة نحو حافة الفوضى القابلة للتحكم.
يُعد ScholarPeer إطار عمل متعدد الوكلاء مدركاً للسياق يعمل على تعزيز عملية مراجعة النظراء من خلال محاكاة سير عمل باحث أقدم لتقديم التوجيه قبل التقديم والتحقق بعد التقديم، مُظهراً أداءً فائقاً في تدقيق السلامة التقنية وتحديد المقارنات المغفلة على مجموعة بيانات واسعة النطاق من أوراق مؤتمر ICLR المقدمة.
تكشف هذه الورقة أن الإسناد القائم على التدرج في نماذج المحولات يخطئ بشكل منهجي في تحديد الأهمية السببية عبر المبالغة في تقدير مكونات الطبقات المبكرة الفائضة عن الحاجة ("تضخم التدرج") والتقليل من شأن المكونات الحرجة في الطبقات المتأخرة ("الأبطال الخفيون")، مما يستلزم التحقق السببي لتجنب التفسيرات الآلية الخاطئة.
تفترض هذه الورقة وتقدم دليلاً على أن النماذج اللغوية الكبيرة تستخدم فضاءات فرعية وظيفية ضمن فضاء التنشيط الخاص بها، حيث تُحل مهام التعلم في السياق من خلال عمليات جبر متجهات بسيطة تراكم الأدلة.
تقدم هذه الورقة MathlibLemma، وهو مسار مؤتمت يعتمد على النماذج اللغوية الكبيرة لاكتشاف وصياغة لِمات "الفلكلور" المفقودة لتوسيع مكتبة Lean Mathlib، مع إنشاء معيار شامل يتضمن أكثر من 4,000 عبارة رياضية مُحققة للنهوض بالرياضيات المساعدة للذكاء الاصطناعي.
تقدم الورقة البحثية TodyComm، وهو خوارزمية اتصالات ديناميكية موجهة نحو المهام تعمل على تحسين التعاون متعدد الوكلاء القائم على النماذج اللغوية الكبيرة عبر جولات متعددة من خلال توليد توبولوجيا تكيفية مدفوعة بالسلوك عبر التدرج السياساتي، مما يتفوق بذلك على الأساليب ذات البنية الثابتة في البيئات العدائية الديناميكية والبيئات ذات عرض النطاق الترددي المحدود مع الحفاظ على كفاءة الرموز (tokens) والقابلية للتوسع.
تقدم هذه الورقة نماذج بديلة قائمة على النواة مع إجراء تقدير فعال يعتمد على التدرج لالتقاط التفاعلات غير الخطية للمهام بدقة من أجل عزو المهام بشكل قابل للتوسع، مما يتفوق بشكل كبير على البدائل الخطية ودوال التأثير في الارتباط مع الحقيقة الأرضية وأداء اختيار البيانات اللاحق.