27318 ورقة بحثية
تقدم هذه الورقة تقنيات بسيطة وقابلة للتوسع لإثبات أن التخطيط الضمني —وهو آلية تقوم من خلالها النماذج اللغوية بتوجيه الرموز الوسيطة نحو أهداف مستقبلية مثل القوافي أو الإجابات— هو قدرة عالمية موجودة حتى في النماذج الصغيرة التي يصل حجمها إلى مليار معلمة، مما يقدم رؤى جديدة للسلامة والتحكم في الذكاء الاصطناعي.
تقترح هذه الورقة "التكييف بالبادئات الفاشلة"، وهي طريقة تعزز تدريب نماذج الاستدلال على المسائل المشبعة عبر التكييف على بادئات لمسارات خاطئة نادرة لدفع الاستكشاف نحو الحالات المعرضة للفشل، مما يساهم في استخراج إشارات تعلم قيمة دون الحاجة إلى جمع بيانات جديدة مكلفة.
تُظهر هذه الدراسة أن المناهج الدراسية ذات الدوافع اللغوية في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة تعزز بشكل أساسي استقرار التدريب وتقلل من ضجيج التدرج في النماذج الأصغر من خلال تغيير مدة مراحل التعلم الكامن المشتركة، بدلاً من إنشاء مراحل جديدة، مع تضاؤل هذه الفوائد عند مقاييس النماذج الأكبر.
تكشف هذه الورقة أن ضبط في مُحسِّن "آدم" (Adam) هو الخيار الأمثل لأنه يضمن بشكل فريد عدم التغير في مقياس التدرج من الدرجة الأولى، وهي خاصية هيكلية تفسر التحسينات الملحوظة تجريبياً في استقرار التدريب والأداء عبر المهام المتنوعة.
تقدم هذه الورقة بنية "خليط من الخبراء" (Mixture-of-Experts) خاضعة للإشراف تُمكّن سياسات التعلم بالتقليد خفيفة الوزن من تحقيق إمساك وسحب جراحي قوي وفعال من حيث البيانات على الأنسجة القابلة للتشوه باستخدام الصور التنظيرية ثلاثية الأبعاد فقط وأقل من 150 عرضاً توضيحياً، متفوقة بشكل كبير على النماذج القياسية في كل من سيناريوهات التوزيع الداخلي وسيناريوهات التوزيع الخارجي الصعبة، مع إثبات نقل ناجح لصفر من الأمثلة (zero-shot transfer) إلى عمليات جراحية على أنسجة خارج الجسم وعمليات أولية على الخنازير.
تقدم هذه الورقة إنتاج المعلومات القابل للتحكم (CIP)، وهو إطار عمل جديد للدافع الجوهري يرتكز على الأنظمة الديناميكية والتحكم الأمثل، يوحد الذكاء الفيزيائي مع إنتاج المعلومات، مما يمكن الوكلاء من إتقان مهام معقدة مثل الاعتدال الذاتي للبشر الآليين عبر دفع الأنظمة نحو حافة الفوضى القابلة للتحكم.
يُعد ScholarPeer إطار عمل متعدد الوكلاء مدركاً للسياق يعمل على تعزيز عملية مراجعة النظراء من خلال محاكاة سير عمل باحث أقدم لتقديم التوجيه قبل التقديم والتحقق بعد التقديم، مُظهراً أداءً فائقاً في تدقيق السلامة التقنية وتحديد المقارنات المغفلة على مجموعة بيانات واسعة النطاق من أوراق مؤتمر ICLR المقدمة.
تكشف هذه الورقة أن الإسناد القائم على التدرج في نماذج المحولات يخطئ بشكل منهجي في تحديد الأهمية السببية عبر المبالغة في تقدير مكونات الطبقات المبكرة الفائضة عن الحاجة ("تضخم التدرج") والتقليل من شأن المكونات الحرجة في الطبقات المتأخرة ("الأبطال الخفيون")، مما يستلزم التحقق السببي لتجنب التفسيرات الآلية الخاطئة.
تفترض هذه الورقة وتقدم دليلاً على أن النماذج اللغوية الكبيرة تستخدم فضاءات فرعية وظيفية ضمن فضاء التنشيط الخاص بها، حيث تُحل مهام التعلم في السياق من خلال عمليات جبر متجهات بسيطة تراكم الأدلة.
تقدم هذه الورقة MathlibLemma، وهو مسار مؤتمت يعتمد على النماذج اللغوية الكبيرة لاكتشاف وصياغة لِمات "الفلكلور" المفقودة لتوسيع مكتبة Lean Mathlib، مع إنشاء معيار شامل يتضمن أكثر من 4,000 عبارة رياضية مُحققة للنهوض بالرياضيات المساعدة للذكاء الاصطناعي.