25254 ورقة بحثية
تكشف هذه الورقة أن الإسناد القائم على التدرج في نماذج المحولات يخطئ بشكل منهجي في تحديد الأهمية السببية عبر المبالغة في تقدير مكونات الطبقات المبكرة الفائضة عن الحاجة ("تضخم التدرج") والتقليل من شأن المكونات الحرجة في الطبقات المتأخرة ("الأبطال الخفيون")، مما يستلزم التحقق السببي لتجنب التفسيرات الآلية الخاطئة.
تفترض هذه الورقة وتقدم دليلاً على أن النماذج اللغوية الكبيرة تستخدم فضاءات فرعية وظيفية ضمن فضاء التنشيط الخاص بها، حيث تُحل مهام التعلم في السياق من خلال عمليات جبر متجهات بسيطة تراكم الأدلة.
تقدم هذه الورقة MathlibLemma، وهو مسار مؤتمت يعتمد على النماذج اللغوية الكبيرة لاكتشاف وصياغة لِمات "الفلكلور" المفقودة لتوسيع مكتبة Lean Mathlib، مع إنشاء معيار شامل يتضمن أكثر من 4,000 عبارة رياضية مُحققة للنهوض بالرياضيات المساعدة للذكاء الاصطناعي.
تقدم الورقة البحثية TodyComm، وهو خوارزمية اتصالات ديناميكية موجهة نحو المهام تعمل على تحسين التعاون متعدد الوكلاء القائم على النماذج اللغوية الكبيرة عبر جولات متعددة من خلال توليد توبولوجيا تكيفية مدفوعة بالسلوك عبر التدرج السياساتي، مما يتفوق بذلك على الأساليب ذات البنية الثابتة في البيئات العدائية الديناميكية والبيئات ذات عرض النطاق الترددي المحدود مع الحفاظ على كفاءة الرموز (tokens) والقابلية للتوسع.
تقدم هذه الورقة نماذج بديلة قائمة على النواة مع إجراء تقدير فعال يعتمد على التدرج لالتقاط التفاعلات غير الخطية للمهام بدقة من أجل عزو المهام بشكل قابل للتوسع، مما يتفوق بشكل كبير على البدائل الخطية ودوال التأثير في الارتباط مع الحقيقة الأرضية وأداء اختيار البيانات اللاحق.
تقدم هذه الورقة البحثية Agent-Omit، وهو إطار تدريب موحد يعزز كفاءة وكلاء النماذج اللغوية الكبيرة (LLM) من خلال تمكينهم من حذف الأفكار والملاحظات الزائدة بشكل تكيفي عبر الضبط الدقيق للبداية الباردة والتعلم التعزيزي المدرك للحذف، محققاً توازناً فائقاً بين الفعالية والكفاءة عبر معايير قياس متعددة.
تقدم هذه الورقة SE-Bench، وهي بيئة تشخيصية تعمل على تعمية مكتبة NumPy لتقييم التطور الذاتي بدقة من خلال عزل استيعاب المعرفة عن المعرفة المسبقة وتعقيد الاستدلال، مما يكشف أن التدريب بنظام الكتاب المغلق واللعب الذاتي أكثر فعالية من التدريب بنظام الكتاب المفتوح أو التعلم المعزز القياسي في دمج المعرفة الجديدة في أوزان النموذج.
تقترح هذه الورقة إطاراً قائماً على نظرية القرار للتحقق من الاتساق بين معتقدات الاحتمالية المستخلصة من النماذج اللغوية الكبيرة وبين قراراتها، كاشفةً أنه بينما تُظهر حتى أقوى النماذج تباينات طفيفة بين معتقداتها المعلنة وأفعالها، فإن هذه المعتقدات ليست ملخصات مثالية للمعلومات التي توجه خياراتها.
يُعدُّ HYPER سياسة تحكم آنية وخالية من التدريب لنماذج "خليط الخبراء" (mixture-of-experts)، حيث يوازن ديناميكيًا بين الاستكشاف والاستغلال أثناء التفكير في وقت الاختبار من خلال إدارة مجمع للفرضيات عبر التوسع، والتحسين على مستوى الرمز (token)، والتجميع القائم على الثقة، مما يؤدي إلى تحسين الدقة بشكل كبير مع تقليل استخدام الرموز.
تقدم هذه الورقة البحثية خوارزمية التعلم المعزز الموجه بالمسافة (DGRL)، وهي خوارزمية مبتكرة تتغلب على لعنة الأبعاد في فضاءات الأفعال المنفصلة الكبيرة (التي تصل إلى فعلًا) من خلال الجمع بين الأحياء الديناميكية المأخوذة بالعينة والتحديثات القائمة على المسافة لتحويل تحسين السياسة إلى مهمة انحدار مستقرة، مما يحقق تحسينات كبيرة في الأداء والتقارب مقارنة بأحدث الأساليب المتبعة.