12380 ورقة بحثية
تقترح هذه الورقة البحثية طريقة "الاستيعاب الداخلي للمطالبات التوليدية" (GenPI)، وهي طريقة تدريب مشترك خفيفة الوزن تُمكّن النماذج اللغوية الكبيرة من توليد واستيعمال المطالبات المعقدة وما يكمن وراءها من منطق بشكل ذاتي، مما يحقق أداءً عالياً واستدلالاً فعالاً دون العبء الحسابي للمطالبات الطويلة الصريحة.
تقدم هذه الورقة SCALE، وهو إطار عمل جديد متعدد الوكلاء يحاكي تحليل محتوى العلوم الاجتماعية التعاوني من خلال الجمع بين وكلاء النماذج اللغوية الكبيرة والتدخل البشري لتحقيق أداء يقارب الأداء البشري في ترميز النصوص، والمناقشة، وتطور دليل الرموز الديناميكي.
تُعد ZeroTuning طريقةً لا تعتمد على التدريب ولا ترتبط بنواة محددة، تعمل على تعزيز النماذج اللغوية الكبيرة المجمدة من خلال تطبيق تعديلات خفيفة الوزن على الانتباه الخاص بالرؤوس للرمز الأول، متفوقةً بذلك على طرق التدخل على مستوى الرمز الحالية عبر مهام متنوعة.
تُثبت هذه الورقة أن التصحيح الذاتي الجوهري في النماذج اللغوية الكبيرة مدفوع بتوجيه التمثيلات الخفية على طول اتجاهات كامنة قابلة للتفسير، وهي آلية تم التحقق من صحتها من خلال تحليل المحاذاة وتدخلات التنشيط السببية.
تُعد WAVE++ نهجاً جديداً قائماً على المطالبات لاستخراج العلاقات المستمر، حيث تعمل على التخفيف من النسيان الكارثي والتعامل مع تغيرات المهام من خلال استخدام مجموعات مطالبات خاصة بكل مهمة، وأوصاف للتسميات، ونموذج توليدي لدمج المعرفة دون الحاجة إلى تخزين البيانات بشكل صريح.
تقدم هذه الورقة البحثية ARC-JSD، وهي طريقة فعالة حاسبياً تستخدم تباعد جينسن-شانونون (Jensen-Shannon Divergence) لنسب الاستجابات المولدة بدقة إلى أجزاء سياقية محددة في أنظمة التوليد المعزز بالاسترجاع (RAG) دون الحاجة إلى ضبط دقيق، مع توفير رؤى ميكانيكية حول رؤوس الانتباه وطبقات MLP المحددة المسؤولة عن هذا النسب.
تقدم الورقة البحثية CK-Arena، وهو معيار اختبار ديناميكي متعدد الوكلاء يعتمد على لعبة الاستنتاج الاجتماعي "Undercover"، والمصمم لتقييم ما إذا كانت النماذج اللغوية الكبيرة تتقن حقاً البنى المفاهيمية أم أنها تعتمد مجرد اعتماد على حفظ الأنماط السطحية.
تتقصى هذه الورقة بشكل منهجي التحيز القائم على النوع الاجتماعي والعرق في نماذج الرؤية واللغة من خلال تحليل الحالات الخفية الداخلية وتوزيعات الاحتمالات، مكتشفةً أن التحيز غالباً ما يستمر في درجات الثقة وفي مسارات متبقية محددة، وتقترح إطار عمل لاحقاً يسمى RES-FAIR للتخفيف من حدة هذه التحيزات عن طريق إعادة معايرة ديناميكيات الحالة الخفية.
تقدم الورقة البحثية نموذج Budget EAGLE (Beagle)، وهو بنية لفك التشفير الاستنتاجي تعتمد على الانتباه المتقاطع (cross-attention) بشكل مبسط، وتحقق أداءً يضاهي نماذج الانتباه الذاتي (self-attention) الحديثة مع توفير كفاءة تدريب محسنة وبساطة هيكلية من خلال طريقة تدريب مبتكرة تعتمد على "انتباه الكتلة ذات المرحلتين" (Two-Stage Block-Attention Training).
تقارن هذه الورقة البحثية بشكل منهجي بين نماذج فك التشفير المشترك بين الكلام والنص، وتقترح نمط "التوقف المبكر المتداخل" (ESI) الجديد لتسريع سرعة الاستدلال بشكل كبير مع الحفاظ على الأداء أو تحسينه في نماذج اللغة الكلامية.