11070 ورقة بحثية
تقدم هذه الورقة إطار عمل التعلم المعزز ACA-RL ومعيار Missing-Premise Benchmark (MPB) اللذين يمكّنان نماذج الاستدلال من التعامل بفعالية مع الاستعلامات غير محددة المعالم عبر تعلم طلب المعلومات المفقودة، أو ربط الإجابات بالمجاهيل، أو الامتناع عن الإجابة، بدلاً من فرض استجابات غير صحيحة.
تُعد Palmyra x6 نموذجاً لغوياً وكيلياً موجهاً للمؤسسات، يحقق أداءً هو الأفضل في فئته على معايير استخدام الأدوات من خلال نهج تدريب لاحق محافظ ومنضبط باستخدام الضبط الدقيق الخاضع للإشراف والمثبّت على مجموعة بيانات مدمجة ومحققة.
تقدم هذه الورقة دراسة مقارنة عبر ستة معايير وأربعة نماذج تُظهر أنه في حين أن التفسيرات باللغة الطبيعية تعزز بشكل عام أداء التعلم داخل السياق، إلا أن فعاليتها تتباين بشكل كبير بناءً على مصدر التفسير (حيث تضاهي النماذج اللغوية الكبيرة الخارجية غالباً المبررات البشرية) واستراتيجية الاختيار، ولا سيما كشفها عن أن التصفية القائمة على الإخلاص تؤدي إلى نتائج غير متسقة وأن مقاييس الإخلاص المختلفة يمكن أن تؤدي إلى استنتاجات متباينة.
تُظهر هذه الورقة أن المقاييس التجميعية القياسية مثل درجات F1 يمكن أن تكون مضللة في الكشف عن الأخطاء السريرية، حيث إنها غالبًا ما تحجب ضعف أداء التمييز الزوجي والتحيزات اللغوية في النماذج اللغوية الكبيرة، مما يستلزم اعتماد طرق تقييم زوجية من أجل تطبيقات سريرية أكثر أمانًا.
تقدم هذه الورقة البحثية "Reconstruction" (إعادة البناء)، وهو معيار تقييم أعمى صُمم لاختبار ما إذا كان بإمكان النماذج اللغوية استعادة الأفكار البحثية الجوهرية للأوراق المنشورة باستخدام مراجعها السابقة للنشر فقط، مما يكشف أنه في حين تحقق النماذج الفردية نجاحًا متواضعًا، فإن خط إنتاج متعدد الوكلاء يجمع بين المراجعة عبر النماذج واختيار البطولة يحسن معدلات الاستعادة بشكل كبير لتصل إلى 23-42%.
تتحدى هذه الورقة الفرضية القائلة بأن رأس نموذج اللغة (language-model head) يخلق عنق زجاجة ضاراً في عملية التحسين، وذلك من خلال إثبات أنه بينما يؤدي الضغط الهندسي للتدرج العكسي (backward gradient) إلى زيادة كبيرة في خسارة التحقق (validation loss)، فإن هذا التأثير أقل حدة بكثير من تأثير الرأس الأمامي المُحلل (factorized forward head)، مما يشير إلى أن إسقاط رأس نموذج اللغة ليس هو السبب الرئيسي لعدم كفاءة التدريب.
تقدم هذه الورقة نظام "AffectLoop"، وهو نظام روبوت اجتماعي متعدد الوسائط ومتعاطف يغلق الحلقة الوجدانية من خلال التتبع الديناميكي للحالات العاطفية لكل من المتحدث والمستمع لتوليد استجابات لفظية وجسدية متوافقة، والتي أظهرت دراسة تجريبية أنها تحسن رضا المستخدم والتعافي من الضيق بشكل ملحوظ مقارنة بالنماذج المعتمدة على النصوص فقط.
تقدم هذه الورقة إطار عمل "المندوب الدلالي" (semantic bandit) لتوضيح أن مقايضات الاستكشاف والاستغلال في النماذج اللغوية الكبيرة تتأثر بشكل كبير بالبوادر الدلالية المستمدة من مرحلة ما قبل التدريب، حيث يمكن للتسميات المعلوماتية إما أن تعزز الأداء أو تضعفه اعتماداً على توافقها مع المكافآت، كما أن المكافآت السلبية تحفز الاستكشاف بشكل غير متناسب بسبب انحيازات النطاق المتوقعة.
تقدم هذه الورقة البحثية "تكرار السياسة مع التغذية الراجعة البشرية" (PIHF)، وهو إطار عمل يستفيد من ناقد يعتمد على نموذج لغوي وإشراف خبير سريري لتحسين السياسات ذات اللغة الطبيعية لتشخيص الأمراض النادرة بشكل تكراري، مما يظهر مكاسب كبيرة في الأداء عبر أحجام نماذج متنوعة دون تغيير أوزانها الأساسية.
تقدم الورقة البحثية "Proteus"، وهو نموذج جديد للتنشيط التدريجي للذاكرة يعمل على توسيع سعة الذاكرة الفعالة بشكل تصاعدي للتخفيف من تداخل الرموز المبكر وتحسين القدرة على الاستبقاء، مما يظهر مكاسب أداء ثابتة عبر مختلف النماذج الرائدة ذات السياق الطويل.