11683 ورقة بحثية
توسع هذه الورقة نطاق البيانات الوصفية في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة (LLM) بما يتجاوز عناوين URL، من خلال إثبات أن مؤشرات الجودة دقيقة التفاصيل، والتموضع الاستراتيجي (الإلحاق)، والرموز الوصفية القابلة للتعلم يمكن أن تسرع كفاءة التدريب وتعزز فعالية النموذج بشكل كبير.
تتحدى هذه الورقة مفهوم لحظات "وجدتها!" (Aha!) الجوهرية في نماذج الاستنتاج من خلال إثبات أن التحولات في منتصف عملية الاستدلال نادرة، وغير مرتبطة بالتقدم في التدريب، وغير فعالة عادةً، كاشفةً عنها بدلاً من ذلك كأعراض لاستقرار الاستدلال غير المستقر التي لا يمكن استغلالها لتحقيق مكاسب في الأداء إلا عند تحفيزها اصطناعياً في ظل حالة عالية من عدم اليقين.
تقدم الورقة البحثية Pearmut، وهي منصة خفيفة الوزن وغنية بالميزات صُممت لتبسيط إعداد وتنفيذ التقييم البشري لمهام معالجة اللغات الطبيعية متعددة اللغات، ولا سيما الترجمة الآلية، من خلال إزالة العوائق الهندسية ودعم البروتوكولات القياسية لجعل التقييم البشري الموثوق جزءًا روتينيًا من عملية تطوير النماذج.
تقدم هذه الورقة البحثية "التقليم الجشع" (greedy pruning)، وهي طريقة حافظة للاحتمالية تهدف إلى الإزالة التكرارية لرموز الاستدلال غير الضرورية، مما يثبت أن النماذج تشفر الأهمية الوظيفية داخلياً، وأن النماذج الطلابية التي تتدرب على هذه السلاسل المقلمة تتفوق على تلك التي تتدرب على السلاسل المضغوطة المستمدة من النماذج الرائدة.
تقترح هذه الورقة البحثية "الاستدلال المنطقي للخطوة الأولى" (FSLR)، وهو إطار عمل تدريبي كفء من حيث استهلاك الرموز (tokens) يعمل على الإشراف صراحةً على خطوة التخطيط الأولية لتعزيز فهم العلاقات المنطقية في النماذج اللغوية الكبيرة، مما يؤدي إلى تفوقه على التدريب بنظام "سلسلة الأفكار" (Chain-of-Thought) القياسي في كل من الدقة وكفاءة التدريب.
تقدم الورقة البحثية SpeakerSleuth، وهو معيار يكشف أنه بينما تمتلك النماذج اللغوية الصوتية الكبيرة مهارات تمييز صوتي متأصلة، إلا أنها تواجه صعوبة في الحكم بشكل موثوق على اتساق المتحدث في الحوارات متعددة الأدوار بسبب انحياز كبير نحو إعطاء الأولوية للتماسك النصي على حساب الإشارات الصوتية.
تجادل هذه الورقة بأنه في تقييم نماذج الرؤية واللغة، يجب فصل خصوصية الوصف عن طوله، مبرهنةً من خلال مجموعة بيانات مضبوطة أن الأوصاف الموجزة والمكثفة بالمعلومات مفضلة على الأوصاف المستفيضة، وأن كيفية تخصيص ميزانية الطول تؤثر بشكل كبير على الخصوصية.
تقترح الورقة البحثية إطار عمل ROSE، وهو إطار للتعلم التعزيزي للنماذج اللغوية الكبيرة يعزز كفاءة وتنوع الاستدلال من خلال دمج التفرع القائم على الإنتروبيا الدلالية، والاستكشاف بـ ، ومقدر ميزة على مستوى الجزء مدرك الطول للتغلب على قيود الطرق الحالية القائمة على بحث شجرة مونت كارلو (MCTS).
تقدم هذه الورقة "رموز التوجيه التركيبية" (compositional steering tokens)، وهي طريقة تدمج سلوكيات اللغة الطبيعية في رموز الإدخال وتتعلم رمز تركيب مخصص لتمكين التوجيه متعدد السلوكيات بفعالية في وضع الصفر (zero-shot)، وهو ما يتفوق على الأساليب القائمة على التنشيط والأساليب القائمة على التعليمات.
تقدم هذه الورقة البحثية MFMDScen، وهو معيار مرجعي شامل متعدد اللغات يقيم الانحيازات السلوكية في 22 نموذجاً من النماذج اللغوية الكبيرة عبر سيناريوهات اقتصادية متنوعة، كاشفةً عن استمرار وجود انحيازات كبيرة في كل من النماذج التجارية والمفتوحة المصدر عند اكتشاف المعلومات المالية المضللة.