11683 ورقة بحثية
تقدم الورقة البحثية HPLT 3.0، وهي مبادرة مفتوحة توفر مجموعة بيانات متعددة اللغات بحجم 30 تريليون رمز لقرابة 200 لغة، مصحوبة بمسار معالجة مفتوح المصدر، ومعايير تقييم شاملة لتسع لغات أوروبية، ومجموعة من النماذج أحادية اللغة والمتوازية مسبقة التدريب.
تقدم الورقة البحثية "LoRA on the Go" (LoGo)، وهو إطار عمل لا يتطلب تدريباً يقوم باختيار ودمج محولات LoRA ديناميكياً على مستوى الحالة (instance level) أثناء الاستدلال باستخدام إشارات من تمريرة أمامية واحدة، محققاً أداءً تنافسياً أو متفوقاً عبر مهام معالجة اللغات الطبيعية المتنوعة دون الحاجة إلى بيانات مصنفة إضافية أو تدريب.
توسع هذه الورقة نطاق البيانات الوصفية في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة (LLM) بما يتجاوز عناوين URL، من خلال إثبات أن مؤشرات الجودة دقيقة التفاصيل، والتموضع الاستراتيجي (الإلحاق)، والرموز الوصفية القابلة للتعلم يمكن أن تسرع كفاءة التدريب وتعزز فعالية النموذج بشكل كبير.
تتحدى هذه الورقة مفهوم لحظات "وجدتها!" (Aha!) الجوهرية في نماذج الاستنتاج من خلال إثبات أن التحولات في منتصف عملية الاستدلال نادرة، وغير مرتبطة بالتقدم في التدريب، وغير فعالة عادةً، كاشفةً عنها بدلاً من ذلك كأعراض لاستقرار الاستدلال غير المستقر التي لا يمكن استغلالها لتحقيق مكاسب في الأداء إلا عند تحفيزها اصطناعياً في ظل حالة عالية من عدم اليقين.
تقدم الورقة البحثية Pearmut، وهي منصة خفيفة الوزن وغنية بالميزات صُممت لتبسيط إعداد وتنفيذ التقييم البشري لمهام معالجة اللغات الطبيعية متعددة اللغات، ولا سيما الترجمة الآلية، من خلال إزالة العوائق الهندسية ودعم البروتوكولات القياسية لجعل التقييم البشري الموثوق جزءًا روتينيًا من عملية تطوير النماذج.
تقدم هذه الورقة البحثية "التقليم الجشع" (greedy pruning)، وهي طريقة حافظة للاحتمالية تهدف إلى الإزالة التكرارية لرموز الاستدلال غير الضرورية، مما يثبت أن النماذج تشفر الأهمية الوظيفية داخلياً، وأن النماذج الطلابية التي تتدرب على هذه السلاسل المقلمة تتفوق على تلك التي تتدرب على السلاسل المضغوطة المستمدة من النماذج الرائدة.
تقترح هذه الورقة البحثية "الاستدلال المنطقي للخطوة الأولى" (FSLR)، وهو إطار عمل تدريبي كفء من حيث استهلاك الرموز (tokens) يعمل على الإشراف صراحةً على خطوة التخطيط الأولية لتعزيز فهم العلاقات المنطقية في النماذج اللغوية الكبيرة، مما يؤدي إلى تفوقه على التدريب بنظام "سلسلة الأفكار" (Chain-of-Thought) القياسي في كل من الدقة وكفاءة التدريب.
تقدم الورقة البحثية SpeakerSleuth، وهو معيار يكشف أنه بينما تمتلك النماذج اللغوية الصوتية الكبيرة مهارات تمييز صوتي متأصلة، إلا أنها تواجه صعوبة في الحكم بشكل موثوق على اتساق المتحدث في الحوارات متعددة الأدوار بسبب انحياز كبير نحو إعطاء الأولوية للتماسك النصي على حساب الإشارات الصوتية.
تجادل هذه الورقة بأنه في تقييم نماذج الرؤية واللغة، يجب فصل خصوصية الوصف عن طوله، مبرهنةً من خلال مجموعة بيانات مضبوطة أن الأوصاف الموجزة والمكثفة بالمعلومات مفضلة على الأوصاف المستفيضة، وأن كيفية تخصيص ميزانية الطول تؤثر بشكل كبير على الخصوصية.
تقترح الورقة البحثية إطار عمل ROSE، وهو إطار للتعلم التعزيزي للنماذج اللغوية الكبيرة يعزز كفاءة وتنوع الاستدلال من خلال دمج التفرع القائم على الإنتروبيا الدلالية، والاستكشاف بـ ، ومقدر ميزة على مستوى الجزء مدرك الطول للتغلب على قيود الطرق الحالية القائمة على بحث شجرة مونت كارلو (MCTS).