11158 ورقة بحثية
يُعد ZeroSearch إطار عمل جديد للتعلم التعزيزي يتغلب على التكاليف الباهظة وعدم استقرار جودة البيانات في تدريب محركات البحث الواقعية، وذلك عبر استخدام وحدة بحث محاكاة خفيفة الوزن وقائمة على المنهج الدراسي لتحفيز وتعزيز قدرات البحث لدى النماذج اللغوية الكبيرة بفعالية.
تقترح الورقة البحثية إطار عمل "التقطير الموجه بالنقد" (CGD)، وهو إطار تدريب يفصل بين توليد النقد واستهلاكه عبر استخدام نقد المعلم كإشارة إشرافية مخصصة لوقت التدريب فقط لتنقيح استجابات الطالب، مما يحقق أداءً استدلاليًا فائقًا ويحافظ على القدرات العامة مقارنة بالأساليب التي تتطلب من النماذج توليد النقد أثناء الاستدلال.
تستعرض هذه الورقة طريقة مبتكرة وغير جراحية للحفاظ على الخصوصية لتصنيف نوع الشعر ورطوبته باستخدام إشارات التشتت الصوتي والتعلم العميق، محققةً دقة تقارب 90% من خلال الضبط الدقيق لنموذج التعلم الذاتي.
تُثبت هذه الدراسة أن مسار التعلم الاتحادي الحافظ للخصوصية، والذي يجمع بين تضمينات النصوص المجمدة ومصنفات الشبكات العصبية متعددة الطبقات (MLP) خفيفة الوزن، يحقق أداءً تنافسياً لتصنيف رموز ICD متعددة التسميات في ملاحظات MIMIC-IV السريرية، مما يثبت أن جودة التضمين أكثر أهمية من تعقيد النموذج لضمان قابلية التوسع في الذكاء الاصطناعي الطبي.
تتقصى هذه الدراسة تحيزات الصور النمطية والانحراف في أربعة من نماذج اللغات الكبيرة المتقدمة من خلال تحليل ملفات التعريف الفردية التي تولدها، كاشفةً أن جميع النماذج التي فُحصت تظهر تحيزات كبيرة في ربط المجموعات الديموغرافية بسمات محددة وفي الابتعاد عن التوزيعات الديموغرافية الواقعية.
تقترح الورقة البحثية طريقة QWHA، وهي طريقة ضبط دقيق فعالة في معلمات تدمج محولات تعتمد على تحويل والش-هادامارد مع مخطط تهيئة مبتكر للتخفيف بفعالية من أخطاء التكميم وتقليل العبء الحسابي في النماذج اللغوية الكبيرة، متفوقة بذلك على الأساليب الحالية القائمة على الرتب المنخفضة والأساليب القائمة على فوريه من حيث الدقة وسرعة التدريب.
تقدم هذه الورقة أول دراسة منهجية حول كيفية تسبب تنويعات مطور البرامج الواقعية، مثل الأخطاء الإملائية والأسماء المختلقة، في إثارة هلوسات المكتبات في الكود المولد بواسطة النماذج اللغوية الكبيرة (LLM)، مما يكشف عن ثغرات أمنية كبيرة ويقدم معيار LibHalluBench لتمكين التقييم والحد من هذه المخاطر بشكل قابل للتكرار.
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة يمكنها التفوق على البشر في مهمة تتطلب تقليديًا تخيلًا ذهنيًا تصويريًا من خلال الاعتماد فقط على التمثيلات القضوية، مما يقدم دليلًا على وجود "خيال اصطناعي" ناشئ يتحدى وجهة نظر العلوم المعرفية التي تقضي بأن التخيل البصري يستلزم صيغًا تصويرية.
تقترح هذه الورقة البحثية "التقطير ذاتي التصفية" (SFD)، وهو إطار عمل مبتكر يعزز التصنيف الموثوق لبراءات الاختراع من خلال التعامل مع التعليلات التي تولدها النماذج اللغوية الكبيرة كمؤشرات ثقة ديناميكية بدلاً من كونها تسميات حقائق أرضية، مما يؤدي إلى تصفية الأخطاء المنطقية وتحقيق تحسينات كبيرة في الأداء على مجموعات البيانات واسعة النطاق من خلال آلية متكاملة لتسجيل الثقة غير الخاضعة للإشراف.
إن Dr. LLM هو إطار عمل قابل للتعديل يزود النماذج اللغوية الكبيرة مسبقة التدريب بموجهات خفيفة الوزن تخضع لإشراف بحث شجرة مونت كارلو (MCTS) لتخطي أو تنفيذ أو تكرار طبقات المحولات ديناميكيًا، مما يحقق وفورات كبيرة في الحوسبة مع تحسين أو الحفاظ على الدقة عبر مهام متنوعة دون تغيير أوزان النموذج الأساسي.