11158 ورقة بحثية
تقيم هذه الدراسة أدوات الذكاء الاصطناٍ التوليدي المختلفة لإنشاء الشرائح التعليمية، حيث وجدت أن مساعدي البرمجة ينتجون محتوى أكثر سلامة من الناحية التربوية، وأن الطلاب يعتبرون الشرائح المُنشأة بواسطة الذكاء الاصطناعي مماثلة في الجودة لتلك التي أنشأها البشر، وغالباً ما يربطون الجودة المنخفضة المتصورة بمصدر الذكاء الاصطناعي.
تقترح هذه الورقة مساراً لاستبدال معلومات الهوية الشخصية (PII) على الجهاز باستخدام نموذج لغوي صغير ببت واحد (1-bit) مع ترويسة أمثلة قليلة دوارة مشروطة بالموقع الجغراكي لمنع استرجاع الأمثلة، مما يكشف أنه بينما يولد هذا النهج نصوصاً أكثر طبيعية من الطرق القائمة على القواعد، فإنه يضر في النهاية بأداء التعرف على الكيانات المسماة (NER) في المهام اللاحقة بسبب عدم كفاية تنوع بيانات التدريب.
تقدم الورقة البحثية RealICU، وهو معيار مرجعي مشروح ببيانات استرجاعية، يقيم نماذج اللغات الكبيرة على بيانات وحدة العناية المركزة طويلة السياق باستخدام حقائق مرجعية راجعها الأطباء، مما يكشف أن النماذج الحالية تعاني من صعوبات في الموازنة بين الاستدعاء والسلامة وتحيزات الارتكاز رغم تحسن بنيات الذاكرة.
تقدم هذه الورقة البحثية "تحسين السياسة غير المرتبط بالمكافأة" (RDPO)، وهي طريقة مبتكرة توظف التنميط الربعي المدرك للمقدار وتبييض ماهالانوبيس لتثبيت تقدير الميزة في التعلم المعزز متعدد المكافآت، مما يؤدي إلى تحسين أداء النموذج في اتباع التعليمات، والكتابة، والمتانة دون المساس بقدرات الاستنتاج أو البرمجة.
تحدد هذه الورقة البحثية "انهيار القابلية للتعلم المحلي" في عملية التقطير داخل السياسة من القوي إلى الضعيف، حيث تفشل الإشراف الموحد بسبب نقص التغذية الراجعة التمييزية من المعلم في أجزاء المسار المتأخرة، وتقترح قاعدة تحرير خاصة بالمسار تعمل على قطع الإشراف الكثيف عند اكتشاف نقطة تغيير هبوطية للتفوق باستمرار على الطرق القياسية عبر مختلف المعايوهات.
تُثبت هذه الورقة أن طرق التدريب المسبق منخفضة الرتبة، على الرغم من تحقيقها لدرجة تشتت (perplexity) في التحقق مماثلة للتدريب كامل الرتبة، تتقارب نحو حلول متميزة هندسياً وطيفياً ذات تمثيلات داخلية وأداء في المهام اللاحقة متباين، مما يستلزم إطار تقييم أوسع يتجاوز مجرد درجة التشتت وحدها.
تقدم هذه الورقة تصنيفاً جديداً للدعاية يركز على القصد، وطريقة التلقين الهرمي (HiPP)، مما يثبت أن الضبط الدقيق للنماذج اللغوية باستخدام هذا النهج يحسن بشكل كبير من المتانة والأداء عبر مخططات ترميز متنوعة، لا سيية في مجموعات البيانات الغامضة ومنخفضة الاتفاق.
تُثبت هذه الورقة أن النماذج اللغوية الكبيرة المدمجة ذات الـ 8 مليارات بارامتر، عند ضبطها بدقة باستخدام بيانات تعليمية مصممة من قبل خبراء، يمكنها توليد قصص قراءة باللغة الإنجليزية للأطفال بصعوبة قابلة للتحكم ومعايير سلامة تتفوق على النماذج الكبيرة ذات القدرات الصفرية مثل GPT-4o وLlama 3.3 70B في مقاييس الصعوبة، مع بقائها فعالة من حيث التكلفة للاستخدام التعليمي واسع النطاق.
في نظام تدريب مسبق ضئيل النطاق يقل عن ٢٥ مليون معلمة، تتفوق نماذج خليط الخبراء على النماذج الكثيفة الأساسية عند مطابقتها في عدد المعلمات النشطة، لكنها تفشل في تجاوزها عند مطابقتها في سعة إجمالي عدد المعلمات.
تقترح هذه الورقة إطار عمل للكشف عن الهلوسة على مستوى الخطوة، يحدد أخطاء الاستدلال باعتبارها انحرافات موضعية في هندسة نقل الحالة الخفية، وذلك باستخدام معلم يعتمد على تحليل المكونات الرئيسية التبايني (PCA) وطالب (BiLSTM) مُقطّر للتفوق على خطوط الأساس الحالية في تحديد موقع الخطأ الأول أثناء الاستدلال بمرور واحد.