11611 ورقة بحثية
تقدم الورقة البحثية TIDE، وهو أول إطار عمل للتقطير عبر البنيات لنماذج الانتشار اللغوية الكبيرة، والذي يستخدم ثلاثة مكونات مبتكرة لنقل المعرفة بنجاح من نماذج معلمة غير متجانسة بحجم 8 مليار و16 مليار معلمة إلى نموذج طالب بحجم 0.6 مليار، متفوقاً بشكل ملحوظ على النماذج المرجعية ذات التوليد الذاتي في اختبارات معيارية مثل توليد الكود.
تُظهر هذه الدراسة أن التقاليد الطهوية العالمية تلتزم بقوانين إحصائية عالمية تشبه تلك الموجودة في اللغة والأنظمة الرمزية الأخرى، مما يكشف أن هياكل الوصفات المعقدة تنبثق من عمليات توليدية بسيطة ومقيدة مثل إعادة الاستخدام التفضيلية والتعديل التدريجي.
تقدم هذه المقالة نظرة عامة على أحدث أساليب التعلم التعزيزي لمعالجة اللغات الطبيعية مع تركيز أساسي على الأنظمة القائمة على الحوار من خلال تحديد المشكلات ذات الصلة، وتحليل مدى ملاءمة هذه النهج وحدودها، ورسم اتجاهات البحث المستقبلية الواعدة.
تتقصى هذه الورقة التوافق الإدراكي بين النماذج اللغوية الكبيرة وتجارب اللمس البشرية من خلال مهمة "خمن نوع النسيج"، كاشفةً أنه في حين يوجد قدر من التوافق، إلا أنه يتفاوت بشكل كبير عبر أنواع المنسوجات المختلفة وغالباً ما يفشل في مطابقة التصورات الذاتية البشرية.
تقترح هذه الورقة طريقة مبتكرة لتقدير عدم اليقين في النماذج اللغوية الكبيرة من خلال تدريب نموذج انحدار على خرائط الانتباه، واحتمالات الرموز، ودرجات عدم اليقين المحسوبة تكرارياً للكشف بفعالية عن الهلوسة وتحسين التوليد الانتقائي عبر مجموعات ونماذج متعددة.
تقدم هذه الورقة طريقة جديدة للتقدير الكمي لعدم اليقين تحت الإشراف لنماذج اللغات الكبيرة، والتي تعمل على تكييف مسافة ماهالانوبيس مع تمثيلات التوكن (token-level embeddings) عبر طبقات متعددة، مما يظهر دقة وقدرة على التعميم تتفوق على النهج الحالية في مهام استخلاص الحقيقة في كل من توليد التسلسلات والتحقق من الحقائق.
بينما لا تُعد النماذج اللغوية الكبيرة موثوقة بما يكفي لتعمل كمُصنفات مستقلة لمهام كشف الأحداث، إلا أنها تعمل كمساعدات فعالة تقلل بشكل كبير من الوقت والجهد الذهني المطلوب من الخبراء البشريين لتنسيق مجموعات الأحداث وتصنيف المتغيرات.
تتفحص هذه الدراسة الاستقصائية بشكل شامل كيف تعمل النماذج اللغوية الكبيرة على تحويل الترجمة الآلية من خلال استراتيجيات متنوعة مثل التلقين، والضبط الدقيق، وتحسين التفضيلات، مع تركيز خاص على سيناريوهات الموارد المنخفضة، وسياقات مستوى المستند، وتحديات التقييم، لتؤطر في النهاية الترجمة الآلية القائمة على النماذج اللغوية الكبيرة كعملية تطور مدفوعة بجودة البيانات والمواءمة بدلاً من الحجم وحده.
تكشف هذه الدراسة أن نماذج الرؤية واللغة تظهر تحيزات شبيهة بالبشر من خلال زيادة ميلها بشكل كبير لإعادة مشاركة الأخبار الكاذبة عند وجود صور، وهي ثغرة تتفاقم أكثر بفعل سمات شخصية محددة وتتفاوت باختلاف بنيات النماذج.
تقدم هذه الورقة البحثية "N-rep"، وهي طريقة فعالة من حيث التكلفة لتحويل النص إلى SQL تحقق أداءً هو الأفضل في فئته على معيار BIRD بتكلفة تبلغ 0.039 دولار فقط لكل استعلام، وذلك عبر الاستفادة من تمثيلات متعددة للمخططات لضمان المتانة دون الاعتماد على استدلال "سلسلة الأفكار" المكلف أو الضبط الدقيق.