23845 ورقة بحثية
تكشف هذه الورقة أنه في حين تتوافق النماذج اللغوية الكبيرة مع تقييمات الإبداع البشري فيما يتعلق بالخصائص الجوهرية مثل الجدة، إلا أنها تتباعد بشكل كبير بسبب اعتمادها على معايير أضيق خاصة بالنماذج وعدم حساسيتها للمعلومات السياقية، مما يجعل اختيار نموذج لغوي كبير محدد كـمُقيّم قراراً ذا عواقب وخيمة لتقييم الإبداع.
تُعد IFCLoRA طريقة لتخصيص الرتب تعتمد على الطوبولوجيا، حيث تستفيد من رسم بياني تفاعلي مشروط بالمهمة ومن مركزية تدفق المعلومات لتعيين الرتب المثلى مسبقاً لنماذج المحولات (Transformer) قبل عملية الضبط الدقيق، مما يؤدي إلى تحسين الأداء في كفاءة المعلمات مقارنة بالطرق التكيفية الحالية مع الحفاظ على تكاليف تدريب مماثلة.
تقدم هذه الورقة البحثية طريقة "تجزئة بادئة البايت" (BPM)، وهي طريقة استخلاص معرفة جديدة تعتمد على السياسة الموحدة عبر أجهزة الترميز (cross-tokenizer on-policy distillation)، تعمل على إعادة التعبير عن توزيعات النموذج المعلم عبر مساحة بايت مشتركة للحفاظ على الكتلة الاحتمالية وتحسين أداء النموذج الطالب عبر معايير الرياضيات والبرمجة.
إنّ SiPhy هو إطار عمل موحد يستنتج الخصائص الفيزيائية مثل الكتلة والصلابة والمرونة من صورة واحدة بنظام RGB عبر مواءمة الإشارات البصرية المدركة ثلاثية الأبعاد مع المعرفة المادية القائمة على اللغة، محققاً أداءً هو الأفضل في فئته يتجاوز طرق إعادة البناء متعددة المشاهد الحالية.
تقدم هذه الورقة مفهوم التعقيد السببي لتوضيح أن بنيات التعلم العميق المقنعة مثل الشبكات العصبية المتكررة (RNNs) ومحولات الانتباه الخطي (linear-attention transformers) محدودة جوهرياً في حل عملية الفهرسة الأولية عندما يظهر الفهرس في نهاية المدخلات، في حين يمكن لمحولات الـ softmax والمحولات غير المقنعة ذات الانتباه الخطي حلها بكفاءة، وهو فصل نظري تؤكده التجارب التجريبية.
تقدم الورقة البحثية PRIMS، وهو نموذج محول متعدد الوسائط مدرك للفيزياء يدمج مبادئ ميكانيكا السوائل في بنيته لتحقيق تحديد دقيق للغاية، وفعال من حيث البيانات، وقوي لتحديد السوائل على الأجهزة تحت ظروف تشغيل متغيرة، متفوقاً بشكل كبير على الأساليب الحالية الرائدة مع استخدام عدد أقل بكثير من المعلمات.
تجادل هذه الورقة بأن فروق الأداء بين المحسنات من نمط Hyperball مثل MuonH وMuonWD مدفوعة أساساً بتطور حجم الخطوة الفعال وجدولة معدل التعلم بدلاً من كونها ناتجة عن اتجاه تحديث متفوق جوهرياً، مما يشير إلى أن الجدولة الدقيقة تظل ضرورية رغم السرعة الزاوية الثابتة التي توفرها هذه الطرق.
تُظهر هذه الدراسة أن النماذج التأسيسية الصوتية مسبقة التدريب وعامة الأغراض تُشفّر بطبيعتها علاقات تطورية عميقة في أصوات الثدييات البحرية والطيور، متفوقةً بذلك على الميزات المصممة يدويًا والنماذج المتخصصة في مجال معين دون الحاجة إلى تدريب مسبق خاص بكل نوع.
يُعد TRACE-Router إطار عمل للتوجيه على مستوى المهام يقوم بتعيين سير العمل الوكيل إلى نموذج لغوي كبير واحد عند الاستقبال، ويقوم بتحديث السياسات بناءً على مكافآت متأخرة على مستوى المهمة، مما يجعله يتفوق على الموجهات الحالية لكل استدعاء من حيث المقايضة بين الدقة وزمن الاستجابة عبر معايير متعددة.
تقترح الورقة البحثية -LoRA، وهي طريقة ضبط دقيق انتقائية تحدد وتحدث فقط مصفوفات LoRA ذات الأعداد الشرطية الأكبر —تلك التي تحتوي على اتجاهات غير مطورة— مما يؤدي إلى خفض عدد المعلمات القابلة للتدريب إلى النصف وتقليل التكاليف الحسابية مع الحفاظ على دقة LoRA القياسية.