11750 ورقة بحثية
يُعد DR-LoRA إطار عمل للتكيف الديناميكي مع الرتب لضبط نماذج "خليط الخبراء" (Mixture-of-Experts)، وهو يعالج عدم كفاءة التخصيص الموحد للمعلمات من خلال التوسيع التدريجي لرتب الخبراء الحرجة للمهمة بناءً على تكرار التوجيه وأهمية التدرج، مما يحقق أداءً فائقاً من خلال توزيع الرتب غير المتجانس.
تقترح هذه الورقة إطار عمل ذا مرحلتين ومدركاً للمُحسِّن لاختيار البيانات عبر الإنترنت في عملية الضبط الدقيق للنماذج اللغوية الكبيرة، والذي يعالج قيود الطرق غير المتصلة بالإنترنت من خلال صياغة الاختيار كمسألة مطابقة للتحديث وتوظيف خوارزمية "التصفية ثم التوزين" لتحسين التقارب والأداء في المهام اللاحقة.
تقدم هذه الورقة البحثية معيار الإدراك الشمي (OP)، وهو مجموعة بيانات تتكون من 1,010 سؤالاً صُممت لتقييم قدرة النماذج اللغوية الكبيرة على التفكير في الرائحة، مما يكشف أن النماذج الحالية تعتمد أساساً على الارتباطات اللفظية بدلاً من الاستنتاج الجزيئي البنيوي، وتحقق دقة قصوى تبلغ 64.4% مع إظهار تحسن في الأداء من خلال التجميع متعدد اللغات.
تُظهر هذه الدراسة أن نهجاً هجيناً يجمع بين مسار استخراج بيانات Camelot PDF ونموذج لغة كبير من نوع Qwen 2.5:14b كخيار احتياطي يحقق دقة فائقة وكفاءة حوسبية أعلى لاستخراج بيانات تسجيل المساقات الأكاديمية من ملفات PDF على أجهزة حوسبة استهلاكية مقارنة باستخدام النماذج اللغوية الكبيرة وحدها.
تقدم هذه الورقة البحثية إطار عمل E-STEER، وهو إطار عمل قابل للتفسير لتوجيه تمثيلات الحالة الخفية مباشرةً باستخدام إشارات عاطفية مهيكلة، مما يثبت أن عواطف محددة يمكن أن تعزز بشكل غير رتيب قدرات نماذج اللغات الكبيرة في التفكير، والسلامة، وسلوكيات الوكيل متعددة الخطوات بطرق تتوافق مع النظريات النفسية.
تقترح هذه الورقة نهجاً قائماً على النماذج اللغوية الكبيرة يدمج بين التلقين القائم على الأمثلة القليلة الديناميكية، والتحسين الذاتي القائم على التأمل، والتحقق متعدد المراحل لتحديد وتحديد أولويات الكفاءات الشخصية الخاصة بمتطلبات الوظيفة بدقة، محققةً أداءً يضاهي الخبراء البشريين في اختيار الموظفين.
يُعدّ Dynin-Omni أول نموذج تأسيسي شامل الأنماط يعتمد على الانتشار المقنع (masked-diffusion)، حيث يوحد فهم وتوليد النصوص والصور والكلام والفيديو ضمن بنية واحدة، محققاً أداءً هو الأفضل في فئته عبر مختلف معايير الاختبار متعددة الوسائط، مع إثبات إمكانات الانتشار المقنع كنموذج موحد للنمذجة من أي نوع إلى أي نوع آخر.
تقدم هذه الورقة المبررات التصميمية، ومحاولة التنفيذ، وتحليل الفشل لـ "إيلا" (Eyla)، وهي بنية نموذج لغوي كبير (LLM) مرتكزة على الهوية وتدمج الأولويات البيولوجية، مع توثيق رحلة تطوير غير ناجحة لشخص غير مبرمج بلغت تكلفتها أكثر من 1,000 دولار بمساعدة الذكاء الاصطناعي لاستخلاص خمسة أنماط فشل منهجية ودروس مستفادة لكل من أنظمة الذكاء الاصطناعي وهندسة البرمجيات.
تُظهر هذه الدراسة التجريبية أن النماذج اللغوية الكبيرة تفتقر بشكل جوهري إلى القدرة على إدراك أو تقدير وقت استنتاجها الخاص، حيث تنتج باستمرار تنبؤات غير دقيقة لما قبل المهمة، واستذكارات لاحقة، وأحكام ترتيب نسبية عبر مختلف المهام وعائلات النماذج، وذلك بسبب وجود انفصال بين معرفتها القضائية وتجذرها التجريبي.
تحدد هذه الورقة أن مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة، مثل نماذج الاستنتاج، تقوم بحجب آليات السلامة الأصلية الخاصة بها دون إزالتها، وتقترح طريقة خفيفة الوزن تسمى SafeReAct تنجح في استعادة سلوكيات السلامة المخفية هذه باستخدام محولات LoRA دون المساس بأداء الاستنتاج.