24055 ورقة بحثية
تقدم هذه الورقة إطار عمل مبتكر يحول نماذج "خليط الخبراء" (MoE) المدربة إلى بنيات كثيفة قياسية من خلال تقييم واختيار وتجميع الخبراء متبوعاً بعملية تقطير المعرفة، مما يثبت أن هذا النهج يتفوق بشكل كبير على عمليات التقليم التقليدية من النموذج الكثيف إلى النموذج الكثيف في الدقة وكفاءة التدريب.
يقدم البحث إطار عمل KLineage، الذي يستخرج مهارات التحسين الموثقة من نوى وحدات معالجة الرسومات (GPU kernels) الخبيرة عبر السير تراجعياً خلال عمليات التبسيط المحكومة بالتحقق، مما يمكّن الوكلاء القائمين على النماذج اللغوية الكبيرة (LLMs) من تعلم ليس فقط ماهية التحسينات التي يجب تطبيقها، بل ومتى تكون سليمة، مما يؤدي بالتالي إلى التفوق على النماذج المرجعية القائمة على الذاكرة في جودة النواة وكفاءتها.
تقدم هذه الورقة إطاراً موحداً لتقييم الاستدلال متعدد المسارات لوكلاء النماذج اللغوية الكبيرة (LLMs) المستخدمة للأدوات، كاشفةً أن فعالية أساليب الذاكرة تعتمد بشكل كبير على استراتيجية الاستدلال المستخدمة، حيث تحقق تقنيات محددة مثل التأمل (reflection)، والحقن ضمن التوسع (within-expansion injection)، واستخراج الحقائق الذرية (atomic fact extraction) فوائد متميزة فقط في ظل البحث عبر شجرة مونت كارلو (MCTS)، والبحث الشعاعي (beam search)، والمهام ذات البنية القابلة لإعادة الاستخدام، على التوالي.
يُعد VidPrism إطار عمل مبتكر لخليط الخبراء غير المتجانس يتغلب على تجانس الخبراء في التعلم بنقل الصور إلى الفيديو عبر نشر خبراء متخصصين وظيفياً يتم تغذيتهم بتدفقات متعددة المعدلات، ديناميكية ومدركة للمحتوى، ويتم دمجها عبر آلية ثنائية الاتجاه لتحقيق أداء رائد في التعرف على الفيديو.
تقدم الورقة البحثية IRDS، وهي طريقة قابلة للتفسير لاختيار البيانات في التعلم التعزيزي مع المكافآت القابلة للتحقق، والتي تستخدم هدف تغطية المشفّر التلقائي المتناثر المقترن بالمُحقِّق لاختيار عينات تدريب عالية الجودة بكفاءة، مما يحسن أداء الاستدلال بشكل كبير في معايير الرياضيات مع تقليل التكاليف الحسابية.
تبحث هذه الورقة في الديناميكيات المتميزة للتفويض والتبني في فرق الإجابة على الأسئلة المكونة من بشر وذكاء اصطناعي، كاشفةً أنه بينما يتفوق التعاون على الوكلاء الأفراد، يتخذ البشر قرارات ثقة غير مثالية بسبب انحياز التأكيد وعدم توافق الثقة، مما يستلزم تحسين آليات المعايرة والتفسير.
تقدم هذه الورقة "درجة الإنتروبيا المعايرة" (CES)، وهي طريقة "الصندوق الأسود" خفيفة الوزن وذات تمريرة واحدة، تستفيد من توزيعات الإنتروبيا على مستوى الرمز (token) للكشف عن الهلوسة في النماذج اللغوية الكبيرة (LLMs) مع ضمانات خطأ رسمية وأداء يضاهي الأساليب المكلفة حاسوبيًا والقائمة على عينات متعددة.
تقدم هذه الورقة البحثية خوارزمية Global PSRO، وهي خوارزمية جديدة للألعاب الصفرية بين لاعبين تحسن أساليب (Policy-Space Response Oracles - PSRO) الحالية من خلال توظيف إطار عمل استكشاف-اختيار يتكون من مرحلتين لتقليل قابلية الاستغلال للمجتمع (Population Exploitability) بشكل مباشر، مما يحقق قابلية استغلال أقل وتقارباً أسرع نحو توازنات ناش بعدد أقل من تكرارات السياسة.
تكشف هذه الورقة أنه بينما يؤدي تقطير "سلسلة الأفكار" (Chain-of-Thought) إلى تحسين دقة الإجابة ومعايرتها بشكل كبير في مجال الأسئلة والأجوبة الطبية، فإنه يؤدي للمفارقة إلى تدهور واقعية خطوات الاستدلال الوسيطة، وهو خلل جوهري تفشل مقاييس مستوى الإجابة القياسية في اكتشافه.
تقترح هذه الورقة RA-MoE، وهو إطار عمل للضبط الدقيق يتكون من ثلاث مراحل يستفيد من منطقة المحاذاة العالمية لغويًا في الطبقات الوسطى لنماذج خليط الخبراء (Mixture-of-Experts)، وذلك لمحاذاة أنماط التوجيه للغة المستهدفة مع تنشيطات خبير المهام باللغة الإنجليزية، مما يؤدي إلى تحسين الأداء في المهام المتعددة اللغات بشكل كبير.