Improving MLLM Training Efficiency via Stage-Aware Sparsity
تقترح الورقة البحثية مخطط التدريب المتناثر (STS)، وهو إطار عمل مدرك للمراحل يعمل على تحسين كفاءة تدريب النماذج اللغوية الكبيرة متعددة الوسائط من خلال ضغط الرموز المرئية ديناميكيًا أثناء مرحلة المحاذاة وتخطي الطبقات الزائدة عن الحاجة أثناء ضبط التعليمات لمعالجة المصادر المتفاوتة للوفرة الحسابية.