ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs
تُعد ReGATE إطار عمل قائم على نموذج المعلم والطالب يعمل على تسريع تدريب النماذج اللغوية الكبيرة متعددة الوسائط من خلال تقليم الرموز الزائدة بشكل تكيفي باستخدام خسائر التوجيه وتقديرات الصعوبة، مما يحقق تقارباً أسرع وأداءً فائقاً مع تقليل إجمالي استهلاك الرموز بشكل كبير.