HEED: Density-Weighted Residual Alignment for Hybrid Vision-Language Model Distillation
تقدم الورقة البحثية HEED، وهي طريقة تقطير خالية من التدريب تستخدم محاذاة البواقي الموزونة بالكثافة لإعطاء الأولوية لقطع الصور ذات المعلومات العالية، مما يعالج الانخفاض الكبير في الأداء في مهام التعرف الضوئي على الحروف (OCR) والمهام المستندية الملحوظ عند تقطير النماذج الرؤية-اللغوية الكبيرة إلى بنيات هجينة فعالة، مع تحقيق دقة تضاهي دقة النموذج المعلم مع مكاسب كبيرة في الذاكرة والإنتاجية.