LinguDistill: Recovering Linguistic Ability in Vision- Language Models via Selective Cross-Modal Distillation
تُعد LinguDistill طريقة تقطير خالية من المهايئات تعمل على استعادة القدرات اللغوية المتدهورة لنماذج الرؤية واللغة عبر الاستفادة من نموذج لغوي مجمد كمعلم من خلال مشاركة ذاكرة التخزين المؤقت لمفاتيح وقيم (KV-cache) على مستوى الطبقات، مما يحقق استعادة كبيرة في الأداء على الاختبارات المعيارية اللغوية دون المساس بأداء المهام البصرية أو إضافة تعقيد معماري.