RoCo-ACE: Rollout-Conditioned Online Distillation for Retention-Aware Knowledge Injection
تقدم الورقة البحثية RoCo-ACE، وهو إطار عمل للتقطير عبر الإنترنت مشروط بالتدحرج (rollout-conditioned)، يعمل على تعزيز حقن المعرفة في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) سابقة التدريب من خلال إعادة تخصيص أوزان التقطير ديناميكيًا للرموز المدعومة مرجعيًا وتطبيق تصحيحات مرساة متفرقة، مما يحقق دقة فائقة في المعرفة المحقونة مع الحفاظ بفعالية على قدرة النموذج الأصلية على الاحتفاظ بالسلوك.