Wisdom of Committee: Diverse Distillation from Large Foundation Models and Domain Experts
यह शोध पत्र DiverseDistill का प्रस्ताव करता है, जो एक संवादात्मक डिस्टिलेशन फ्रेमवर्क है जो विविध फाउंडेशन मॉडल्स और डोमेन विशेषज्ञों के आउटपुट्स को एक कॉम्पैक्ट स्टूडेंट मॉडल में प्रभावी ढंग से संरेखित करने के लिए एक सीखने योग्य प्रश्न-उत्तर तंत्र का लाभ उठाता है, जिससे बिना किसी टीचर को-ऑप्टिमाइज़ेशन की आवश्यकता के या इन्फरेंस ओवरहेड के बिना बेहतर प्रदर्शन रिकवरी प्राप्त होती है।