DLLG: Dynamic Logit-Level Gating of LLM Experts
यह शोध पत्र DLLG को प्रस्तुत करता है, जो एक डायनेमिक लॉजिट-लेवल गेटिंग फ्रेमवर्क है जो स्पार्स रिस्पॉन्स-लेवल सुपरविजन से टोकन-लेवल एक्सपर्ट फ्यूजन को सीखता है ताकि टोकन-लेवल लेबल या एक्सपर्ट रिट्रेनिंग की आवश्यकता के बिना विशिष्ट LLMs को प्रभावी ढंग से संयोजित किया जा सके, और विविध बेंचमार्क पर मौजूदा रूटिंग, एनसेम्बलिंग और मर्जिंग दृष्टिकोणों से लगातार बेहतर प्रदर्शन करता है।