CALM: A Self-Adaptive Orchestration Approach for QoS-Aware Routing in Small Language Model based Systems
यह शोध पत्र CALM को प्रस्तुत करता है, जो MAPE-K लूप पर आधारित एक स्व-अनुकूली ऑर्केस्ट्रेशन फ्रेमवर्क है, जो सिंगल-LLM बेसलाइन की तुलना में विलंबता (latency) को 40% और ऊर्जा खपत को 50% तक कम करने के लिए कैशिंग और शेड्यूलिंग का लाभ उठाते हुए, उपयोगकर्ता प्रश्नों को विशिष्ट लघु भाषा मॉडलों (SLMs) के एक समन्वित बेड़े की ओर गतिशील रूप से रूट करता है।