MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers
MOSAIC एक मल्टी-ऑब्जेक्टिव न्यूरल आर्किटेक्चर सर्च फ्रेमवर्क है जो लॉन्ग-कॉन्टेक्स्ट LLM इन्फरेंस के लिए प्रति-लेयर KV-कैश बजट को ऑप्टिमाइज़ करता है, और विभिन्न मॉडल्स एवं इविक्शन मेथड्स में यूनिफॉर्म एलोकेशन की तुलना में लगातार बेहतर प्रदर्शन करते हुए काफी कम मेमोरी उपयोग के साथ उच्च टास्क स्कोर प्राप्त करता है।