Metronome: Bound the Cache, Keep the Beat for Real-Time Interaction Model Serving
यह शोध पत्र मेट्रोनोम (Metronome) का परिचय देता है, जो निरंतर भार के तहत वास्तविक समय की इंटरैक्शन मॉडल सर्विंग के मेटास्टेबल पतन (metastable collapse) को रोकने के लिए प्रत्येक सत्र के KV कैश को सीमित करता है ताकि स्थिरता सुनिश्चित की जा सके, सटीक विलंबता अवलोकन (latency observability) को बहाल किया जा सके, और प्रभावी ऑनलाइन प्रवेश नियंत्रण (admission control) को सक्षम बनाया जा सके।