A Queueing-Theoretic Framework for Stability Analysis of LLM Inference with KV Cache Memory Constraints
تقدم هذه المساهمة إطاراً جديداً قائماً على نظرية الطوابير يدمج كلاً من القيود الحسابية وقيود ذاكرة وحدة معالجة الرسومات لاستخلاص شروط استقرار صارمة لاستنتاج النماذج اللغوية الكبيرة، ويُمكّن من التحديد الدقيق لحجم العنقود، ويتم التحقق من صحته من خلال تجارب واقعية بانحراف يقل عن 10%.