SOMA: Efficient Multi-turn LLM Serving via Small Language Model
تُعد SOMA إطار عمل فعال لخدمة النماذج اللغوية الكبيرة متعددة الأدوار، حيث تعمل على تقليل زمن الاستجابة والتكلفة عبر استخدام نموذج كبير في البداية لتحديد التباينات الدلالية، ثم تكييف نموذج بديل أصغر عبر المطالبات الناعمة وضبط دقيق محلي باستخدام تقنية LoRA للتعامل مع بقية المحادثة مع وجود بوابة سلامة لضمان الجودة.