FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
Das Paper stellt FlexServe vor, ein schnelles und sicheres System für die Inferenz von Large Language Models auf mobilen Geräten, das durch flexible Ressourcenisolierung und spezialisierte Managementmechanismen innerhalb von ARM TrustZone die erheblichen Leistungsnachteile herkömmlicher Ansätze überwindet.