FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
Ce papier présente FlexServe, un système de service LLM rapide et sécurisé pour les appareils mobiles qui surmonte les limitations d'ARM TrustZone grâce à une isolation flexible des ressources (mémoire et NPU), permettant d'accélérer considérablement l'inférence et les flux de travail multi-modèles tout en protégeant les données sensibles.