FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
Dit paper introduceert FlexServe, een snel en veilig systeem voor het uitvoeren van Large Language Models op mobiele apparaten dat via flexibele resource-isolatie in ARM TrustZone de prestaties aanzienlijk verbetert ten opzichte van bestaande beveiligde ontwerpen.