Shadow in the Cache: Unveiling and Mitigating Privacy Risks of KV-cache in LLM Inference
Cet article révèle que le cache KV, essentiel à l'inférence des grands modèles de langage, expose des risques de confidentialité critiques permettant la reconstruction des entrées utilisateurs, et propose KV-Cloak, une méthode de défense légère et efficace qui sécurise ce cache sans dégrader les performances ni la précision du modèle.