Shadow in the Cache: Unveiling and Mitigating Privacy Risks of KV-cache in LLM Inference
Questo articolo analizza per la prima volta i rischi di privacy legati alla cache KV nell'inferenza dei grandi modelli linguistici, dimostrando come sia possibile ricostruire input sensibili e proponendo KV-Cloak, un meccanismo di difesa leggero ed efficiente che neutralizza tali minacce senza compromettere accuratezza o prestazioni.