Shadow in the Cache: Unveiling and Mitigating Privacy Risks of KV-cache in LLM Inference
Dit paper introduceert drie nieuwe aanvallen die gevoelige invoer van grote taalmodellen via de KV-cache kunnen reconstrueren en stelt KV-Cloak voor, een lichtgewicht verdedigingsmechanisme dat deze privacyrisico's effectief neutraliseert zonder de prestaties of nauwkeurigheid van het model te beïnvloeden.