Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs
Il paper propone il "Partial Model Collapse" (PMC), un nuovo metodo di machine unlearning che sfrutta deliberatamente il collasso della distribuzione generato dall'addestramento su dati sintetici per rimuovere informazioni sensibili dai LLM senza richiedere l'uso dei dati stessi durante l'addestramento, superando così i limiti delle tecniche esistenti.