MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
Il paper propone MSSR, un framework di replay esperienziale che stima la forza della memoria a livello di campione e pianifica la ripetizione adattiva per mitigare l'oblio catastrofico durante il fine-tuning continuo dei grandi modelli linguistici, ottenendo prestazioni superiori rispetto agli approcci esistenti.