ΔPPL Is Not ΔCE: The Scale-Dependence Confound in Generative Continual-Learning Forgetting Metrics
Cet article démontre que rapporter l'oubli dans l'apprentissage continu génératif sous la forme d'un changement de perplexité brute (ΔPPL) introduit un biais dépendant de l'échelle qui gonfle ou défle artificiellement les ratios d'oubli différentiels en fonction des niveaux de perplexité de base, préconisant plutôt l'entropie croisée (ΔCE) comme métrique invariante à l'échelle pour révéler le véritable dérive sous-jacente du modèle.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.