ΔPPL Is Not ΔCE: The Scale-Dependence Confound in Generative Continual-Learning Forgetting Metrics

이 논문은 생성적 지속 학습(generative continual learning)에서 망각을 가공되지 않은 퍼플렉시티 변화량(ΔPPL)으로 보고하는 것이 베이스 퍼플렉시티 수준에 따라 차등 망각 비율을 인위적으로 부풀리거나 축소시키는 척도 의존적 혼란 변수를 도입한다는 점을 입증하며, 대신 진정한 기저 모델 드리프트(model drift)를 드러내기 위해 척도 불변 지표인 크로스 엔트로피(ΔCE)를 사용할 것을 주장한다.

원저자: 庆君 张