A Quantitative Characterization of Forgetting in Post-Training
Este artigo estabelece uma caracterização quantitativa do esquecimento no pós-treinamento contínuo de modelos generativos, demonstrando teoricamente como a direção da divergência de KL (forward vs. reverse), a sobreposição geométrica das distribuições e o uso de replay determinam se ocorre colapso de massa ou deriva de componentes, fornecendo condições explícitas para mitigar esses efeitos em métodos recentes.