Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence
Cet article démontre théoriquement et expérimentalement que l'intégration d'un vérificateur externe dans le processus de réentraînement sur des données synthétiques permet d'éviter l'effondrement du modèle et d'obtenir des améliorations à court terme, bien que la convergence à long terme soit limitée par la fiabilité de ce vérificateur.